Python - 军军小站|张军博客
Python

Python中Scrapy爬虫图片处理详解

下载图片下载图片有两种方式,一种是通过Requests模块发送get请求下载,另一种是使用Scrapy的ImagesPipeline图片管道类,这里主要讲后者。安装Scrapy时并没有安装图像处理依赖包Pillow,需手动安装否则运行爬虫出错。首先在settings.py中设置图片的存储路径:IMAGES_STORE='D:/'图片处理相关的选项还有:#图片最小高度和宽度设置,可以过滤太小的图片IMAGES_MIN_HEIGHT=110IMAGES_MIN

系统 2019-09-27 17:37:58 1899

Python

Python语言学习(四)(字典和集合)

字典字典可以存储任意类型对象,与列表、集合不同的是,字典的每个元素都是由一个键和一个值组成的“键值对”,键和值通过冒号分开。下面的代码演示了如何定义和使用字典。defmain():scores={'骆昊':95,'白元芳':78,'狄仁杰':82}#通过键可以获取字典中对应的值print(scores['骆昊'])print(scores['狄仁杰'])#对字典进行遍历(遍历的其实是键再通过键取对应的值)foreleminscores:print('%s\

系统 2019-09-27 17:57:22 1898

Python

Python调用C语言的实现

Python中的ctypes模块可能是Python调用C方法中最简单的一种。ctypes模块提供了和C语言兼容的数据类型和函数来加载dll文件,因此在调用时不需对源文件做任何的修改。也正是如此奠定了这种方法的简单性。示例如下实现两数求和的C代码,保存为add.c//sampleCfiletoadd2numbers-intandfloats#includeintadd_int(int,int);floatadd_float(float,float);inta

系统 2019-09-27 17:56:20 1898

Python

python 批量解压压缩文件的实例代码

下面给大家介绍python批量解压压缩文件的实例代码,代码如下所述;#/usr/bin/python#coding=utf-8importos,sysimportzipfileopen_path='e:\\data'save_path='e:\\data'os.chdir(open_path)#转到路径#首先,通过zipfile模块打开指定位置zip文件#传入文件名列表,及列表文件所在路径,及存储路径defDecompression(files,file_

系统 2019-09-27 17:54:33 1898

Python

Python 库体系整理

爱漂泊人生Python常用库大全,看看有没有你需要的作者:史豹链接:https://www.zhihu.com/question/20501628/answer/223340838来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。环境管理管理Python版本和环境的工具p–非常简单的交互式python版本管理工具。pyenv–简单的Python版本管理工具。Vex–可以在虚拟环境中执行命令。virtualenv–创建独立Pyth

系统 2019-09-27 17:53:52 1898

Python

Python的文件读写基本操作

May19,20192:08PM文件的读写,由内置模块open进行操作和实现文本文件读操作withopen('data.txt')asfile_read:txt=file_read.read()print(txt.strip())文本文件的追加#文件的追加withopen('data.txt','a')asfile_append:file_append.write('\nNicetomeetyou!')文件的重写#文件的重写withopen('data.t

系统 2019-09-27 17:53:40 1898

Python

第11.15节 Python正则表达式转义符定义的特殊序列

一、引言在前面《第11.13节Python正则表达式的转义符”\”功能介绍》介绍了正则表达式转义符'\',只不过当时作为转义符主要是用于在正则表达式中表示元字符自身的需要进行的转义。实际上,除了元字符使用转义符外,Python还支持由'\'和一个ASCII数字或ASCII字母字符组成的特殊序列,这些特殊代表特殊的含义。如果'\'后面跟的字符不是ASCII数字或者ASCII字母,那么正则样式将直接匹配后面跟的字符,如’\$’匹配字符‘$’。二、特殊序列\nu

系统 2019-09-27 17:53:29 1898

Python

python数据可视化pyecharts工具安装问题

如果pipinstallpyecharts安装不成功,请直接检查你的python版本。如果是python2.7,安装的pyecharts版本只能是V0.5.x,如果是python3,那就可以安装V0.5.x和V1.0.0及以上的。在https://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learnpython扩展网站上没有找到pyecharts,所以只能去gihub上看看了。下图是在github查阅pyecha

系统 2019-09-27 17:53:17 1898

Python

分析Python读取文件时的路径问题

Python在读取文件内容时的路径问题,值得深究一下.我想讨论的重点还是在绝对路径上面.在这之前我们先看一下1:相对路径这张图演示了在相对路径下寻找查找指定文件.open('相对路径演示'\'相对路径示例'.txt)打开的是相对当前运行的程序所在目录。而我当前运行的程序相对位置在桌面.所以直接print(lines)可以看到这个结果2:绝对路径.绝对路径的查找方法就不演示了,相信每个人都会找到。但是我想讨论的是几个关于路径中的编码问题,相信这对初学者们有很

系统 2019-09-27 17:52:11 1898

Python

如何更优雅地写python代码

前言Python这门语言最大的优点之一就是语法简洁,好的代码就像伪代码一样,干净、整洁、一目了然。但有时候我们写代码,特别是Python初学者,往往还是按照其它语言的思维习惯来写,那样的写法不仅运行速度慢,代码读起来也费尽,给人一种拖泥带水的感觉,过段时间连自己也读不懂。《计算机程序的构造和解释》的作者哈尔・阿伯尔森曾这样说:“Programsmustbewrittenforpeopletoread,andonlyincidentallyformachin

系统 2019-09-27 17:51:04 1898

Python

使用Python中的cookielib模拟登录网站

前面简单提到了Python模拟登录的程序,但是没写清楚,这里再补上一个带注释的Python模拟登录的示例程序。简单说一下流程:先用cookielib获取cookie,再用获取到的cookie,进入需要登录的网站。#-*-coding:utf-8-*-#!/usr/bin/pythonimporturllib2importurllibimportcookielibimportreauth_url='http://www.nowamagic.net/'home

系统 2019-09-27 17:50:25 1898

Python

遗传算法Python实现

遗传算法Python实现瞎BB代码导入库以及参数设置目标函数生成C行R列的值在0-1的数组混沌函数二进制转十进制个体按值从大到小排序交叉变异适应度函数主函数瞎BB代码导入库以及参数设置importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportmathimportrandom#rangeofvariablebounds=np.array([-2,2])#beginofvariablebo

系统 2019-09-27 17:50:19 1898

Python

python 排列 组合

排列defperm(arr,stack):ifnotarr:print(stack)#到树的最后,输出结果tmp=stack.copy()res.append(tmp)else:#没有到树的叶子节点的时候,使用递归继续往下找。foriinrange(len(arr)):stack.append(arr[i])delarr[i]perm(arr,stack)arr.insert(i,stack.pop())arr=[1,2,3]stack=[]res=[]p

系统 2019-09-27 17:50:13 1898

Python

Python实用库 PrettyTable 学习笔记

本文实例讲述了Python实用库PrettyTable。分享给大家供大家参考,具体如下:PrettyTable安装使用pip即可十分方便的安装PrettyTable,如下:pipinstallPrettyTablePrettyTable使用示例github上有PrettyTable的使用说明,链接如下:https://github.com/dprince/python-prettytable以下是具体的使用示例:importprettytableaspt按

系统 2019-09-27 17:50:01 1898

Python

学习Python爬虫,抓取美女图片它不香嘛?

学习编程语言是很枯燥的,尤其是对一个编程零基础的人来说,更为枯燥!所以我们要从枯燥的学习中找点乐趣和动力!比如,抓点小姐姐的图片在这里插入图片描述完整代码importosimporttimeimportrequestsfromlxmlimportetree'''遇到不懂的问题?Python学习交流群:821460695满足你的需求,资料都已经上传群文件,可以自行下载!'''defget_img_url(url):''':paramurl:图集url:ret

系统 2019-09-27 17:49:24 1898