搜索到与相关的文章
Python

Python3环境安装Scrapy爬虫框架过程及常见错误

Windows•安装lxml最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载,然后通过pip安装。下载之后,运行如下命令安装:pip3installwheelpip3installlxml‑3.7.2

系统 2019-09-27 17:53:34 2095

Python

python爬虫开发第一步——熟悉网络编程,python线程与进程

最近博主手上有一个爬虫项目,开始深入研究python爬虫开发,这是我篇博客也相当于是我的学习笔记,我认为学习爬虫第一步,先学习python多线程与多进程,熟悉网络编程,接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种,一种方法是使用os模块中的fork方法,另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统,对Windows不支持,后者则是跨平台的实现方式,目前

系统 2019-09-27 17:53:30 2095

Python

python动态添加属性

classA:def__init__(self,info={}):self.info=infodef__getattr__(self,item):returnself.info[item]a=A()a.age=123print(a.age)a.name=123print(a.name)a.xis=123print(a.xis)print(a.__dict__)

系统 2019-09-27 17:53:25 2095

Python

python入门之语句(if语句、while语句、for语句)

python入门之语句,包括if语句、while语句、for语句,供python初学者参考。//if语句例子name='peirong';ifname=='peirong':print'thisispeirong';elifname=='maojun':print'thisismaojun';else:print'others';//while语句i=0;a=range(10);whilei

系统 2019-09-27 17:52:55 2095

Python

python爬虫解决验证码的思路及示例

如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session:mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*

系统 2019-09-27 17:52:42 2095

Python

Python踩坑系列-20190803

关于声明并初始化二维列表想要快速创建一个二维列表如:5x3的二维列表[[0,0,0],[0,0,0],[0,0,0],[0,0,0],[0,0,0]]正确用法:#先创建一个一维列表tmp=[0,]*3result=[]foriinrange(5):#拷贝对象result.append(tmp.copy())result[0][1]=1print(result)#[[0,1,0],[0,0,0],[0,0,0],[0,0,0],[0,0,0]]误用:#得到的

系统 2019-09-27 17:51:23 2095

Python

Python基础之运算符

算数运算符:+#加:两个对象相加-#减:得到负数或是一个数减去另一个数*#乘:两个数相乘或是返回一个被重复若干次的字符串/#除:x/y,x除以y%#取模:返回除法的余数**#幂:x**y,返回x的y次幂//#取整除:返回商的整数部分(向下取整)比较运算符:==#判断两个对象是否相等!=#判断两个对象是否不相等<>#判断两个对象是否不相等,py2可用,py3不可用<#判断是否小于<=#判断是否小于等于>#判断是否大于>=#判断是否大于等于逻辑运算符:与and

系统 2019-09-27 17:51:05 2095

Python

python用法总结

requests库的用法:requests是python实现的简单易用的HTTP库因为是第三方库,所以使用前需要cmd安装pip×××tallrequests安装完成后import一下,正常则说明可以开始使用了基本用法:importrequestsformbs4importBeautifulSoupresponse=requests.get('http://www.baidu.com')print(response.status_code)#打印状态码pr

系统 2019-09-27 17:50:42 2095

Python

Python bsddb模块操作Berkeley DB数据库介绍

bsddb模块是用来操作bdb的模块,bdb是著名的BerkeleyDB,它的性能非常好,mysql的存储后端引擎都支持bdb的方式。这里简单介绍一些关于bsddb的使用方法。bdb不同于一般的关系数据库,它存储的数据只能是以key和value组成的一对数据,使用就像python的字典一样,它不能直接表示多个字段,当要存储多个字段的数据时,只能把数据作为一个整体存放到value中。使用bsddb面临的第一问题是使用什么数据访问方法,bdb支持四种:btre

系统 2019-09-27 17:50:30 2095

Python

详解Python文件修改的两种方式

文件的数据是存放于硬盘上的,因而只存在覆盖、不存在修改这么一说,我们平时看到的修改文件,都是模拟出来的效果,具体的说有两种实现方式。一、方式一将硬盘存放的该文件的内容全部加载到内存,在内存中是可以修改的,修改完毕后,再由内存覆盖到硬盘(word,vim,nodpad++等编辑器)。importoswithopen('37r.txt')asfr,\open('37r_swap.txt','w')asfw:data=fr.read()#全部读入内存,如果文件很

系统 2019-09-27 17:50:22 2095