写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时,原来用for循环一个网站一个网站按循序顺序爬,就像先烧饭后烧菜,两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序,就像边烧饭边烧菜,两个步骤同步进行,速度自然快了。不多说了,来看下代码吧:fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁,下面的程序就可以执行多协程了importrequests,geven
系统 2019-09-27 17:47:59 1991
目录Python并发编程06/同步/异步调用/异步调用+回调函数1.如何看源码2.昨日回顾3.阻塞、同步调用、异步调用3.1概念3.2异步调用3.3同步调用3.4异步如何取结果4.异步调用+回调函数4.1浏览器工作原理4.2什么叫爬虫4.3异步调用+回调函数Python并发编程06/同步/异步调用/异步调用+回调函数1.如何看源码2.昨日回顾#1.递归锁:RLock,同一把锁,引用一次计数+1,释放一次计数-1,只要计数不为零,其他线程就抢不到,能解决死锁
系统 2019-09-27 17:47:25 1991
本文代码运行于Win10+Python3.6.8,需要先下载并安装软件ImageMagick-7.0.8-59-Q16-x64-dll.exe。阅读原文
系统 2019-09-27 17:46:25 1991
常用的简单的用法:fromxlrdimportopen_workbookbook=open_workbook(r'C:\Users\admin\Desktop\q.xlsx')sheet=book.sheets_names()[0]#第一个工作表名称sheet=data.sheet_by_name('Sheet1')#获得第一个工作表sheet=book.sheets()[0]#获得第一个工作表#获取总行数nrows=table.nrows#获取总列数nc
系统 2019-09-27 17:45:47 1991
在不同平面上绘制二维条形图。本实例制作了一个3d图,其中有二维条形图投射到平面y=0,y=1,等。演示结果:完整代码:frommpl_toolkits.mplot3dimportAxes3Dimportmatplotlib.pyplotaspltimportnumpyasnp#Fixingrandomstateforreproducibilitynp.random.seed(19680801)fig=plt.figure()ax=fig.add_subpl
系统 2019-09-27 17:38:47 1991
首先,我们了解下什么是数据类型计算机顾名思义就是可以做数学计算的机器,因此,计算机程序理所当然地可以处理各种数值。但是,计算机能处理的远不止数值,还可以处理文本、图形、音频、视频、网页等各种各样的数据,不同的数据,需要定义不同的数据类型。在Python中,能够直接处理的数据类型有以下几种:整数Python可以处理任意大小的整数,当然包括负整数,在程序中的表示方法和数学上的写法一模一样,例如:1,100,-8080,0,等等。计算机由于使用二进制,所以,有时
系统 2019-09-27 17:38:39 1991
本文记录了初学Python常用的两则实用技巧,分享给大家供大家参考之用。具体如下:1.可变参数示例代码如下:>>>defpowersum(power,*args):...'''''Returnthesumofeachargumentraisedtospecifiedpower.'''...total=0...foriinargs:...total+=pow(i,power)...returntotal...>>>powersum(2,3,4)25>>>po
系统 2019-09-27 17:38:24 1991
四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信网,好了,网站截图如下:网站的代码如下:准考证号:请输入15位准考证号姓名:姓名超过3个字,可只输入前3个由图中可以看出表单提交的链接为/cet/query,即:http://www.chsi.com.cn/cet/query,好了,填写表单和结果如下:
系统 2019-09-27 17:38:16 1991
python3shelve模块的详解一、简介在python3中我们使用json或者pickle持久化数据,能dump多次,但只能load一次,因为先前的数据已经被后面dump的数据覆盖掉了。如果我们想要实现dump和load多次,可以使用shelve模块。shelve模块可以持久化所有pickle所支持的数据类型。二、持久化数据1、数据持久化importshelveimportdatetimeinfo={'name':'bigberg','age':22}
系统 2019-09-27 17:38:13 1991
首先第一步,打开文件,有两个函数可供选择:open()和file()①.f=open('file.txt',‘w')...file.close()②.f=file('file.json','r')...file.close()#记得打开文件时最后不要忘记关闭!open()和file()都是Python的内建函数,返回一个文件对象,具有相同的功能,可以任意替换。使用语法为:f=open(fileName,access_mode='r',buffering=-
系统 2019-09-27 17:37:51 1991