搜索到与相关的文章
Python

python爬虫第11关 协程

协程是什么我们已经做过不少爬虫项目,不过我们爬取的数据都不算太大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很久,我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取?这样无疑能提高爬取的效率,就像一个人干不完的活儿,组个团队一起干,活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢?我们可以先别急着想怎么实现这件事,后

系统 2019-09-27 17:50:16 2082

Python

各种常见排序算法的原理及python代码实现

常见的排序算法:冒泡排序,选择排序,插入排序,希尔排序,快速排序,堆排序,归并排序。冒泡排序原理:两两元素进行比较,每一趟能够确定最大元素的位置,稳定算法defbubble_sort(alist):'''冒泡排序'''#[5,4,3,2,1][4,5,3,2,1][4,3,5,2,1][4,3,2,5,1][4,3,2,1,5]n=len(alist)foriinrange(n):#count=0forjinrange(0,n-1):ifalist[j]>

系统 2019-09-27 17:49:28 2082

Python

Python thread demo

frommultiprocessingimportProcess,Queuefromtimeimporttimedeftask_handler(current_list,result_queue):total=0fornincurrent_list:total+=nresult_queue.put(total)defmain():processes=[]number_list=[xforxinrange(1,10000001)]result_queue=Q

系统 2019-09-27 17:48:29 2082

Python

Python风格规范PEP8

分号不要在行尾加分号,也不要用分号将两条命令放在同一行.行长度每行不超过80个字符例外:长的导入模块语句注释里的URL不要使用反斜杠连接行.Python会将圆括号,中括号和花括号中的行隐式的连接起来,你可以利用这个特点.如果需要,你可以在表达式外围增加一对额外的圆括号.Yes:foo_bar(self,width,height,color='black',design=None,x='foo',emphasis=None,highlight=0)if(wi

系统 2019-09-27 17:48:08 2082

Python

纯 Python 实现的 Google 批量翻译!

首先声明,没有什么不良动机,因为经常会用translate.google.cn,就想着用Python模拟网页提交实现文档的批量翻译。据说有API,可是要收费。生成TokenGoogle为防爬虫而生成token的代码是Javascript的,且是根据网站的TKK值和提交的文本动态生成。网上搜到的一段Python代码有点小Bug,且缺少动态获取TKK的步骤。最后还是对照Javascript代码自己改成Python了。方法很简单,先转成易懂的Javascript

系统 2019-09-27 17:47:50 2082

Python

python 远程统计文件代码分享

python远程统计文件#!/usr/bin/python#encoding=utf-8importtimeimportosimportparamikoimportmultiprocessing#统计文件数量defget_total(ip,password,filepath):paramiko.util.log_to_file('paramiko.log')ssh=paramiko.SSHClient()ssh.set_missing_host_key_p

系统 2019-09-27 17:47:49 2082

Python

python 客服端 服务端多线程通信

1.服务端主程序:#encoding:utf-8importthreadingfromprocedure.socket_serverimportThreadingHttpServer,MainHandlerfromprocedure.processimportmq_respond_procedurefromloggerimportlog,logwffromconfimport(HOST,PORT,MQ_A_RECV_1,MQ_A_RECV_2,MQ_A_R

系统 2019-09-27 17:47:49 2082

Python

浅谈Python 对象内存占用

一切皆是对象在Python一切皆是对象,包括所有类型的常量与变量,整型,布尔型,甚至函数。参见stackoverflow上的一个问题Iseverythinganobjectinpythonlikeruby代码中即可以验证:#everythininpythonisobjectdeffuction():returnprintisinstance(True,object)printisinstance(0,object)printisinstance('a',o

系统 2019-09-27 17:46:22 2082

Python

【Python练习圣典】字典dictionary高级操作

1.字典键-值对中,值元素的便捷创建增减主要是利用collections中的defaultdict普通复杂过程:pairs=[('a',1),('a',2),('b',2)]d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)或d={}#普通字典d.setdefault('a',[]).append(1)d.setdefault('a',[]).append(2)d.setdef

系统 2019-09-27 17:46:19 2082

Python

Python中对象迭代与反迭代的技巧总结

一、如何实现可迭代对象和迭代器对象?实际案例某软件要求从网络抓取各个城市气味信息,并其次显示:北京:15~20天津:17~22长春:12~18......如果一次抓取所有城市天气再显示,显示第一个城市气温时,有很高的延时,并且浪费存储空间,我们期望以用时访问的策略,并且把所有城市气温封装到一个对象里,可用for语句进行迭代,如何解决?解决方案实现一个迭代器对象Weatherlterator,next方法每次返回一个城市气温,实现一个可迭代对象Weather

系统 2019-09-27 17:46:12 2082