1.Python多线程爬虫在批量去爬取数据的时候,往往效率会很低,这个时候我们可以用到多线程的技术。python是支持多线程的,主要是通过thread和threading这两个模块来实现的。单线程爬虫效率相对来说会低很多,例如:importrequestsfrombs4importBeautifulSoupimporttimestart_time=time.time()defmain():headers={'User-Agent':'Mozilla/5.0
系统 2019-09-27 17:51:48 2221
关于PythonPython是一种极少数能声言兼具简单与功能强大的编程语言。你将惊异于发现你正在使用的这门编程语言是如此简单,它专注于如何解决问题,而非拘泥于语法与结构。名字背后的故事Python的创造者吉多·范罗苏姆(GuidovanRossum)采用BBC电视节目《蒙提·派森的飞行马戏团(MontyPython’sFlyingCircus,巨蟒剧团)》的名字来为这门编程语言命名。尽管他本人并不特别喜欢蟒蛇这种通过在猎物身边卷曲自己的身体以此来碾碎猎物身
系统 2019-09-27 17:50:31 2221
接触Python时间不长,对有些知识点,掌握的不是很扎实,我个人比较崇尚不管学习什么东西,首先一定回去把基础打的非常扎实了,再往高处走。今天遇到了Python中的全局变量的相关操作,遇到了问题,所以,在这里将自己遇到的问题,做个记录,以长记心!!!在Python中使用全局变量,其实,个人认为并不是很明智的选择;但是自己还是坚信,存在便合理,在于你怎么使用;全局变量降低了模块和函数之间的通用性;所以,在以后的编程过程中,应尽量避免使用全局变量。全局变量的使用
系统 2019-09-27 17:49:40 2221
导入开发包pipinstallxlrd==1.2.0解析xls文件#filename文件路径#file_contents文件上传解析文件内容defparse_xls(filename=None,file_contents=None):result={"error":{},"data_list":[],"model_name":""}work_sheet=Nonetry:iffilename:work_sheet=xlrd.open_workbook(fil
系统 2019-09-27 17:47:22 2221
摘要在使用Python写程序时,经常需要输出系统的当前时间以及计算两个时间之间的差值,或者将当前时间加减一定时间(天数、小时、分钟、秒)来得到新的时间,这篇文章就系统的对这些进行总结。码字不易,喜欢请点赞!!!包这里主要使用Python的datetime包实现上述功能。输出当前系统时间输出结果从总到右分别为Year、Month、Day、Hour、Minute、Second,最后一个MicroSeconds就不用管了。标准化输出方法strftime()其中:
系统 2019-09-27 17:56:32 2220
Python做简单的字符串匹配详解由于需要在半结构化的文本数据中提取一些特定格式的字段、数据辅助挖掘分析工作,以往都是使用Matlab工具进行结构化数据处理的建模,matlab擅长矩阵处理、结构化数据的计算,Python具有与matlab共同的特点:语法简洁、库丰富,对算法仿真来说都是一门简洁易用的语言。Python做字符串匹配相对来说上手比较容易,且具有成熟的字符串处理库re供我们使用;在re库的帮助下,只需简单的两步就可完成匹配工作,对做数据分析/算法
系统 2019-09-27 17:56:22 2220
前面学习了仿射变换,是经常使用到的变换,也很容易理解。在日常生活中,经常会遇到下面这种的情况:仔细地观察比亚迪秦这台汽车的车牌,发现它拍照的角度不是垂直的方向,而是有一个角度,当要进行车牌识别的时候,发现字符是变形的,与电脑里比较的图片肯定有区别,因此识别不出来。这时怎么办呢?就需要经过一个投影变换才可以把车牌号纠正过来,才能进入识别过程。好吧,到这里认识到投影变换的感性认识了,那么你又会继续考虑下一个问题,在软件里怎么样计算呢,难道还是使用仿射变换的矩阵
系统 2019-09-27 17:56:19 2220
2.1变量与常量2.1.1变量变量:可以改变的量。python中创建变量无需声明,赋的值什么类型,该变量就是什么类型;python中变量先赋值才能使用,赋值后python里面只会在内存创建一个值,该变量指向内存的这个值;变量名命名规则:数字、字母、下划线的任意组合(前提是:数字不能放在名字开头);变量名不能是关键字(如int、char、str);取名推荐使用驼峰体(myBookCount),且容易明白含义;如图2-1所示,在python中,如果count、
系统 2019-09-27 17:55:12 2220
Python函数编程——列表生成式和生成器一、列表生成式现在有个需求,现有列表a=[0,1,2,3,4,5,6,7,8,9],要求你把列表里的每个值加1,你怎么实现?1、二逼青年版生成一个新列表b,遍历列表a,把每个值加1后存在b里,最后再把a=b,这样二逼的原因不言而喻,生成了新列表,浪费了内存空间。>>>a[0,1,2,3,4,5,6,7,8,9]>>>b=[]>>>foriina:b.append(i+1)...>>>b[1,2,3,4,5,6,7,
系统 2019-09-27 17:54:51 2220
Docker其实有两个重要的概念:"Docker客户端"和"Docker守护进程"Docker服务端提供了一系列RESTAPI(DockerRemoteAPI),当我们敲docker命令时实际上是通过API和Docker服务端进行交互的。我们可以自己编写Docker客户端,调用RESTAPI和Docker服务端进行交互。Docker官方提供了Python和Go的SDK,当然我们可以自己用熟悉的语言调用RESTAPI的方式。官方文档地址:https://do
系统 2019-09-27 17:54:20 2220
一、picklepickle模块用来实现python对象的序列化和反序列化。通常地pickle将python对象序列化为二进制流或文件。python对象与文件之间的序列化和反序列化:复制代码代码如下:pickle.dump()pickle.load()如果要实现python对象和字符串间的序列化和反序列化,则使用:复制代码代码如下:pickle.dumps()pickle.loads()可以被序列化的类型有:*None,True和False;*整数,浮点数
系统 2019-09-27 17:54:14 2220
在python3中,urllib2被替换为urllib.requeset,因此头文件中添加importurllib.requestasurllib2defgetRemoteFileSize(url,proxy=None):"""通过content-length头获取远程文件大小url-目标文件URLproxy-代理"""opener=urllib2.build_opener()ifproxy:ifurl.lower().startswith('https:
系统 2019-09-27 17:52:05 2220
给大家带来一篇关于PIL的文章,PIL全称是PythonImageLibrary,顾名思义,是用来做图像处理的。用这个库,可以实现很多PS里的效果,比如像图片模糊、寻找轮廓、边缘检测等等。我们来看看具体怎么做到的呢?PS作为世界四大发明之一可以说被广大网友用到了极致,只有你想不到的没有我P不了的,任何正经的图片在都可以变成搞笑图片(比如下图)当然也可以用ps做一点正经的事情。作为一个爱折腾的程序猿能用代码的解决的事情绝对不会用其他的方式,Python可以
系统 2019-09-27 17:51:55 2220
目录一、数据库的配置二、DjangoORM语法1.模型之间的三种关系:一对一,一对多,多对多。2.模型常用的字段类型参数3.Field重要参数4.表(模型)的创建5.单表操作1.创建记录2.修改记录3.删除记录4.查询记录6.多表操作(多对多关系)7.聚合查询和分组查询8.F查询和Q查询9.QuerySet的惰性机制一、数据库的配置1django默认支持sqlite,mysql,oracle,postgresql数据库。<1>sqlitedjango默认使
系统 2019-09-27 17:50:13 2220
Python入门实践5——运算符(Operator)运算符(operator)一、目标1、熟悉各类运算符及其运算规则。2、掌握运算符的优先级。二、要点1、Python运算符1)、Python算术运算符以下假设变量a=10,变量b=21:运算符描述实例+加-两个对象相加a+b输出结果31-减-得到负数或是一个数减去另一个数a-b输出结果-11*乘-两个数相乘或是返回一个被重复若干次的字符串a*b输出结果210/除-x除以yb/a输出结果2.1%取模-返回除法
系统 2019-09-27 17:49:42 2220