搜索到与相关的文章
Python

【Python3爬虫】快就完事了--使用Celery加速你的爬虫

一、写在前面在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务,是可以用Celery来做到加速爬取的,那么,这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速!二、知识补充1.classcelery.groupgroup这个类表示创建一组要并行执行的任务,不过一组任务是懒惰的,所以你需要运行并对其进行评估。要了解这个类,可以查看文档,或者在Pycharm中直接Ctrl+左键就能直接查看源码了,如下图:当然了,直接看源码还不够,最好

系统 2019-09-27 17:48:01 2299

Python

leetcode-python-day12-第31题

========坚持30天刷leetcode=====题目链接:https://leetcode-cn.com/problems/next-permutation/结果:分析:思路是:1)从后往前找不符合降序(大->小,可以相等)的第一个元素a,2)然后从a的下一个元素开始往后找,找到最后一个大于a的元素b,3)交换a,b的位置,4)再将原先a位置后的所有元素,进行升序排序5)特殊情况①:数组全为降序,逆转数组;特殊情况②:找到a后,a比数组最后一个元素c

系统 2019-09-27 17:46:33 2299

Python

python selenium 采坑

pythonselenium采坑系统环境:python2macos10.14.5正文:之前装了一个firefox就可以完美使用selenium了,但是在firefox上进行网页检查时不是很习惯。所以还是想使用chrome,但是由于selenium原生不支chrome,所以需要下载chromedriver并在生成selenium对象前把chromedriver和chrome放到应用程序路径下,或者再初始化webdriver.Chrome对象时设置chrome

系统 2019-09-27 17:46:26 2299

Python

Python基础小结

目录一、执行Python程序的两种方式1.1交互式1.2命令行式二、执行Python程序的两种IDE2.1Pycharm2.2Jupyter三、变量3.1什么是变量?3.2变量的组成?3.3变量名的定义规范3.4定义变量的两种方式3.5常量四、注释4.1单行注释4.2多行注释4.3引用计数4.4垃圾回收机制4.5小整数池五、花式赋值5.1链式赋值5.2交叉赋值六、与用户交互七、input八、格式化输出8.1占位符8.2format格式化8.3f-strin

系统 2019-09-27 17:45:33 2299

Python

python结合API实现即时天气信息

python结合API实现即时天气信息importurllib.requestimporturllib.parseimportjson"""利用“最美天气”抓取即时天气情况http://www.zuimeitianqi.com/"""classZuiMei():def__init__(self):self.url='http://www.zuimeitianqi.com/zuimei/queryWeather'self.headers={}self.hea

系统 2019-09-27 17:38:36 2299

编程技术

String和StringBuffer详解

String的创建Strings="hello";JVM先根据内容"hello"查找对象,如果没有找到,则在heap上创建新对象,并将其赋予s1,否则使用已经存在的对象Strings=newString("hello");JVM直接在heap上创建新的对象,所以在heap中会出现内容相同,地址不同的String对象String的比较"=="比较地址"equals"比较内容举例:Strings1="hello";Strings2="hello";String

系统 2019-08-29 23:30:21 2299

编程技术

Hibernate检索策略学习之--批量加载

所谓批量加载,即把原本要发送的SQL分批统一发送,比如说原本要发送100条SQL,如果设置batch-size=3,则只需要发送100/3+1=34条,可以提高效率批量加载分为延迟加载和立即加载,先说立即加在首先建立测试数据库CREATETABLEcertificate(idvarchar(100)NOTNULLdefault'',descriptionvarchar(100)default'',PRIMARYKEY(id));CREATETABLEstu

系统 2019-08-29 23:24:26 2299

编程技术

天港成旅行社管理信息系统-WEB版

天港成旅行社管理信息系统-WEB版1、销售-组团2、销售-入境游3、销售-单项委托4、销售-报价单管理5、销售-散客6、销售-销售控制7、销售-询价报价公告8、销售-统计分析http://www.tr99.cn/tour/tour_wbb_jt1.asp1、销售-组团2、销售-入境游3、销售-单项委托4、销售-报价单管理5、销售-散客6、销售-销售控制7、销售-询价报价公告8、销售-统计分析天港成旅行社管理信息系统-WEB版天港成旅行社管理信息系统-WEB

系统 2019-08-29 23:12:33 2299

编程技术

用Lucene构建实时索引的文档更新问题

1、Lucene删除文档的几种方式IndexReader.deleteDocument(intdocID)是用IndexReader按文档号删除。IndexReader.deleteDocuments(Termterm)是用IndexReader删除包含此词(Term)的文档。IndexWriter.deleteDocuments(Termterm)是用IndexWriter删除包含此词(Term)的文档。IndexWriter.deleteDocumen

系统 2019-08-29 22:57:44 2299

编程技术

用HTML5的Canvas写字的例子

最近项目轻松了一些,就抱着学习的态度阅读了HTMLCanvas2DContext的内容。又想到以前曾经在android上做过原笔迹手写的内容,就想试着在HTML5中简单做一下看看。摸索着完成了demo。下面是在GoogleChrome13.0版本上的效果。下面附上代码,仅仅为学习,没做优化,作为例子吧。writedemo

系统 2019-08-29 22:53:02 2299