这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女!!!!fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi
系统 2019-09-27 17:53:14 1734
问题说明最近在写爬虫,由于单个账号访问频率太高会被封,所以需要在爬虫执行一段时间间隔后自己循环切换账号所以就在想,有没有像单片机那样子设置一个定时中断,再定义一个中断入口,这样子每隔一段时间执行一次中断当然不能用sleep,这样子整个进程就停在这了,而不是接着爬数据解决方法用到threading的Timer,也类似单片机那样子,在中断程序中再重置定时器,设置中断,python实例代码如下importthreadingimporttimedefchange_
系统 2019-09-27 17:53:13 1734
其实网上已经有许多python语言书写的串口,但大部分都是python2写的,没有找到一个合适的python编写的串口助手,只能自己来写一个串口助手,由于我只需要串口能够接收读取数据就可以了,故而这个串口助手只实现了数据的接收读取。创建串口助手首先需要创建一个类,重构类的实现过程如下:#coding=gb18030importthreadingimporttimeimportserialclassComThread:def__init__(self,Por
系统 2019-09-27 17:53:09 1734
粘包问题TCP协议在传输过程中会出现数据粘包问题讲一下TCP和UDP的区别,都是传数据的协议,没有好坏之说,只是不同的应用需求可能会更好选择哪一个协议TCP:适合传输数量大,需要建立连接,会出现粘包问题,粘包问题可以解决,确定传入的长度,接收同样长度就可以保证一次性传输完UDP:适合传输数据量小,没有粘包,不需要连接,一次性传输,下一次就是新的数据,弊端就是数据丢失,不安全QQ是用什么协议呢?按理应该可以用UDP协议,但是实际用的是TCP协议,这是历史遗留
系统 2019-09-27 17:53:03 1734
Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互,比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框:"text"name="passwd"id="passwd-id"/>获取这个元素的方法:element=driver.find_element_by_id("passwd-id")element=driver.find_ele
系统 2019-09-27 17:53:02 1734
Python中经常遇到这样那样的字符编码问题,尤其在处理网页源码时(特别是爬虫中):UnicodeDecodeError:‘XXX'codeccan'tdecodebytesinposition12-15:illegalmultibyte...每次看到上面这段文字的时候,感觉整个世界都昏暗了,然后就只能各种搜索找资料,过后就忘了。下次遇到时就让世界再昏暗一次。为了彻底解决这个拦路虎,今天咱们就好好的来唠嗑唠嗑。下面以汉字'哈'来解释作示例解释所有的问题,汉
系统 2019-09-27 17:53:00 1734
最近在做游戏服务分层的时候,一直想把mysql的访问独立成一个单独的服务DBGate,原因如下:请求收拢到DBGate,可以使DBGate变为无状态的,方便横向扩展当请求量或者存储量变大时,mysql需要做分库分表,DBGate可以内部直接处理,外界无感知通过restful限制对数据请求的形式,仅支持简单的get/post/patch/put进行增删改查,并不支持复杂查询。这个也是和游戏业务的特性有关,如果网站等需要复杂查询的业务,对此并不适合DBGate
系统 2019-09-27 17:52:45 1734
填充螺旋演示结果:实例代码:importmatplotlib.pyplotaspltimportnumpyasnptheta=np.arange(0,8*np.pi,0.1)a=1b=.2fordtinnp.arange(0,2*np.pi,np.pi/2.0):x=a*np.cos(theta+dt)*np.exp(b*theta)y=a*np.sin(theta+dt)*np.exp(b*theta)dt=dt+np.pi/4.0x2=a*np.cos
系统 2019-09-27 17:52:35 1734
Python中的json对象实际是一个字典结构,用于存储和交换信息,导入json模块:importjson1,把字符串转换为jsonjson的load()方法用于把josn格式的字符串转换为json对象,这实际上是一个字典结构:json_string='{"name":"John","age":30,"city":"NewYork"}'#parsestringtojsonjson_obj=json.loads(json_string)2,把字典转换为jso
系统 2019-09-27 17:52:33 1734
前言学习一个库的最好的方式是了解这个库的源码和组成原理,有时候源码可能会略显生涩,这时候我们想通过查看文档来了解,所以我们可以通过输出库自带的描述文档来了解一个库。Numpy和Scipy模块numpy提供了数组对象,面向的任何使用者。scipy在numpy的基础上,面向科学家和工程师,提供了更为精准和广泛的函数。scipy几乎实现numpy的所有函数,一般而言,如果scipy和numpy都有这个函数的话,应该用scipy中的版本,因为scipy中的版本往往
系统 2019-09-27 17:52:27 1734