英文文档classmethod(function)Returnaclassmethodforfunction.Aclassmethodreceivestheclassasimplicitfirstargument,justlikeaninstancemethodreceivestheinstance.Todeclareaclassmethod,usethisidiom:classC:@classmethoddeff(cls,arg1,arg2,...):.
系统 2019-09-27 17:52:28 1987
先看map。map()函数接收两个参数,一个是函数,一个是序列,map将传入的函数依次作用到序列的每个元素,并把结果作为新的list返回。举例说明,比如我们有一个函数a(x)=x*2,要把这个函数作用在一个list[1,2,3,4,5]上,就可以用map()实现如下:复制代码代码如下:>>>defa(x):...returnx*2...>>>map(a,[1,2,3,4,5])[2,4,6,8,10]map传入的第一个参数a,即a函数,当然你也可以不用ma
系统 2019-09-27 17:52:06 1987
思路一、想要实现登录豆瓣关键点分析真实post地址----寻找它的formdata,如下图,按浏览器的F12可以找到。实战操作实现:模拟登录豆瓣,验证码处理,登录到个人主页就算是success数据:没有抓取数据,此实战主要是模拟登录和处理验证码的学习。要是有需求要抓取数据,编写相关的抓取规则即可抓取内容。登录成功展示如图:spiders文件夹中DouBan.py主要代码如下:#-*-coding:utf-8-*-importscrapy,urllib,re
系统 2019-09-27 17:52:01 1987
Numpy、Pandas是Python数据处理中经常用到的两个框架,都是采用C语言编写,所以运算速度快。Matplotlib是Python的的画图工具,可以把之前处理后的数据通过图像绘制出来。之前只是看过语法,没有系统学习总结过,本博文总结了这三个框架的API。以下是这三个框架的的简单介绍和区别:Numpy:经常用于数据生成和一些运算Pandas:基于Numpy构建的,是Numpy的升级版本Matplotlib:Python中强大的绘图工具NumpyNum
系统 2019-09-27 17:51:19 1987
作者:Vamei出处:http://www.cnblogs.com/vamei欢迎转载,也请保留这段声明。谢谢!Python使用类(class)和对象(object),进行面向对象(object-orientedprogramming,简称OOP)的编程。面向对象的最主要目的是提高程序的重复使用性。我们这么早切入面向对象编程的原因是,Python的整个概念是基于对象的。了解OOP是进一步学习Python的关键。下面是对面向对象的一种理解,基于分类。相近对象
系统 2019-09-27 17:51:09 1987
http.cookiejar前面讲到的cookie的使用,我们首先使用的是浏览器登陆之后,将中间的cookie取出来,之后将其应用到代码中,实现代码请求的功能,但是显然这样并不是非常的完美,如果代码能够自动的获取到cookie并完成后续的工作会更加的完美对于这个http.cookiejar,该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。对于这四类的作用非别如下:1、CookieJ
系统 2019-09-27 17:50:59 1987
**装饰器**1.装饰器的概念装饰器的本质就是一个函数,它的作用是为其他函数添加一个新的功能,但是不改变原函数的源代码和调用方式。装饰器的两大原则:不修改被修饰函数的源代码不修改被修饰函数的调用方式2.装饰器的知识储备(或者我们可以理解成,一个装饰器是由什么组成)装饰器=高阶函数+函数嵌套+闭包3.装饰器的实现首先我们定义一个累加求和的函数importtimedefcal():res=0foriinrange(100):res+=itime.sleep(1
系统 2019-09-27 17:50:53 1987
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1987
方法一、input标签上传如果是input标签,可以直接输入路径,那么可以直接调用send_keys输入路径,这里不做过多赘述,前文有相关操作方法。方法二、非input标签上传这种上传方式需要借助第三方工具,主要有以下三种情况:1.AutoIt去调用它生成的au3或者exe格式的文件2.SendKeys第三方库(目前只支持到2.7版本)网址:https://pypi.python.org/pypi/SendKeys/3.Python的pywin32库,通过
系统 2019-09-27 17:50:49 1987
使用paramiko库:https://github.com/paramiko/paramiko简单封装SSH类importparamikoclassSSH:def__init__(self,host,port,user,ssh_key_path,timeout=1800):self.host=hostself.port=portself.user=userself.ssh_key_path=ssh_key_pathself.timeout=timeout
系统 2019-09-27 17:50:38 1987