闭包是Python装饰器的基础。要理解闭包，先要了解Python中的变量作用域规则。变量作用域规则首先，在函数中是能访问全局变量的：>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后，在一个嵌套函数中，内层函数能够访问在外层函数中定义的局部变量：>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是
系统 2019-09-27 17:54:39 1888
正文首先得说明的是,Python的类分为经典类和新式类经典类是python2.2之前的东西,但是在2.7还在兼容,但是在3之后的版本就只承认新式类了新式类在python2.2之后的版本中都可以使用经典类和新式类的区别在于:经典类是默认没有派生自某个基类的,而新式类是默认派生自object这个基类的:复制代码代码如下:#oldstyleclassA():pass#newstyleclassA(obejct):pass2.经典类在类多重继承的时候是采用从左到右
系统 2019-09-27 17:54:38 1888
综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 1888
安装方法pipinstallScrapy如果顺利的话不用管直接一路下来就OK验证是否安装成功安装成功不顺利的情况1）lxml安装不成功使用whl进行安装，不过需要先安装whlpipinstallwheel安装完成后下载lxml的whl文件网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/whl版本挑选进入cmd――>importpip――>printpip.pep425tags.get_supported()，按照截
系统 2019-09-27 17:54:03 1888
表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 1888
Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1888
Windows•安装lxml最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，从该网站找到lxml的相关文件。假如是Python3.5版本，WIndows64位系统，那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载，然后通过pip安装。下载之后，运行如下命令安装：pip3installwheelpip3installlxml‑3.7.2
系统 2019-09-27 17:53:34 1888
最近遇到一个问题，是指定参数来运行某个特定的进程，这很类似Linux中一些命令的参数了，比如ls-a，为什么加上-a选项会响应。optparse模块实现的也是类似的功能，它是为脚本传递命令参数。使用此模块前，首先需要导入模块中的类OptionParser，然后创建它的一个实例（对象）：复制代码代码如下:fromoptparseimportOptionParserparser=OptionParser()#这里也可以定义类的参数，后续有接着就可以添加选项了，
系统 2019-09-27 17:53:20 1888
0x00前言eval是Python用于执行python表达式的一个内置函数，使用eval，可以很方便的将字符串动态执行。比如下列代码：>>>eval("1+2")>>>eval("[xforxinrange(10)]")[0,1,2,3,4,5,6,7,8,9]当内存中的内置模块含有os的话，eval同样可以做到命令执行：>>>importos>>>eval("os.system('whoami')")win-20140812chj\administrat
系统 2019-09-27 17:53:02 1888
sklearn.preprocessing.RobustScaler:Initsignature:RobustScaler(with_centering=True,with_scaling=True,quantile_range=(25.0,75.0),copy=True,)Docstring:Scalefeaturesusingstatisticsthatarerobusttooutliers.ThisScalerremovesthemedianands
系统 2019-09-27 17:52:43 1888
