写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。不多说了，来看下代码吧：fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁，下面的程序就可以执行多协程了importrequests,geven
系统 2019-09-27 17:47:59 2163
python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。得到当前工作目录，即当前Python脚本工作的目录路径:os.getcwd()返回指定目录下的所有文件和目录名:os.listdir()函数用来删除一个文件:os.remove()删除多个目录：os.removedirs（r“c：\python”）检验给出的路径是否是一个文件：os.path.isfile()检验给出的路径是否是一个目录：os.path.isdir()判
系统 2019-09-27 17:47:37 2163
python是解释型语言，本文介绍了Python下利用turtle实现绘图功能的示例，本例所示为Python绘制一个树枝，具体实现代码如下：python是解释型语言，本文介绍了Python下利用turtle实现绘图功能的示例，本例所示为Python绘制一个树枝，具体实现代码如下：importturtledefbranch(length,level):iflevel<=0:returnturtle.forward(length)turtle.left(45)
系统 2019-09-27 17:47:13 2163
Python如何爬取京东的评价信息模块：requests，BeautifulSoupimportreimporttimeimportcsvimportrequestsfrombs4importBeautifulSoupdefwrite_a_row_in_csv(data,csv_doc):"savegoodinformationintoarowincsvdocument"withopen(csv_doc,'a',newline='')asf:writer=
系统 2019-09-27 17:46:09 2163
实例如下：#环境:python3.xdefgetExportDbSql(db,index):#获取导出一个数据库实例的sql语句sql='mysqldump-u%s-p%s-h%s-P%d--default-character-set=utf8--databasesmu_ins_s%s>%s.s%d.mu_ins_%d.sql'%(db['user'],db['pwd'],db['host'],db['port'],index,db['server'],i
系统 2019-09-27 17:38:36 2163
网络爬虫，即WebSpider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。1.网络爬虫的定义网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。这样看来，网络爬虫
系统 2019-09-27 17:38:28 2163
Python变量类型变量存储在内存中的值。这就意味着在创建变量时会在内存中开辟一个空间。基于变量的数据类型，解释器会分配指定内存，并决定什么数据可以被存储在内存中。因此，变量可以指定不同的数据类型，这些变量可以存储整数，小数或字符。变量赋值Python中的变量不需要声明，变量的赋值操作既是变量声明和定义的过程。每个变量在内存中创建，都包括变量的标识，名称和数据这些信息。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。等号（=）用来给变量赋值。等号
系统 2019-09-27 17:38:21 2163
背景在实际项目实施中，会编写很多在服务器执行的作业脚本。程序中凡是涉及到数据库链接、操作系统用户链接、IP地址、主机名称的内容都是敏感信息。在纯内网系统中往因为开发时间紧迫，往往都直接将这些敏感信息明文方式写在脚本中了。稍微规范一点的，创建一个通用的config文件，将所有这类敏感信息记录在这个文件中，脚本以读取文件方式获取这些信息。这种方式的好处是脚本不用在应用迁移、灾备部署的时候再起不同的版本，尤其是大数据平台作业运行的脚本，如果是需要做灾备集群，这种
系统 2019-09-27 17:57:49 2162
第一个Python程序交互式编程交互式编程不需要创建脚本文件，是通过Python解释器的交互模式进来编写代码。linux上你只需要在命令行中输入Python命令即可启动交互式编程,提示窗口如下：$pythonPython2.7.6(default,Sep92014,15:04:36)[GCC4.2.1CompatibleAppleLLVM6.0(clang-600.0.39)]ondarwinType“help”,“copyright”,“credits”
系统 2019-09-27 17:56:51 2162
代码importpsutilprint(dir(psutil))#查看逻辑cpu的个数print(psutil.cpu_count())#查看物理cpu的个数print(psutil.cpu_count(logical=False))#查看cpu的用户时间，系统时间，空闲时间，中断时间print(psutil.cpu_times())#统计每个cpu的使用率print(psutil.cpu_percent(interval=2,percpu=True))#
系统 2019-09-27 17:56:18 2162
中文编码问题一直是Python程序设计中很头痛的问题，本文对此较为详细的进行了总结归纳。具体如下：当字符串是：'\u4e2d\u56fd'>>>s=['\u4e2d\u56fd','\u6e05\u534e\u5927\u5b66']>>>str=s[0].decode('unicode_escape')#.encode("EUC_KR")>>>printstr中国当字符串是:'东亚学团一中'>>>printunichr(19996)东ord()支持uni
系统 2019-09-27 17:56:07 2162
python数据分析记录用python进行数据分析：记录（一）主要记录一些语法语句的使用Seaborn的joinplot图无法显示pearson相关系数如何让sns.joinplot显示pearson相关系数：1.按自己的思路写的代码显示的图标没有rp系数的显示2.如图3.导入stats，写函数4.如图关于zip()函数和enumerate()函数zip()1.该函数用于将多个可迭代对象作为参数，依次将对象中对应的元素打包成一个个元组，然后返回由这些元组组
系统 2019-09-27 17:55:54 2162
python中类的继承：子类继承父类，及子类拥有了父类的属性和方法。python中类的初始化都是__init__()。所以父类和子类的初始化方式都是__init__()，但是如果子类初始化时没有这个函数，那么它便调用父类的__init__()；如果实现了这个函数，就会覆盖父类的初始化函数。如果继承父类的__init__()，就需要在子类中显示调用这个函数。实现如下：classAnimal(object):def__init__(self):self.nam
系统 2019-09-27 17:55:47 2162
一、动机最近打算折腾vn.py，但只有py27版本的，因为一向习惯使用最新稳定版的，所以不得不装py27的环境，不得不说Python的全局锁真的很烦。身为懒癌患者，必然使用全功能的anaconda，但不想同时装py27和py35两个版本的anaconda巨无霸（同时装两个，不知道conda是否也可以管理环境），于是选择用conda装python27的环境及一些必要的包。弄了几天终于把办公电脑和家里的Mac机上的环境都配好了，即使有了官方的安装教材，也踩了不
系统 2019-09-27 17:55:36 2162
vim有各种强大的插件，这不仅归功于其提供的用来编写插件的脚本语言vimL，还得益于它良好的接口实现，从而支持python等语言编写插件。当vim编译时带有+python特性时就能使用python2.x编写插件，+python3则支持python3.x，可以使用vim--version来查看vim的编译特性。要使用python接口，可以用:hpython来查看vim提供的帮助文档，本文做一个简单的介绍。我们都知道在vim里可以执行bash命令，只需要:!c
系统 2019-09-27 17:54:51 2162
