一：从各种不同的格式文件中导入数据,总结目前最常用的文件格式导入数据的一些方法:#-*-coding:utf-8-*-fromnumpyimport*defloadDataSet(fileName):'''导入数据'''numFeat=len(open(fileName).readline().split('\t'))-1dataMat=[]labelMat=[]fr=open(fileName)forlineinfr.readlines():lineAr
系统 2019-09-27 17:54:24 2078
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 2078
经常地我们需要编写跨平台的脚本，但是由于不同的平台的差异性，我们不得不获得当前所工作的平台（操作系统类型）。代码如下：复制代码代码如下:importplatformdefTestPlatform():print("----------OperationSystem--------------------------")#Windowswillbe:(32bit,WindowsPE)#Linuxwillbe:(32bit,ELF)print(platform
系统 2019-09-27 17:54:01 2078
最近遇到一个问题，是指定参数来运行某个特定的进程，这很类似Linux中一些命令的参数了，比如ls-a，为什么加上-a选项会响应。optparse模块实现的也是类似的功能，它是为脚本传递命令参数。使用此模块前，首先需要导入模块中的类OptionParser，然后创建它的一个实例（对象）：复制代码代码如下:fromoptparseimportOptionParserparser=OptionParser()#这里也可以定义类的参数，后续有接着就可以添加选项了，
系统 2019-09-27 17:53:20 2078
第1题：如何解决验证码的问题，用什么模块，听过哪些人工打码平台？PIL、pytesser、tesseract模块平台的话有：（打码平台特殊，不保证时效性）云打码挣码斐斐打码若快打码超级鹰第2题：ip被封了怎么解决，自己做过ip池么？关于ip可以通过ip代理池来解决问题ip代理池相关的可以在github上搜索ipproxy自己选一个去说https://github.com/awolfly9/IPProxyTool提供大体思路：获取器通过requests的爬虫
系统 2019-09-27 17:52:35 2078
Python语言与Perl，C和Java等语言有许多相似之处，也有一定的差异性，以下是Python语言获取文件后缀名和文件名的方法：#Python获取文件后缀名的方法importos.pathdeffile_extension(path):returnos.path.splitext(path)[1]printfile_extension('/py/a.py')输出：.py#Python获取目录和文件名importos.pathdeffile_extens
系统 2019-09-27 17:52:22 2078
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 2078
在基础知识部分的最后一章《第十三章Python基础篇结束章》的《第13.3节图形界面开发tkinter》简单介绍了Python内置图形界面标准库tkinter，当时特别强调tkinter没有图形开发的设计界面，使用复杂，且存在功能问题不推荐使用，将学习朋友推荐的PyQt。本章正式进入PyQt相关内容的学习，注意PyQt是GPL软件(GPL是GNUGeneralPublicLicense的缩写，是GNU通用公共授权非正式的中文翻译)，不适合用于商用开发。但P
系统 2019-09-27 17:50:44 2078
协程是什么我们已经做过不少爬虫项目，不过我们爬取的数据都不算太大，如果我们想要爬取的是成千上万条的数据，那么就会遇到一个问题：因为程序是一行一行依次执行的缘故，要等待很久，我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久，那我们能不能让多个爬虫一起爬取？这样无疑能提高爬取的效率，就像一个人干不完的活儿，组个团队一起干，活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢？我们可以先别急着想怎么实现这件事，后
系统 2019-09-27 17:50:16 2078
第一步：标记化处理表达式的第一步就是将其转化为包含一个个独立符号的列表。这一步很简单，且不是本文的重点，因此在此处我省略了很多。首先，我定义了一些标记（数字不在此中，它们是默认的标记）和一个标记类型：token_map={'+':'ADD','-':'ADD','*':'MUL','/':'MUL','(':'LPAR',')':'RPAR'}Token=namedtuple('Token',['name','value'])下面就是我用来标记`expr`
系统 2019-09-27 17:49:09 2078
