爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 1919
python读取excel文件生成sql文件实例详解学了python这么久，总算是在工作中用到一次。这次是为了从excel文件中读取数据然后写入到数据库中。这个逻辑用java来写的话就太重了，所以这次考虑通过python脚本来实现。在此之前需要给python添加一个xlrd模块，这个模块是专门用来操作excel文件的。在mac中可以通过easy_installxlrd命令实现自动安装模块importxdrlib,sysimportxlrddefopen_e
系统 2019-09-27 17:55:37 1919
首先在火狐浏览器上登录知乎，然后使用火狐浏览器插件Httpfox获取GET请求的Cookie，这里注意使用状态值为200（获取成功）的某次GET.将Cookies复制出来，注意这一行非常长，不要人为添加换行符。而且Cookie中使用了双引号，最后复制到代码里使用单引号包起来。使用下边代码检验是否是模拟了登录的用户的请求：importrequestsimportreheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.
系统 2019-09-27 17:55:03 1919
大家在学习Python的时候，有人会问“Python要学到什么程度才能出去找工作”，对于在Python培训机构学习Python的同学来说这都不是问题，因为按照Python课程大纲来，一般都不会有什么问题，而对于自学Python来说，那就比较难掌握，冒然出去找工作非常容易受打击，从而失去学习Python的信心。接下来我们就来看看Python学到什么程度才算是真正学会Python可以去一展身手。一、确立目标、了解需求做什么事情都要先确定好目标，才不至于迷失方向
系统 2019-09-27 17:54:31 1919
环境：编辑工具：浏览器：有问题可以联系qq：1776376537安装xlrd安装DDT一分析1目录结构2导入包二代码importxlrdclassExcelUtil():def__init__(self,excelPath,sheetName="Sheet1"):self.data=xlrd.open_workbook(excelPath)self.table=self.data.sheet_by_name(sheetName)#获取第一行作为key值se
系统 2019-09-27 17:54:09 1919
1.基础内容[]（中括号）用于描述正则表达式中的字符集，可以通过向字符集内部输入字符来自定义匹配的内容。importreregex1=re.compile('[ABC]')message1="Hello.ThisisABCclub.Amanwillserveyouthen."print(regex1.findall(message1))输出：[‘A’,‘B’,‘C’,‘A’]正则表达式会根据中括号里的任意一个字符进行匹配。如果想要匹配的字符很多，例如所有的
系统 2019-09-27 17:52:45 1919
感觉这种理解有问题，举个例子来说。classDog(object):name='dog'definit(self):self.age=18d1=Dog()d2=Dog()这里有两个实例d1,d2吧。d1.name#输出dogd2.name#输出dogd1.name='abc'd1.name#输出abcd2.name#输出dogDog.name#输出dog原因是d1.name输出dog不是因为这个实例共享了类属性，而是因为这个实例没有dog属性，所以pyth
系统 2019-09-27 17:51:12 1919
IDLE中的快捷键：Ctrl+[、Ctrl+]缩进、取消缩进代码Alt+3、Alt+4注释、取消注释当前代码行Alt+NAlt+P下一条命令和上一条命令（注：命令即历史输入内容）Alt+/提示代码中出现过的字符串，自动补齐，多按几次可以循环选择Alt+M打开模块代码，先选中模块，然后按下此快捷键，会帮你打开模块的Py源码供浏览Alt+C打开类浏览器，方便在源码文件中的各个方法体之间切换Alt+FP打开路径浏览器，方便选择导入包进行查看浏览F1打开Pytho
系统 2019-09-27 17:50:15 1919
如题，后续继续优化importcsv#构建表头headers=["id","user_name","age","country"]#内容列表rows=[("001","dana",18,"china"),("002","tom",22,"arimecan"),("003","jack",45,"hk")]#新建csv文档，默认是自动换行的，所以要newline=""withopen("csv01.csv","w",newline='')asf:f_csv=
系统 2019-09-27 17:49:07 1919
目录Python并发编程04/多线程1.生产消费者模型2.线程的理论知识2.1什么是线程2.2线程vs进程2.3线程的应用3.开启进程的两种方式3.1第一种方式3.2第一种方式4.线程vs进程的代码对比4.1开启速度对比4.2对比pid4.3同一个进程内线程共享内部数据5.线程的其他方法6.join与守护线程6.1join6.2守护线程7.互斥锁Python并发编程04/多线程1.生产消费者模型#编程思想,模型,设计模式,理论等等,都是交给你一种编程的方法
系统 2019-09-27 17:49:07 1919
