前言网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目做数据测试，公司业务所需数据。而数据来源可以来自于公司内部数据，第三方平台购买的数据，还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块，以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫：搜索引擎使用，遵守robots协议（君子协议）
系统 2019-09-27 17:51:27 2350
需要用到的库：操作xls格式的表格文件：读取：xlrd写入：xlwt修改（追加写入）：xlutils操作Excel文件的实用工具，如复制、分割、筛选等操作xlsx格式的表格文件：读取/写入：openpyxl新建，写入内容，保存。#coding=utf-8importxlwtimportxlrdtry:#创建excel文件filename=xlwt.Workbook()#给工作表命名，testsheet=filename.add_sheet("test")#
系统 2019-09-27 17:51:19 2350
python接入片云网短信验证申请自己的签名和模板签名和模板审核失败,就联系客服,客服会帮你通过在你的系统设置里面IP白名单,填写你的服务器ip这个ip直接取浏览器搜索ip查看接入python的相关代码importrequestsimportjsonclassYunPian(object):def__init__(self,api_key):self.api_key=api_keyself.single_send_url="https://sms.yunp
系统 2019-09-27 17:51:19 2350
BacktoPythonIndex.1.安装Installation官网,国内镜像源清华最方便，condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/#显示源地址condaconfig--set
系统 2019-09-27 17:50:47 2350
文件常见的读写模式w以写方式打开，W文件若存在，首先要清空，然后（重新）创建a以追加模式打开(从EOF开始,必要时创建新文件)r+以读写模式打开w+以读写模式打开(参见w)a+以读写模式打开(参见a)rb以二进制读模式打开wb以二进制写模式打开(参见w)ab以二进制追加模式打开(参见a)rb+以二进制读写模式打开(参见r+)wb+以二进制读写模式打开(参见w+)ab+以二进制读写模式打开(参见a+)读取文件内容open读取所有内容使用open打开文件后一定
系统 2019-09-27 17:49:09 2350
importsysimportimportlibimportcv2#注意python2中，直接调用reload(sys)，但python3中要importimportlibimportlib.reload(sys)#获取训练好的人脸的参数数据，这里直接从GitHub上使用默认值,注意该xml文档要放在执行目录下face_cascade=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface
系统 2019-09-27 17:46:16 2350
Python使用type关键字创建类打开命令行窗口，输入python，进入python交互环境python一般创建类使用class关键字即可，测试命令如下：classCoo:passobj1=Coo()print(obj1)c=Cooobj2=c()print(obj2)type关键字可以动态的创建类，接收参数（类名，父类元组，属性的字典），如创建一个类，没有父类，没有属性，命令如下：Test=type('Test',(),{})print(Test)t=
系统 2019-09-27 17:46:03 2350
一、初识PythonPython官方网站：www.python.org版本：python-3.4.3.amd64somebody初次接触Python，没有使用Python2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣，目前是作为一门兴趣来了解及学习。二、安装windows环境安装由于somebody未有真实的Python开发经验，切目前仅限于学习，故所有的操作均在windows环境下进行。1.官网下载安装程序，链接：https://w
系统 2019-09-27 17:45:51 2350
pythongetopt详解函数原型：getopt.getopt(args,shortopts,longopts=[])参数解释：args：args为需要解析的参数列表。一般使用sys.argv[1:],这样可以过滤掉第一个参数（ps：第一个参数是脚本的名称，它不应该作为参数进行解析）shortopts：简写参数列表longopts：长参数列表返回值：opts：分析出的(option,value)列表对。args：不属于格式信息的剩余命令行参数列表。源码分
系统 2019-09-27 17:38:35 2350
函数和模块的使用在讲解本章节的内容之前，我们先来研究一道数学题，请说出下面的方程有多少组正整数解。$$x_1+x_2+x_3+x_4=8$$事实上，上面的问题等同于将8个苹果分成四组每组至少一个苹果有多少种方案。想到这一点问题的答案就呼之欲出了。$$C_M^N=\frac{M!}{N!(M-N)!},\text{(M=7,N=3)}$$可以用Python的程序来计算出这个值，代码如下所示。"""输入M和N计算C(M,N)"""m=int(input('m=
系统 2019-09-27 17:38:21 2350
