首先要分析一下电影天堂网站的首页结构。在这里插入图片描述从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。①解析首页地址提取分类信息#解析首页defCrawIndexPage(starturl):print"正在爬取首页"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系统 2019-09-27 17:56:58 1724
对list的操作向list中插入一个元素前面有一个向list中追加元素的方法，那个追加是且只能是将新元素添加在list的最后一个。如：>>>all_users=["qiwsir","github"]>>>all_users.append("io")>>>all_users['qiwsir','github','io']从这个操作，就可以说明list是可以随时改变的。这种改变的含义只它的大小即所容纳元素的个数以及元素内容，可以随时直接修改，而不用进行转换。这
系统 2019-09-27 17:56:53 1724
类装饰器propetyproperty是一种特殊的属性，访问它时会执行一段功能（函数）然后返回值classStudent:def__init__(self,name,birth):self.name=nameself.birth=birth@property#将一个方法伪装成属性defage(self):importtimereturntime.localtime().tm_year-self.birthalex=Student('alex',1930)p
系统 2019-09-27 17:56:49 1724
获取制定标签内容，以及HTML全部文本代码#-*-coding:utf-8-*-importrehtml="岗位职责：完成推荐算法、数据统计、接口、后台等服务器端相关工作必备要求：良好的自我驱动力和职业素养，工作积极主动、结果导向"#获得全部文本dr=re.compile(r'<[^>]+>',re.S)dd=dr.sub('',html)print(dd)print("*"*20)#取出p标签中的文本html_regex=r".*?(.*?)"resul
系统 2019-09-27 17:56:47 1724
python脚本自动生成需要文件在工作中我们经常需要通过一个文件写出另外一个文件，然而既然是对应关系肯定可以总结规律让计算机帮我们完成，今天我们就通过一个通用文件生成的python脚本来实现这个功能，将大家从每日重复的劳动中解放！定义一个函数defproduceBnf(infilename,outfilename):List=[]withopen(infilename,'r')asinf:forlineininf.readlines():List.appe
系统 2019-09-27 17:56:45 1724
本人财务狗一枚，编程基础为0。因为提升工作效率的主观愿望（备注：懒），准备开始学点python。因为平时比较忙（事多），可能更新的非常慢，估计2019年11月开始正式学习更新。给自己立个flag，主要学习内容两个：（1）提升办公效率（2）pandas库学习day1基础软件安装安装anaconda\pycharm\cmder软件介绍：Pycharm是集成开发环境（操作平台），Anaconda是集成环境管理器（库包）,cmder好用的程序操作命令参考文档：Py
系统 2019-09-27 17:56:37 1724
目录第十五章、python中的进程操作-开启多进程一、multprocess模块二、multprocess.process模块三、Process()对象方法介绍四、Process()对象属性介绍五、使用process模块创建进程六、进程之间的数据隔离问题七、守护进程八、terminate方法九、pid和name属性第十五章、python中的进程操作-开启多进程一、multprocess模块multiprocess不是一个模块而是python中一个操作、管理
系统 2019-09-27 17:56:35 1724
Python的环境变量环境变量说明PYTHONSTARTUP在交互式启动时执行的文件（无默认值）PYTHONPATH‘:'-以默认模块搜索路径为前缀的分隔目录列表。结果是sys.path。PYTHONHOME交替的目录(或者:).默认的模块搜索路径为/pythonX.X.PYTHONCASEOK忽略import语句中的大小写（Windows）。PYTHONIOENCODING用于stdin/stdout/stderr中的编码PYTHONHASHSEED如果
系统 2019-09-27 17:56:35 1724
#-*-coding=utf-8-*-importjsonimportrequestsheader={'User-Agent':'googlespider','Content-Encoding':'gzip','X-Forwarded-For':'202.101.43.22',}classBusiness(object):def__init__(self):passdefmy_JSONDecodeError(self):"""我出现JSONDecodeEr
系统 2019-09-27 17:56:35 1724
大概在Python2.7.xx以前，安装Python时环境变量是需要自己设的，所以自己做了一个批处理文件.bat来设置环境变量Path，通过WMI命令wmic来实现。::检查path中有没有相关路径echo%path%|findstr/i"c:\python27\scripts"&&(gotorun)::先添加，防止没有时修改出错wmicENVIRONMENTcreatename="path",VariableValue="c:\python27\scri
系统 2019-09-27 17:56:30 1724
