0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题，创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在，返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge
系统 2019-09-27 17:48:14 2034
最近敲代码的时候主要遇到两大问题，第一个是构造自己包的时候找不到package。构造自己package谈两条经验，有助于解决这个问题。1自己构造包的名称尽量不要和Python自带的包重名，起的名字个性化一点。要不然出的bug都不知道错在哪2只要打算把这个文件夹当成一个包，就一定要在这个文件夹同一目录下新建一个__init__.py文件（内容可以为空）一般来说注意这两点，构建包就不成问题。在包的文件夹里面的.py文件称之为模块（文件名就是模块名），当然包里也
系统 2019-09-27 17:48:06 2034
2019中国好声音火热开播，作为一名“假粉丝”，这一季每一期都刷过了，尤其刚播出的第六期开始正式的battle。视频视频看完了，那看下大家都是怎样评论的。1.网页分析部分本文爬取的是腾讯视频评论，第六期的评论地址是：http://coral.qq.com/4093121984每页有10条评论，点击“查看更多评论”，可将新的评论加载进来，通过多次加载，可以发现我们要找的评论就在以v2开头的js类型的响应中。请求为GET请求，地址是http://coral.q
系统 2019-09-27 17:48:03 2034
本文实例讲述了python自定义装饰器。分享给大家供大家参考，具体如下：先看一个例子defdeco(func):print("beforemyfunc()called.")func()print("aftermyfunc()called.")returnfunc@decodefmyfunc():print("myfunc()called.")#myfunc=deco(myfunc)#与上面的@deco等价myfunc()print("***********
系统 2019-09-27 17:47:58 2034
1.服务端主程序：#encoding:utf-8importthreadingfromprocedure.socket_serverimportThreadingHttpServer,MainHandlerfromprocedure.processimportmq_respond_procedurefromloggerimportlog,logwffromconfimport(HOST,PORT,MQ_A_RECV_1,MQ_A_RECV_2,MQ_A_R
系统 2019-09-27 17:47:49 2034
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 2034
你学习到今日，会发现python你基本都掌握了。可以完成基本的东西。。。。。突然有个问题，是为什么我还不能搞程序，完整实现一点东西（贵在坚持，入门就想吃大胖子，想太多了）另外一个问题，我们写出来简单的代码，本来一个很简单的内容，但是真正能用缺要debug很久。。。。（排查）bug###是昆虫，臭虫的意思，在计算机发展过程中，有一个故事，就是昆虫依附在电路板某个地方，导致无法开机。。。debug###就是驱虫，除虫的意思。（会网络的朋友，经常无奈的时候会de
系统 2019-09-27 17:47:06 2034
上面的博客把基本的HTML解析库已经说完了，这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一：爬取猫眼电影TOP100信息代码地址：https://gitee.com/dwyui/maoyan-Requests.git项目二：美食爬取（包含多层爬取）代码地址：https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 2034
Python程序可以处理多种方式的日期和时间。日期格式之间的转换是一种常见计算机的杂活。Python的时间和日历模块，能帮助处理日期和时间。Tick是什么?时间间隔为浮点数以秒为单位的数字。在特定的时间瞬间自上午12时00分，1970年1月1日(纪元)表示，单位为秒。Python中可用的流行时间模块，它提供功能转换。该功能time.time()返回当前系统时间，因为上午12点，1970年1月1日(时代)。例子:#!/usr/bin/pythonimport
系统 2019-09-27 17:46:45 2034
这两个均是python的内建函数，通过读取控制台的输入与用户实现交互。但他们的功能不尽相同。举两个小例子。>>>raw_input_A=raw_input("raw_input:")raw_input:abc>>>input_A=input("Input:")Input:abcTraceback(mostrecentcalllast):File"",line1,ininput_A=input("Input:")File"",line1,inNameErro
系统 2019-09-27 17:45:44 2034
