python爬虫常用模块

系统 125 0

对于一些简单的爬虫,python(基于python3)有更好的第三方库来实现它,且容易上手。

Python标准库–logging模块
logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debug
re模块
正则表达式
sys模块
系统相关模块

sys.argv(返回一个列表,包含所有的命令行)
sys.exit(退出程序)

Python标准库–urllib模块

urllib.requset.urlioen可以打开HTTP(主要)、HTTPS、FTP、协议的URL

ca 身份验证
data 以post方式提交URL时使用
url 提交网络地址(全程 前端需协议名 后端需端口 http:/192.168.1.1:80)
timeout 超时时间设置
函数返回对象有三个额外的方法

geturl() 返回response的url信息 常用与url重定向
info()返回response的基本信息
getcode()返回response的状态代码

1,request

urllib.request最常见的用法是直接使用urllib.request.urlopen()来发起请求,但通常这样是不规范的

一个完整的请求还应该包括headers这样的信息传递,可以这样实

python爬虫常用模块_第1张图片

 

 

 

通常防止爬虫被检测,我们需要规定headers,伪造爬虫头部信息,但此方法一般用途不大。

2,BeautifulSoup

beautifulsoup的功能很强大,利用它我们可以实现网页的轻松解析,省掉写很多正则表达式的麻烦。

它拥有几个强大的解析库,包括 内置的html解析器,lxml,html5lib。

一般默认的是html解析器 html.parser

最好的大概是lxml了

用法:

 

 

 

展现beautifulsoup强大的标签选择功能

获取某个html标签的属性:
print(soup.p['name'])

获取某个标签的内容:

print(soup.p.string)

 

获取某个标签内的所有内容,存入列表中

plist=soup.p.contents

获取某个标签内的所有内容,存入列表中

plist=soup.p.contents

 

find_all()标签选择器

例如我们要找到id=content 的div标签的内容

  python爬虫常用模块_第2张图片

 

 

 成功爬取

python爬虫常用模块_第3张图片

 


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论