Python:Scrapy爬虫简单使用

系统 1451 0

创建爬虫目录:

scrapy startproject spiderName


调试命令

scrapy shell 网站名

调试命令可直接进行 css xpath 的调试;

成功执行命令之后可使用:

response.xpath(xpath表达式)

获取所需的内容。


xpath

说明:

XPath 是一门在 XML 文档中查找信息的语言

表达式 描述 实例
nodename 选取nodename节点的所有子节点 //div
/ 从根节点选取 /div
// 不考虑位置选择节点 //div
. 选取当前节点 ./div
选取当前节点的父节点
@ 选取属性 //@class
//[@] 选取属性的指定元素 //dir[@class]
./text() 输出文本 //dir/text()

备注:
注意 “//” 的使用,熟练使用 “//” 可减少大量观察时间


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论