Python:Scrapy爬虫简单使用

系统 156 0

创建爬虫目录:

scrapy startproject spiderName


调试命令

scrapy shell 网站名

调试命令可直接进行 css xpath 的调试;

成功执行命令之后可使用:

response.xpath(xpath表达式)

获取所需的内容。


xpath

说明:

XPath 是一门在 XML 文档中查找信息的语言

表达式 描述 实例
nodename 选取nodename节点的所有子节点 //div
/ 从根节点选取 /div
// 不考虑位置选择节点 //div
. 选取当前节点 ./div
选取当前节点的父节点
@ 选取属性 //@class
//[@] 选取属性的指定元素 //dir[@class]
./text() 输出文本 //dir/text()

备注:
注意 “//” 的使用,熟练使用 “//” 可减少大量观察时间


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论