python爬虫人工智能解析文章

系统 480 0

之前在公司做一个项目,项目需求是按照标签分类,去不同网站上爬取文章的内容,标题等。然后我就一个网站一个网站的去配xpath,可是网站特别多的时候,领导就会对我提出一个需求能不能,写一种程序然后用来解析所有的网站,也就是智能化解析。这对我一个刚刚做爬虫不久的新手就是很头疼了。于是各种网上找资料,于是发现了DIFFBOT这个东西。官网https://www.diffbot.com,注册后会有15天的免费使用的时间。注册后会发邮件给你一个token,通过token可以配置API请求然后获取json数据,代码示例:

            
              import requests, json

url = 'https://api.diffbot.com/v3/article'
params = {
    'token': 'your token', # 这里填写自己的token值
    'url': 'https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9516827704589093644%22%7D&n_type=0&p_from=1',
    'fields': 'meta'
}
response = requests.get(url, params=params)
print(json.dumps(response.json(), indent=2, ensure_ascii=False))

            
          

结果会获得一个json串
python爬虫人工智能解析文章_第1张图片
python爬虫人工智能解析文章_第2张图片
响应参数的一些说明:
python爬虫人工智能解析文章_第3张图片
python爬虫人工智能解析文章_第4张图片
如果说公司业务有这方面需求,但是自己却实现不了这种技术的,我觉得可以尝试使用,如果不需要,就当作一种了解。以后也可往人工智能的方向发展。谢谢浏览!有什么问题欢迎留言关注!


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论