python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)

系统 142 0

 

一、在豆瓣网爬取以下图书的信息:

python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)_第1张图片

 

二、参考代码:

1、连接 MongoDB 数据库,并且创建数据库和表

            
              import pymongo
myclient = pymongo.MongoClient("mongodb://127.0.0.1:27017/")

db = myclient['webCrawler'] # 创建数据库 webCrawler

datatable = db['Book_info'] # 创建 Book_info 表
            
          

2、爬取数据并且 存储到数据库

            
              import re 
import pandas as pd
import requests
from bs4 import BeautifulSoup


dataSet = [] # 用来存储 爬取下来的书籍信息

# 爬取 前五页 的数据
for i in range(5):
       
    u = 'https://book.douban.com/tag/%E4%BA%92%E8%81%94%E7%BD%91?start='+str(i*20)+'&type=T'
    
    txt = requests.get(url = u)
    
    soup = BeautifulSoup(txt.text,'lxml') # 解析网址:使用 BeautifulSoup解析网址内容
    
    lis = soup.find('ul',class_="subject-list").find_all('li') # 查找所有 ul 的class 为"subject-list"下的 所有 li 标签
    
    
    for li in lis:
        book_dict = {} # 用来存储 每本书的信息
        book_dict['书名'] = li.h2.text.replace(' ','').replace('\n','')
        book_dict['其他信息'] = li.find('div',class_="pub").text.replace(' ','').replace('\n','')
        book_dict['评分'] = li.find('span',class_='rating_nums').text
        book_dict['评价人数'] = re.search(r'(\d*)人',li.find('span',class_='pl').text.replace(' ','').replace('\n','')).group(1)
        
        datatable.insert_one(book_dict) # 插入 图书信息到数据库中
        
        dataSet.append(book_dict) # 把每本书的信息 添加到列表中       
        

dataSetdf = pd.DataFrame(dataSet) # 将 list 类型的数据转换成 DataFrame 类型
            
          

三、可在数据库里查看爬取下来的信息:
python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)_第2张图片


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论