python 实现堆排序

标签下，职位名称在元素的文本中，工作地点和职位要求在 div class="job-desc" 的两个 s pan 元素里。

这样分析下来，我们想要的招聘信息，包括公司名称、职位名称、工作地点和职位要求，都定位清楚了。
至此，我们分析完了整个爬取过程，接下来就是代码实现啦。

代码实现

我们按照Scrapy正常的用法一步步来。首先，我们必须创建一个Scrapy项目。
创建项目

还记得怎么创建吗？打开本地电脑的终端（windows：Win+R，输入cmd；mac：command+空格，搜索“终端”），跳转到你想要保存项目的目录下，输入创建Scrapy项目的命令：scrapy startproject jobui（jobui是职友集网站的英文名，在这里我们把它作为Scrapy项目的名字）。
创建好项目后，你在本地电脑的编译器打开这个Scrapy项目，会看到如下的结构：

定义item

我们刚刚分析的时候，已经确定要爬取的数据是公司名称、职位名称、工作地点和招聘要求。
那么，现在请你写出定义item的代码（提示：要在items.py这个文件里定义item。

              
                import scrapy

class JobuiItem(scrapy.Item):
#定义了一个继承自scrapy.Item的JobuiItem类
    company = scrapy.Field()
    #定义公司名称的数据属性
    job = scrapy.Field()
    #定义职位名称的数据属性
    base = scrapy.Field()
    #定义工作地点的数据属性
    detail = scrapy.Field()
    #定义招聘要求的数据属性

              
            

创建和编写爬虫文件

定义好item，我们接着要做的是在spiders里创建爬虫文件，命名为jobui_ jobs。
现在，我们可以开始在这个爬虫文件里编写代码。

先导入所需的模块：

              
                import scrapy  
import bs4
from ..items import JobuiItem

              
            

接下来，是编写爬虫的核心代码。我会先带着你理清代码的逻辑，这样等下你才能比较顺利地理解和写出代码。

在前面分析过程的步骤里，我们知道要先抓取企业排行榜40家公司的id标识，比如字节跳动公司的id标识是/company/10375749/。

再利用抓取到的公司id标识构造出每家公司招聘信息的网址。比如，字节跳动公司的招聘信息网址就是https://www.jobui.com+/company/10375749/jobs/

我们需要再把每家公司招聘信息的网址封装成requests对象。这里你可能有点不理解为什么要封装成requests对象，我解释一下。

如果我们不是使用Scrapy，而是使用requests库的话，一般我们得到一个网址，需要用requests.get()，传入网址这个参数，才能获取到网页的源代码。

而在Scrapy里，获取网页源代码这件事儿，会由引擎交分配给下载器去做，不需要我们自己处理。我们之所以要构造新的requests对象，是为了告诉引擎，我们新的请求需要传入什么参数。

这样才能让引擎拿到的是正确requests对象，交给下载器处理。

既然构造了新的requests对象，我们就得定义与之匹配的用来处理response的新方法。这样才能提取出我们想要的招聘信息的数据。

好啦，核心代码的逻辑我们理清楚了。

我们接着往下写核心代码。

              
                import scrapy
import bs4
from ..items import JobuiItem

class JobuiSpider(scrapy.Spider):
#定义一个爬虫类JobuiSpider
    name='jobs'
    #定义爬虫的名字为jobs
    allowed_domains=['www.jobui.com']
    #定义允许爬虫爬取网址的域名——职友集网站的域名
    start_ulrs=['https://www.jobui.com/rank/company/']
    #定义起始网址——职友集企业排行榜的网址

    def parse(self,response):
    #parse是默认处理response的方法
        bs=bs4.BeautifulSoup(response.text,'html.parser')
        #用BeautifulSoup解析response(企业排行榜的网页源代码)
        ur_list=bs.find_all('ul',class_='textList flsty cfix')
        #用find_all提取<'ul' class_='textList flsty cfix'>标签
        for ul in ul_list:
        #遍历ul_list
            a_list = ul.find_all('a')
            #用find_all提取出
                

                  元素里的所有
                  
                    元素
            for a in a_list:
            #再遍历a_list
                company_id = a['href']
                #提取出所有
                  
                  
                    元素的href属性的值，也就是公司id标识
                url = 'https://www.jobui.com{id}jobs'
                real_url = url.format(id=company_id)
                #构造出公司招聘信息的网址链接


                  
                
              
            

第6-13行代码：定义了爬虫类JobuiSpider、爬虫的名字jobs、允许爬虫爬取的域名和起始网址。

剩下的代码，你应该都能看懂。我们用默认的parse方法来处理response（企业排行榜的网页源代码）；用BeautifulSoup来解析response；用find_all方法提取数据（公司id标识）。

公司id标识就是元素的href属性的值，我们想要把它提取出来，就得先抓到所有最外层的

标签，再从中抓取所有 元素。

所以这里用了两个for循环，把元素的href属性的值提取了出来，并成功构造了公司招聘信息的网址。

代码写到这里，我们已经完成了核心代码逻辑的前两件事：提取企业排行榜的公司id标识和构造公司招聘信息的网址。

接下来，就是构造新的requests对象和定义新的方法处理response。

继续来完善核心代码（请你重点看第21行代码及之后的代码）。

              
                在这里插入代码片

              
            

你应该不理解第22行代码：yield scrapy.Request(real_url, callback=self.parse_job)的意思。我跟你解释一下。

scrapy.Request是构造requests对象的类。real_url是我们往requests对象里传入的每家公司招聘信息网址的参数。

callback的中文意思是回调。self.parse_job是我们新定义的parse_job方法。往requests对象里传入callback=self.parse_job这个参数后，引擎就能知道response要前往的下一站，是parse_job()方法。

yield语句就是用来把这个构造好的requests对象传递给引擎。

第26-42行代码：提取出公司名称、职位名称、工作地点和招聘要求这些数据，并把这些数据放进我们定义好的JobuiItem类里。

最后，用yield语句把item传递给引擎，整个核心代码就编写完啦！ヽ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾉ
存储文件

至此，我们整个项目还差存储数据这一步。在第6关，我们学过用csv模块把数据存储csv文件，用openpyxl模块把数据存储Excel文件。

其实，在Scrapy里，把数据存储成csv文件和Excel文件，也有分别对应的方法。我们先说csv文件。

存储成csv文件的方法比较简单，只需在settings.py文件里，添加如下的代码即可。

              
                FEED_URI='./storage/data/%(name)s.csv'
FEED_FORMAT='CSV'
FEED_EXPORT_ENCODING='ansi'

              
            

FEED_URI是导出文件的路径。’./storage/data/%(name)s.csv’，就是把存储的文件放到与settings.py文件同级的storage文件夹的data子文件夹里。

FEED_FORMAT 是导出数据格式，写CSV就能得到CSV格式。

FEED_EXPORT_ENCODING 是导出文件编码，ansi是一种在windows上的编码格式，你也可以把它变成utf-8用在mac电脑上。

存储成Excel文件的方法要稍微复杂一些，我们需要先在setting.py里设置启用ITEM_PIPELINES，设置方法如下：

              
                #需要修改`ITEM_PIPELINES`的设置代码：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#ITEM_PIPELINES = {
#     'jobuitest.pipelines.JobuitestPipeline': 300,
# }


              
            

只要取消ITEM_PIPELINES的注释（删掉#）即可。

              
                #取消`ITEM_PIPELINES`的注释后：

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
     'jobuitest.pipelines.JobuitestPipeline': 300,
}


              
            

接着，我们就可以去编辑pipelines.py文件。存储为Excel文件，我们依旧是用openpyxl模块来实现，代码如下，注意阅读注释：

              
                import openpyxl

class JobuiPipeline(object):
#定义一个JobuiPipeline类，负责处理item
    def __init__(self):
    #初始化函数 当类实例化时这个方法会自启动
        self.wb =openpyxl.Workbook()
        #创建工作薄
        self.ws = self.wb.active
        #定位活动表
        self.ws.append(['公司', '职位', '地址', '招聘信息'])
        #用append函数往表格添加表头
        
    def process_item(self, item, spider):
    #process_item是默认的处理item的方法，就像parse是默认处理response的方法
        line = [item['company'], item['position'], item['address'], item['detail']]
        #把公司名称、职位名称、工作地点和招聘要求都写成列表的形式，赋值给line
        self.ws.append(line)
        #用append函数把公司名称、职位名称、工作地点和招聘要求的数据都添加进表格
        return item
        #将item丢回给引擎，如果后面还有这个item需要经过的itempipeline，引擎会自己调度

    def close_spider(self, spider):
    #close_spider是当爬虫结束运行时，这个方法就会执行
        self.wb.save('./jobui.xlsx')
        #保存文件
        self.wb.close()
        #关闭文件



              
            

修改设置

在最后，我们还要再修改Scrapy中settings.py文件里的默认设置：添加请求头，以及把 ROBOTSTXT_OBEY=True 改成 ROBOTSTXT_OBEY=False 。

              
                #需要修改的默认设置:

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'douban (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True


              
            

还有一处默认设置我们需要修改，代码如下：

              
                # Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 0


              
            

我们需要取消DOWNLOAD_DELAY = 0这行的注释（删掉#）。DOWNLOAD_DELAY翻译成中文是下载延迟的意思，这行代码可以控制爬虫的速度。因为这个项目的爬取速度不宜过快，我们要把下载延迟的时间改成0.5秒。

改好后的代码如下：

              
                # Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0.5


              
            

修改完设置，我们已经可以运行代码。