爬虫需要，一个机器多个口，一个口多个ip，为轮询这些ipdemo#coding=utf-8importrequests,sys,socketfromrequests_toolbelt.adaptersimportsourcereload(sys)sys.setdefaultencoding('utf-8')s=requests.Session()new_source=source.SourceAddressAdapter('192.168.4.2')s.m
系统 2019-09-27 17:56:57 2157
os模块中关于文件/目录常用的函数使用方法函数名使用方法getcwd()返回当前工作目录chdir(path)改变工作目录listdir(path=’.’)列举指定目录中的文件名（’.‘表示当前目录，’…'表示上一级目录）mkdir(path)创建单层目录，如该目录已存在抛出异常makedirs(path)递归创建多层目录，如该目录已存在抛出异常，注意：'E:\a\b’和’E:\a\c’并不会冲突remove(path)删除文件rmdir(path)删除单
系统 2019-09-27 17:56:19 2157
文章目录Python爬虫——王者荣耀全皮肤拉取资源地址HeroScrapy.py运行上面的代码即可注意点Python爬虫——王者荣耀全皮肤拉取开门见山，话不多说资源地址英雄信息列表：http://pvp.qq.com/web201605/js/herolist.json皮肤前缀地址：http://game.gtimg.cn/images/yxzj/img201606/skin/hero-infoHeroScrapy.pyimportrequestsimpo
系统 2019-09-27 17:54:42 2157
项目上线部署的时候需要服务端的同学帮忙打Docker，但是自己也需要提前写好requirements.txt。这里记录一下两种生成requirements.txt的方法。方法一：在项目根目录下，在命令行中输入：pipfreeze>requirements.txt这种方法会将当前环境下的所有的信息都存入requirements.txt中。方法二：首先安装pipreqs库。进入需要生成文件的目录执行：pipreqs./如果出现报错：UnicodeDecodeE
系统 2019-09-27 17:54:12 2157
背景说明感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境：python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制，但不同公众号每次抓取之前都要进行分析。打开Fiddler，将手机配置好相关代理，为避免干扰过多，这里给Fiddler加个过滤规则，只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2157
elasticsearchpython查询的两种方法，具体内容如下所述：fromelasticsearchimportElasticsearches=Elasticsearchres1=es.search(index="2018-07-31",body={"query":{"match_all":{}}})print(es1){'_shards':{'failed':0,'skipped':0,'successful':5,'total':5},'hits
系统 2019-09-27 17:51:02 2157
写了个阿里巴巴招聘网站爬虫，这次是存在csv文件里，小伙伴们可以对比一下～importrequests,json,csv#写入csv文件中list=[]csv_file=open('阿里巴巴招聘.csv','w+',newline='',encoding='utf=8')writer=csv.writer(csv_file)list_head=['职位名称','部门','是否招聘','学历','大类','小类','工作地','工作经历','要求','职责'
系统 2019-09-27 17:49:31 2157
编码python3.0以上的版本，默认的源文件都是以UTF-8编码，所有的字符串都是unicode字符串，当然也可以为源文件指定不同的编码方式;编码实例：#随机取一个变量str="xiaose"#进行utf-8编码str1=str.encode("utf-8")#将其打印出来print(str1)#结果为：b'xiaose'解码实例:1#将上述结果进行解码2str2=str1.decode("utf-8")3print(str2)4#结果为：xiaose注
系统 2019-09-27 17:47:56 2157
本文以实例形式展示了Python获取电脑硬件信息及状态的实现方法，是Python程序设计中很有实用价值的技巧。分享给大家供大家参考之用。具体方法如下：主要功能代码如下：#!/usr/bin/envpython#encoding:utf-8fromoptparseimportOptionParserimportosimportreimportjsondefmain():try:parser=OptionParser(usage="%prog[options]
系统 2019-09-27 17:45:58 2157
5月21日，微软正式发布了MOICE，这是OFFICE2003和2007提供的最新安全功能。MOICE，就是MicrosoftOfficeIsolat
系统 2019-08-29 23:47:22 2157
