首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。友情提示糗事百科在前一段时间进行了改版，导致之前的代码没法用了，会导致无法输出和CPU占用过高的情况，是因为正则表达式没有匹配到的缘故。现在，博主已经对程序进行了重新修改，代码亲测可用，包括截图和说明，之前一直在忙所以没有及时更新，望大家海涵！糗事百科又又又又改版了，博主已经没心再去一次次匹配它了，如果大家遇到长时间运行不出结果也不报错的情况，请大家参考最新
系统 2019-09-27 17:52:43 2254
随着脚本复杂程度增加，配置文件成了必不可少。之前一直使用json文件，当作配置文件。比较之下，configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]
系统 2019-09-27 17:52:13 2254
要安装运行Python的容器，那先到https://hub.docker.com/去查找一下，看看有哪些可用的镜像。恩，最高的版本已经是3.8.0b4了，不过考虑下还是安装3.7.4稳定版把。用来安装的虚拟机是Ubuntu18.04服务器版，安装虚拟机就跳过不写了，太简单。为了方便，使用root用户操作。在Ubuntu上安装Docker使用官方脚本，在终端输入curl-fsSLget.docker.com-oget-docker.sh瞬间下载安装脚本：-r
系统 2019-09-27 17:51:05 2254
使用诸如Lock、RLock、Semphore之类的锁原语时，必须多加小心，锁的错误使用很容易导致死锁或相互竞争。依赖锁的代码应该保证当出现异常时可以正常的释放锁。典型代码如下：try:lock.acquire()#关键部分...finally:lock.release()另外，所有种类的锁还支持上下文管理协议（写起来更简洁）：with语句自动获取锁，并且在控制流离开上下文时自动释放锁。withlock:#关键部分...此外，编写代码时一般应该避免同时获取
系统 2019-09-27 17:50:41 2254
到现在为止，我们的淘宝教程已经写到了第四篇，前三篇分别是：第一篇：Python模拟登录淘宝，详细讲解如何使用requests库登录淘宝pc端。第二篇：淘宝自动登录2.0，新增Cookies序列化，教大家如何将cookies保存起来。第三篇：Python爬取淘宝商品避孕套，教大家如何爬取淘宝pc端商品信息。今天，我们来看看淘宝系列的第四篇我们在上一篇的时候已经将淘宝数据爬取下来了，但是并没有做数据分析。所以今天这篇文章就是教大家如何去分析数据，得出一些有用的
系统 2019-09-27 17:50:12 2254
Hmac模块其实这个模块类似hashlib模块,它能将一些重要的信息通过算法加密成密文,让信息更具有安全性。关于hmac加密算法的了解:它的全名是哈希运算消息认证码(Hash-basedMessageAuthenticationCode),HMAC利用hash算法,以一个消息M和一个秘钥K作为输入,生成一个定长的消息摘要作为输出。HMAC算法利用已有的hash函数,关键问题是如何使用秘钥。使用importhmac#这个模块和hashlib机制很相似h=hm
系统 2019-09-27 17:49:28 2254
现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。下面我们一起尝试一下爬取内涵段子网站：http://www.neihan8.com/article/list_5_1.html打开之后，不难看出里面一个一个非常有内涵的段子，当你进行翻页的时候，注意url地址的变化：第一页url:http://www.neihan8.com/article/list_5_1.html第二页url:http://www.neihan8.com
系统 2019-09-27 17:48:39 2254
本文实例讲述了Python3.6实现根据电影名称(支持电视剧名称)，获取下载链接的方法。分享给大家供大家参考，具体如下：做个笔记(python3.6，django2.0)defget_url(outer_order_id):refundId=get_refundId(outer_order_id)host_url='http://test.shequ.com/order/agreeRefund?'reason_list=['商品已售完','重复订单','没
系统 2019-09-27 17:48:09 2254
代码一：#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8importthreadingimportQueueimportsysimporturllib2importreimportMySQLdb##数据库变量设置#DB_HOST='127.0.0.1'DB_USER="XXXX"DB_PASSWD="XXXXXXXX"DB_NAME="xxxx"##变量设置#THREAD_LIMIT=3jobs=Que
系统 2019-09-27 17:47:49 2254
我们在写代码的过程中，会经常使用到for循环，去循环列表，那么如果我们拿到一个类型为str的列表，对它进行for循环，结果看下面的代码和图：str_list=str(['a','b','c'])forrowinstr_list:print(row)结果：Python字符串类型列表转换成真正列表类型那么for循环就把str类型的列表的每一个字符都一个一个的循环的打印出来，而这个结果并不是我们想要的，那么如何解决这个问题？，使用到第三方模块，看下面的代码fro
系统 2019-09-27 17:47:49 2254
