做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2448
一.JS和python的序列化python的序列化json字符串=json.dumps('python对象')python对象=json.loads('json字符串')JS的序列化js对象=JSON.parse('字符串')json字符串=JSON.stringfy('js对象')二.Django和ajax序列化django序列化1.两次序列化defget_data(request):fromdjango.coreimportserializers#引入
系统 2019-09-27 17:56:10 2448
文章目录多任务编程进程进程的优先级父子进程进程相关的函数os.getpid()os.getppid()os._exit(status)sys.exit([status])僵尸进程处理僵尸进程的方法os.wait()os.waitpid(pid,option)创建二级子进程处理在父进程中使用信号处理的方法，忽略子进程发来的信号孤儿进程多任务编程可以有效的利用计算机资源，同时执行多个任务进程进程就是程序在计算机中一次执行的过程进程和程序的区别：程序是一个静态文
系统 2019-09-27 17:55:24 2448
前言前一段时间书荒的时候，在喜马拉雅APP发现一个主播播讲的小说-大王饶命。听起来感觉很好笑，挺有意思的，但是只有前200张是免费的，后面就要收费。一章两毛钱，本来是想要买一下，发现说的进度比较慢而且整本书要1300多张，算了一下，需要200大洋才行，而且等他说完，还不知道要到什么时候去。所以就找文字版的来读，文字版又有它的缺点，你必须手眼联动才行。如果要忙别的事情，但是又抑制不住想看的冲动，就很纠结了。在网上找了一圈，没有其他的音频。而且以前用的那些有阅
系统 2019-09-27 17:54:31 2448
oop1.py文件代码#user/bin/pythonclassFoo:defbar(self):print('ok')defhello(self,name):print("iam%s"%name)foo=Foo()foo.bar()foo.hello('FredHuang')classFoo:def__init__(self,name,age):'''初始化实例属性'''self._name=name"""该方法不能通过frommoduleimport*
系统 2019-09-27 17:53:01 2448
python模块randomIn[1]:importrandomIn[2]:random.uniform(0.7,5)Out[2]:0.7418808135797732In[3]:random.uniform(0.7,5)Out[3]:1.20091265582769In[4]:random.uniform(0.7,5)Out[4]:4.7791965347089125In[5]:random.uniform(0.7,5)Out[5]:2.78827963
系统 2019-09-27 17:51:08 2448
ubutnu16.04搭建深度学习环境:python3+keras+tensflow一、硬件信息查看cpu型号查看显卡型号查看系统版本二、软件安装2.1安装anaconda32.2安装keras2.3设置GPU支持2.3.1安装驱动2.3.2安装CUDA2.3.3安装cuDNN4.安装tensorflow-gpu5.安装keras一、硬件信息深度学习需要训练模型，一块英伟达的显卡必不可少。初学者，资金不太充裕，就买了一块navidaRTX系列显卡。查看cp
系统 2019-09-27 17:50:25 2448
我们以学信网为例爬取个人信息**如果看不清楚按照以下步骤：**1.火狐为例打开需要登录的网页�C>F12开发者模式（鼠标右击，点击检查元素）�C点击网络�C>需要登录的页面登录下�C>点击网络找到一个POST提交的链接点击�C>找到post（注意该post中信息就是我们提交时需要构造的表单信息）importrequestsfrombs4importBeautifulSoupfromhttpimportcookiesimporturllibimporthtt
系统 2019-09-27 17:57:26 2447
利用Python+wxpy可以快速的查询自己好友的地区分布情况，以及好友的性别分布数量。还可以批量下载好友的头像，拼接成大图。本次教程是基于上次机器人后的，所有依赖模块都可以复用上次的，还不知道的小伙伴可以戳这里。python+wxpy机器人准备工作编辑器一个注册一年以上的微信号公共部分代码fromwxpyimport*//wxpy依赖fromPILimportImage//二维码登录依赖importos//本地下载依赖importmathimportwe
系统 2019-09-27 17:55:44 2447
前言通常我们的python代码都是遵循PEP8的规范化格式,目的是为了保持代码的一致性、可读性。,这里给大家推荐几个常用的静态代码检查工具，大家可以酌情选择使用1.pylintPylint是一个Python静态代码分析工具，它可以查找编程错误，帮助强制执行编码标准，嗅探代码异味并提供简单的重构建议。它具有高度可配置性，具有特殊的编译指示来控制代码中的错误和警告，以及广泛的配置文件。也可以编写自己的插件来添加自己的检查或以某种方式扩展pylint。缺省情况下
系统 2019-09-27 17:54:07 2447
文章目录闭包（Closure）嵌套函数（nestedfunction）闭包的概念如何使用闭包何时定义闭包修改自由变量装饰器（Decorator）装饰器介绍实现装饰功能添加装饰器含参装饰器链式装饰器闭包（Closure）嵌套函数（nestedfunction）讲解闭包之前，先介绍一下什么是嵌套函数（nestedfunction）：defprint_msg(msg):#Thisistheouterenclosingfunctiondefprinter():#T
系统 2019-09-27 17:53:17 2447
主成分分析是一种常用的降维方法，多见于数据预处理阶段，其伪代码如下：输入：样本数据集D={x1,x2,x3,x4},低空间维度数d'过程：1对所有样本进行中心化(每个特征维度都减去其均值)2计算所有样本的协方差矩阵3对协方差矩阵进行特征分解4取最大的d'个特征值的对应特征向量w1,w2,w3输出：投影矩阵W*=（w1,w2,wd'）下面是其代码实现：首先是产生数据，我们使用sklearn的make_blobs方法产生三类数据，每类有三个特征。数据结构是(n
系统 2019-09-27 17:53:00 2447
脚本过于简单，供学习和参考。主要了解一下smtplib库的使用和超时机制的实现。使用signal.alarm实现超时机制。#!/usr/bin/envpython#-*-coding:utf-8-*-importtimeimportsysimportloggingimportsmtplibimportsocketimportsignalimportConfigParserfromdatetimeimportdatetimefromemailimporten
系统 2019-09-27 17:52:53 2447
斐波那契数列（Fibonacci）最早由印度数学家Gopala提出，而第一个真正研究斐波那契数列的是意大利数学家LeonardoFibonacci，斐波那契数列的定义很简单，用数学函数可表示为：数列从0和1开始，之后的数由前两个数相加而得出，例如斐波那契数列的前10个数是：0,1,1,2,3,5,8,13,21,34。用Python实现斐波那契数列常见的写法有三种，各算法的执行效率也有很大差别，在面试中也会偶尔会被问到，通常面试的时候不是让你简单的用递归写
系统 2019-09-27 17:50:36 2447
某局某领导给了3只excel文件，一只里面有4个sheet需要处理，一个sheet有250+列，算下来总共有3000+列需要手动反复插入、删除列、拷贝、求和，所以给了4天的时间要完成。我不愿意做大量简单而且又是重复性工作，看了看3只表格的格式基本一样，于是我用python写了30行代码完成了这个“艰巨”任务。0x01用python操作excel需要安装xlrd、xlwt（或者其他的模块也行）。读取excel文件：workbook=xlrd.open_wor
系统 2019-09-27 17:47:50 2447
