做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2523
原文链接：https://mp.weixin.qq.com/mp/profile_ext?action=home\x26amp;__biz=MzI0ODcxODk5OA==\x26amp;scene=124#wechat_redirect作者|JoseGarcia译者|吴振东校对|张一豪、林亦霖，编辑|于腾凯来源|数据派（ID：datapi）导读：本文将利用OpenCV，Python和Ubidots来编写一个行人计数器程序，并对代码进行了较为详细的讲解。数
系统 2019-09-27 17:56:10 2523
题目分析拿到题目以后题目是一个长条状gif那么这个题大概率就是分离gif的每一帧然后拼接形成图片得到flag解题步骤有了思路以后，步骤也很清晰。就是两步。第一步，分离gif，第二步，拼接gif步骤1.分离gif好多方法都可以分离gif，这里使用python分离一下，上代码：#分离gif.pyfromPILimportImagesavepath="F:\ctf文件\\D-R0s1\\"#保存路径im=Image.open('F:\ctf文件\\1.gif')
系统 2019-09-27 17:55:10 2523
本文实例讲述了python实现合并多个list及合并多个djangoQuerySet的方法。分享给大家供大家参考，具体如下：在用python或者django写一些小工具应用的时候，有可能会遇到合并多个list到一个list的情况。单纯从技术角度来说，处理起来没什么难度，能想到的办法很多，但我觉得有一个很简单而且效率比较高的方法是我以前没注意到的。那就是利用chain方法来合并多个list.同样也可以用来合并django的QuerySet.1.python用
系统 2019-09-27 17:53:44 2523
本文实例讲述了Python图像处理模块ndimage用法。分享给大家供大家参考，具体如下：一原始图像1代码fromscipyimportmiscfromscipyimportndimageimportmatplotlib.pyplotaspltface=misc.face()#face是测试图像之一plt.figure()#创建图形plt.imshow(face)#绘制测试图像plt.show()#原始图像2运行结果二高斯滤波1代码fromscipyimp
系统 2019-09-27 17:51:18 2523
TF（TermFrequency）词频，在文章中出现次数最多的词，然而文章中出现次数较多的词并不一定就是关键词，比如常见的对文章本身并没有多大意义的停用词。所以我们需要一个重要性调整系数来衡量一个词是不是常见词。该权重为IDF（InverseDocumentFrequency）逆文档频率，它的大小与一个词的常见程度成反比。在我们得到词频（TF）和逆文档频率（IDF）以后，将两个值相乘，即可得到一个词的TF-IDF值，某个词对文章的重要性越高，其TF-IDF
系统 2019-09-27 17:48:00 2523
某局某领导给了3只excel文件，一只里面有4个sheet需要处理，一个sheet有250+列，算下来总共有3000+列需要手动反复插入、删除列、拷贝、求和，所以给了4天的时间要完成。我不愿意做大量简单而且又是重复性工作，看了看3只表格的格式基本一样，于是我用python写了30行代码完成了这个“艰巨”任务。0x01用python操作excel需要安装xlrd、xlwt（或者其他的模块也行）。读取excel文件：workbook=xlrd.open_wor
系统 2019-09-27 17:47:50 2523
Preface最近在做videocaption相关，要处理大量视频。今天碰到一个问题，就是要将YoutubeClips数据集中的avi格式的视频，将其视频中的每一帧提取出来。之后用Highaccuracyopticalflowestimationbasedonatheoryforwarping提出的OpticalFlow（光流），提取运动的光流特征。Method1方法1是最简单的，用FFmpeg工具来完成。具体的网上有很多这方面的资料，本人只是简单了解了一
系统 2019-09-27 17:46:50 2523
在Python中定义函数，可以用必选参数（位置参数），默认参数，可变参数，关键字参数和命名关键字参数，这5种参数都可以组合使用。但参数定义的顺序必须是：必选参数（位置参数）默认参数可变参数命名关键字参数关键字参数例如：定义：deff1(x,y=0,*args,z,**kw):print(x,y,args,z,kw)调用：f1(1,2,3,4,5,z=6,p=7,q=8)输出：12(3,4,5)6,{'p':7,'q':8}定义：deff2(x,y=0,*,
系统 2019-09-27 17:50:10 2522
本文实例讲述了Python类属性与实例属性，类对象与实例对象用法。分享给大家供大家参考，具体如下：demo.py（类属性，所有实例对象共用类属性）：#定义工具类继承object是为了兼容python2.xclassTool(object):#使用赋值语句定义类属性，记录实例化工具对象的数量count=0def__init__(self,name):self.name=name#初始化方法内部定义及初始化实例属性#类名.类属性名的方式访问类属性.Tool.c
系统 2019-09-27 17:49:22 2522
就前面所讲，函数的基本内容已经完毕。但是，函数还有很多值得不断玩味的细节。这里进行阐述。参数的传递python中函数的参数通过赋值的方式来传递引用对象。下面总结通过总结常见的函数参数定义方式，来理解参数传递的流程。deffoo(p1,p2,p3,...)这种方式最常见了，列出有限个数的参数，并且彼此之间用逗号隔开。在调用函数的时候，按照顺序以此对参数进行赋值，特备注意的是，参数的名字不重要，重要的是位置。而且，必须数量一致，一一对应。第一个对象（可能是数值
系统 2019-09-27 17:55:33 2521
使用深度学习进行图像类任务时，通常网络的输入大小是固定的，最近在进行涉及到文字检测的工作中，由于预处理resize缩小了原图，导致字体变模糊，从而检测失败，后来想到使用overlap来对图像进行缩放裁剪，即先将原图缩放到一定尺寸，再裁剪得到网络的输入。好了，来说正题，使用yolov3，网络的输入是352x352x3，而输入图像大小为几百上千不等，因此需对原图进行resize，起初直接进行缩放+填充，检测的map很低，后来分析发现有些352x352的输入图像
系统 2019-09-27 17:55:08 2521
参考文章：【Tensorflow2.0】Tensorflow2.0的安装教程tensorflow2.0安装以及教程最全Tensorflow2.0入门教程持续更新TensorFlow2.0教程-安装TensorFlow2.0以下是本电脑安装tensorflow2.0的过程。安装anaconda3.6或者其他版本创建一个环境，用来安装tensorflow2.0以及相关的pythonpackages.condacreate-ntensorflow2.0pytho
系统 2019-09-27 17:53:32 2521
主成分分析是一种常用的降维方法，多见于数据预处理阶段，其伪代码如下：输入：样本数据集D={x1,x2,x3,x4},低空间维度数d'过程：1对所有样本进行中心化(每个特征维度都减去其均值)2计算所有样本的协方差矩阵3对协方差矩阵进行特征分解4取最大的d'个特征值的对应特征向量w1,w2,w3输出：投影矩阵W*=（w1,w2,wd'）下面是其代码实现：首先是产生数据，我们使用sklearn的make_blobs方法产生三类数据，每类有三个特征。数据结构是(n
系统 2019-09-27 17:53:00 2521
1.变量不能独立存在在C++等语言中，变量的声明和赋值是可以分开的inta;a=343;而在python中却不行，在声明python变量的同时必须进行赋值操作a=343如果你直接使用一个不存在的变量，就会发生错误,NameError:name'b'isnotdefined2.变量是内存中数据的引用a=343这样代码被执行时，首先要在内存中创建出343这个对象，然后让a指向它，这便是引用。此后，我们在程序中使用变量a时，其实都是在使用343，python可以
系统 2019-09-27 17:51:55 2521
