最近在使用爬虫爬取数据时，经常会返回403代码，大致意思是该IP访问过于频繁，被限制访问。限制IP访问网站最常用的反爬手段了，其实破解也很容易，就是在爬取网站是使用代理即可，这个IP被限制了，就使用其他的IP。对于高大上的公司来说，他们基本都使用收费的代理，基本不会有什么问题，比较稳定。像我这样的矮矬穷，肯定是用不起收费的代理。一般都是使用国内免费的代理，网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP，存放在存储媒介中，例如excel文
系统 2019-09-27 17:56:04 2122
本文实例讲述了python基于queue和threading实现多线程下载的方法，分享给大家供大家参考。具体方法如下：主代码如下：#downloadworkerqueue_download=Queue.Queue(0)DOWNLOAD_WORKERS=20foriinrange(DOWNLOAD_WORKERS):DownloadWorker(queue_download).start()#startadownloadworkerformd5inMD5S:
系统 2019-09-27 17:55:42 2122
立即学习:https://edu.csdn.net/course/play/24797/282153来自edu.csdn.net的第一篇笔记，Python行业分析与课程简介
系统 2019-09-27 17:55:12 2122
优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大，在Python中可以通过选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式，总得来说，一般有分治，分支界限，贪心，动态规划等思想。减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。合理使用copy与deepcopy对于dict和list等数据结构的对象，直接赋值使用
系统 2019-09-27 17:54:58 2122
概述Python3对函数参数的排序规则更加通用化了，即Python3keyword-only参数，该参数即为必须只按照关键字传递而不会有一个位置参数来填充的参数。该规则在处理人一多个参数是很有用的。keyword-onlykword_only(1,2,3,c=4)print('-'*20)kword_only(a=1,c=3)示例结果：1(2,3)4--------------------1()3在*args之后的参数都需要在调用中使用关键字的方式传递，否
系统 2019-09-27 17:54:57 2122
期末复习比较忙过段时间来专门写scrapy框架使用，今天介绍如何用python生成词云，虽然网上有很多词云生成工具，不过自己用python来写是不是更有成就感。今天要生成的是励志歌曲的词云，百度文库里面找了20来首，如《倔强》，海阔天空是，什么的大家熟悉的。所要用到的python库有jieba（一个中文分词库）、wordcould、matplotlib、PIL、numpy。首先我们要做的是读取歌词。我将歌词存在了文件目录下励志歌曲文本中。现在来读取他#en
系统 2019-09-27 17:54:39 2122
目前，Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7，不过，这种情况很快即将结束。去年11月，Numpy团队的一份声明引发了数据科学社区的关注：这一科学计算库即将放弃对于Python2.7的支持，全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具，pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言，如何将已有项目从Python2转向P
系统 2019-09-27 17:52:25 2122
最近在自学python，又用python实现了一下BLAST。这次更新了打分函数如下，空位罚分改为-5，但不区分gapopen和gapextend。'''''@author:JiuYu'''defscore(a,b):#scoringfunctionscore=0lst=['AC','GT','CA','TG']ifa==b:score+=2elifa+binlst:score+=-5else:score+=-7returnscoredefBLAST(se
系统 2019-09-27 17:52:10 2122
fromhttps://blog.csdn.net/mighty13/article/details/78147357Python处理时间和时间戳的内置模块就有time，和datetime两个，本文先说time模块。关于时间戳的几个概念时间戳，根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组（struct_time），包含9个元素。time.struct_time(tm_year=2017,tm_mon=10,tm_mday=1,tm_
系统 2019-09-27 17:50:56 2122
一、实现过程终端的字符颜色是用转义序列控制的，是文本模式下的系统显示功能，和具体的语言无关转义序列是以ESC开头,即用\033来完成（ESC的ASCII码用十进制表示是27，用八进制表示就是033）书写格式：开头部分：\033[显示方式;前景色;背景色m+结尾部分：\033[0m注意：开头部分的三个参数：显示方式，前景色，背景色是可选参数，可以只写其中的某一个；另外由于表示三个参数不同含义的数值都是唯一的没有重复的，所以三个参数的书写先后顺序没有固定要求，
系统 2019-09-27 17:50:28 2122
