最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文
系统 2019-09-27 17:56:04 2213
阅读更多文件名全小写,可使用下划线包应该是简短的、小写的名字。如果下划线可以改善可读性可以加入。如mypackage。模块与包的规范同。如mymodule。类总是使用首字母大写单词串。如MyClass。内部类可以使用额外的前导下划线。函数&方法函数名应该为小写,可以用下划线风格单词以增加可读性。如:myfunction,my_example_function。*注意*:混合大小写仅被允许用于这种风格已经占据优势的时候,以便保持向后兼容。函数和方法的参数总使
系统 2019-09-27 17:55:28 2213
Python没有真正的全局变量,在Java和C++中,全局变量则是程序级别的,站在它们的角度,那么python就是没有全局变量,而在python的角度,是有全局变量,python提供global关键字,可以修改全局变量,在python中的全局变量只是针对当前python文件/模块所定义的,python文件就是一个模块,独立的命名空间,模块内定义的变量就只属于该命名空间,so,python没有真正的全局变量,全局变量也只是文件级别。所以Python的全局变量
系统 2019-09-27 17:55:20 2213
优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大,在Python中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式,总得来说,一般有分治,分支界限,贪心,动态规划等思想。减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。合理使用copy与deepcopy对于dict和list等数据结构的对象,直接赋值使用
系统 2019-09-27 17:54:58 2213
一、简单使用复制代码代码如下:defTestLogBasic():importlogginglogging.basicConfig(filename='log.txt',filemode='a',level=logging.NOTSET,format='%(asctime)s-%(levelname)s:%(message)s')logging.debug('thisisamessage')logging.info("thisisainfo")loggin
系统 2019-09-27 17:54:02 2213
代码如下所示:#-*-coding:-*-importioLIMIT=150000file_count=0url_list=[]withio.open('D:\DB_NEW_bak\DB_NEW_20171009_bak.sql','r',encoding='utf-16')asf:forlineinf:url_list.append(line)iflen(url_list)
系统 2019-09-27 17:53:40 2213
Python编程中经常遇到一些莫名其妙的错误,其实这不是语言本身的问题,而是我们忽略了语言本身的一些特性导致的,今天就来看下使用Python变量时导致的3个不可思议的错误,以后在编程中要多多注意。关于Python编程运行时新手易犯错误,这里暂不作介绍,详情参见:Python运行的17个时新手常见错误小结1、可变数据类型作为函数定义中的默认参数这似乎是对的?你写了一个小函数,比如,搜索当前页面上的链接,并可选将其附加到另一个提供的列表中。defsearch_
系统 2019-09-27 17:53:32 2213
本文实例讲述了Python计算程序运行时间的方法。分享给大家供大家参考。具体实现方法如下:复制代码代码如下:importtimedefstart_sleep():time.sleep(3)if__name__=='__main__':#Thestarttimestart=time.clock()#Aprogramwhichwillrunfor3secondsstart_sleep()#TheEndtimeend=time.clock()print("The
系统 2019-09-27 17:53:31 2213
实验目的:用socket模拟一个微型的web服务器,当py脚本run起后,实微型webserver架起了,然后用本地浏览器访问127.0.0.1:8080(webserver的ip_port)时web服务器就会将网页内容传给浏览器,实现网页浏览.sw+sys:python3.7.2+windows1064bit本地准备的server端网页为下载的hao123主页(我已上载并上传,点击这里)通过这个实验让我学到了:1.当get请求一个主页时,要完整的显示一个
系统 2019-09-27 17:53:23 2213
Python是支持面向对象的,很多情况下使用面向对象编程会使得代码更加容易扩展,并且可维护性更高,但是如果你写的多了或者某一对象非常复杂了,其中的一些写法会相当相当繁琐,而且我们会经常碰到对象和JSON序列化及反序列化的问题,原生的Python转起来还是很费劲的。可能这么说大家会觉得有点抽象,那么这里举几个例子来感受一下。首先让我们定义一个对象吧,比如颜色。我们常用RGB三个原色来表示颜色,R、G、B分别代表红、绿、蓝三个颜色的数值,范围是0-255,也就
系统 2019-09-27 17:53:07 2213