最近在使用爬虫爬取数据时,经常会返回403代码,大致意思是该IP访问过于频繁,被限制访问。限制IP访问网站最常用的反爬手段了,其实破解也很容易,就是在爬取网站是使用代理即可,这个IP被限制了,就使用其他的IP。对于高大上的公司来说,他们基本都使用收费的代理,基本不会有什么问题,比较稳定。像我这样的矮矬穷,肯定是用不起收费的代理。一般都是使用国内免费的代理,网上也有很多提供免费的代理。很多人都是从网上爬取一批免费的代理IP,存放在存储媒介中,例如excel文
系统 2019-09-27 17:56:04 2114
本文实例讲述了python测试驱动开发的方法,分享给大家供大家参考。具体方法如下:importunittestfrommainimportSampleclassSampleTest(unittest.TestCase):defsetUp(self):print"createanewSample"self._sample=Sample("b64e5843ca7db8199c405be565fa7f57")deftearDown(self):print"Des
系统 2019-09-27 17:55:39 2114
importhashlibclassMd5_enc():def__init__(self,key="cxj"):self.key=keyself.maker=hashlib.md5()defmd5_str(self,message):self.maker.update(bytes(self.key,encoding="utf-8"))self.maker.update(bytes(message,encoding="utf-8"))rel=self.mak
系统 2019-09-27 17:55:15 2114
Mac中python多版本切换管理step1.$sudovi~/.bashrcstep2.命令行中输入aliaspython2=’/…/Versions/2.x/bin/python2.x’aliaspython3=’/…/Versions/3.x/bin/python3.x’Step3.刷新$source~/.bashrcStep4、验证在终端输入python2即代表是Python2.x版本,输入python3即代表是Python3.x版本。Mac设置默
系统 2019-09-27 17:55:04 2114
Python默认是没有goto语句的,但是有一个第三方库支持在Python里面实现类似于goto的功能:https://github.com/snoack/pyt...。比如在下面这个例子里,fromgotoimportwith_goto@with_gotodeffunc():foriinrange(2):forjinrange(2):goto.endlabel.endreturn(i,j,k)func()在执行第一遍循环时,就会从最内层的forjinra
系统 2019-09-27 17:54:57 2114
前言前面几篇文章基本上已经了解了pytest命令使用,收集用例,finxture使用及作用范围,今天简单介绍一下conftest.py文件的作用和实际项目中如是使用此文件!实例场景首先们思考这样一个问题:如果我们在编写测试用的时候,每一个测试文件里面的用例都需要先登录后才能完成后面的操作,那么们该如何实现呢?这就需要我们掌握conftest.py文件的使用了。实例代码创建如下一个目录ConftestFile|conftest.py|test_file_01
系统 2019-09-27 17:54:45 2114
作者:HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列,项目地址:https://github.com/HelloGitHub-Team/Article一、nosenose是一个第三方单元测试框架,它完全兼容unittest,并且号称是一个更好用的测试框架。那么nose除了具备unittest的所有功能外,还具有哪些优势呢?1.1用例编写用例的编写方式除了编写继承于unittest.TestCase的测试类外,还可以编
系统 2019-09-27 17:54:38 2114
Python单例模式的两种实现方法方法一importthreadingclassSingleton(object):__instance=None__lock=threading.Lock()#usedtosynchronizecodedef__init__(self):"disablethe__init__method"@staticmethoddefgetInstance():ifnotSingleton.__instance:Singleton.__
系统 2019-09-27 17:54:01 2114
1变量赋值:变量可以是字符串、序列、元组、1#author:hams.ali23#界面4line='-*'*205#数字直接可以计算67_var1='23'89#字符变量拼接10_var_2='\n\tmyageis'+_var11112#不可改变数值的组元13var=(2019,9,27)1415#变量解压16x,y,z=(2019,9,17)17print(x,y,z)18print(line)#分割19#多变量解压20data=['ali','eng
系统 2019-09-27 17:53:03 2114
Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互,比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框:"text"name="passwd"id="passwd-id"/>获取这个元素的方法:element=driver.find_element_by_id("passwd-id")element=driver.find_ele
系统 2019-09-27 17:53:02 2114