综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 1939
如下所示：data={"北京":{"昌平":{"沙河":["oldboy","test"],"天通苑":["链接地产","我爱我家"]},"朝阳":{"望京":["奔驰","陌陌"],"国贸":["CICC","HP"],"东直门":["advent","飞信"]},"海淀":{}},"山东":{"德州":{},"青岛":{},"济南":{}},"广东":{"东莞":{},"常熟":{},"佛山":{}}}exit_flag=Falsewhilenotex
系统 2019-09-27 17:54:15 1939
依赖包：pipinstallparamiko源码demo:fromtimeimport*importparamiko#定义一个类，表示一台远端linux主机classLinux(object):#通过IP,用户名，密码，超时时间初始化一个远程Linux主机def__init__(self,ip,username,password,timeout=30):self.ip=ipself.username=usernameself.password=passwo
系统 2019-09-27 17:53:55 1939
从我开始学习python的时候，我就开始自己总结一个python小技巧的集合。后来当我什么时候在StackOverflow或者在某个开源软件里看到一段很酷代码的时候，我就很惊讶：原来还能这么做！当时我会努力的自己尝试一下这段代码，直到我懂了它的整体思路以后，我就把这段代码加到我的集合里。这篇博客其实就是这个集合整理后一部分的公开亮相。如果你已经是个python大牛，那么基本上你应该知道这里面的大多数用法了，但我想你应该也能发现一些你不知道的新技巧。而如果你
系统 2019-09-27 17:53:38 1939
一般用xlml但遇到过解析出来的内容不一样。有误用另一种方法得到正确的，有误应该只是极少问题。这种方案备用html=browser.page_sourcehtm=bs(html,'html.parser')
系统 2019-09-27 17:53:29 1939
作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHu...前言在第一篇“初探argparse”的文章中，我们初步掌握了使用argparse的四部曲，对它有了一个基本的体感。但是它具体支持哪些类型的参数？这些参数该如何配置？本文将带你深入了解argparse的参数们。本系列文章默认使用Python3作为解释器进行讲解。若你仍在使用Python2，请注
系统 2019-09-27 17:53:22 1939
1变量赋值：变量可以是字符串、序列、元组、1#author:hams.ali23#界面4line='-*'*205#数字直接可以计算67_var1='23'89#字符变量拼接10_var_2='\n\tmyageis'+_var11112#不可改变数值的组元13var=(2019,9,27)1415#变量解压16x,y,z=(2019,9,17)17print(x,y,z)18print(line)#分割19#多变量解压20data=['ali','eng
系统 2019-09-27 17:53:03 1939
首先我们提到一个代码块的概念。在python中并没有花括号来表示代码块这种规定。所以它有了一个新的规定：用缩进来表示代码块。（强制要求缩进）当然了，这对像我这种不缩进都要死的人，没有任何坏处。所以我们来将一下if语句的模板。cgg=10ifcgg<=60:print("Youarerubbish")else:print("Youaregarbage")这就是最基本的if-else当然了，我们还有elseif，在python中用elif来表示。如：cgg=1
系统 2019-09-27 17:53:01 1939
一、问题引出浅拷贝首先看下面代码的执行情况：a=[1,2,3]print('a=%s'%a)#a=[1,2,3]b=aprint('b=%s'%b)#b=[1,2,3]a.append(4)#对a进行修改print('a=%s'%a)#a=[1,2,3,4]print('b=%s'%b)#b=[1,2,3,4]b.append(5)#对b进行修改print('a=%s'%a)#a=[1,2,3,4,5]print('b=%s'%b)#b=[1,2,3,4,
系统 2019-09-27 17:52:42 1939
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 1939
