写爬虫似乎没有比用Python更合适了，Python社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的library分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的Python教程爬下来做成PDF电子书方便大家离线阅读。开始写爬虫前，我们先来分析一下该网站1的页面结构，网页的左侧是教程的目录大纲，每个URL对应到右边的一篇文章，右侧上方是文章的标题，中间是文章的正文部分，正文内容是我们关心的重点，我们要爬的数据就是所有网页的正文部分
系统 2019-09-27 17:55:45 2001
Python默认是没有goto语句的，但是有一个第三方库支持在Python里面实现类似于goto的功能：https://github.com/snoack/pyt...。比如在下面这个例子里，fromgotoimportwith_goto@with_gotodeffunc():foriinrange(2):forjinrange(2):goto.endlabel.endreturn(i,j,k)func()在执行第一遍循环时，就会从最内层的forjinra
系统 2019-09-27 17:54:57 2001
前言我们所说的加密方式，都是对二进制编码的格式进行加密的，对应到Python中，则是我们的Bytes。所以当我们在Python中进行加密操作的时候，要确保我们操作的是Bytes，否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示：#方法中不传参数则是以默认的utf-8编码进行转换In[1]:'南北'.encode()Out[1]:b'\xe5\x8d\x97\xe5\x8c\x97'In[2]:b'\xe5\
系统 2019-09-27 17:52:59 2001
一、异常1.1异常介绍异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下：1.2异常种类在python中不同的异常可以用不同的类型（python中统一了类与类型，类型即类）去标识，不同的类对象标识不同的异常，一个异常标识一种错误1#触发IndexError2l=['egon','aa']3l[3]45#触发KeyError6dic={'name':'egon'}7dic['age']89#触发ValueError10s='hello'1
系统 2019-09-27 17:52:31 2001
官方文档：https://elasticsearch-py.readthedocs.io/en/master/1、介绍python提供了操作ElasticSearch接口，因此要用python来操作ElasticSearch，首先要安装python的ElasticSearch包，用命令pipinstallelasticsearch安装或下载安装：https://pypi.python.org/pypi/elasticsearch/5.4.02、创建索引假如
系统 2019-09-27 17:51:01 2001
http.cookiejar前面讲到的cookie的使用，我们首先使用的是浏览器登陆之后，将中间的cookie取出来，之后将其应用到代码中，实现代码请求的功能，但是显然这样并不是非常的完美，如果代码能够自动的获取到cookie并完成后续的工作会更加的完美对于这个http.cookiejar，该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。对于这四类的作用非别如下：1、CookieJ
系统 2019-09-27 17:50:59 2001
今天来介绍一下Python解释器包含的一系列的内置函数，下面表格按字母顺序列出了内置函数：下面就一一介绍一下内置函数的用法：1、abs()返回一个数值的绝对值，可以是整数或浮点数等。print(abs(-18))print(abs(0.15))result:180.152、all(iterable)如果iterable的所有元素不为0、''、False或者iterable为空，all(iterable)返回True，否则返回False。print(all(
系统 2019-09-27 17:50:56 2001
Python基础---变量什么是变量:用来绑定数据对象的标识符一.变量的命名规则:变量名必须为字母或下划线开头,后跟字母或下划线或数字不能使用python的关键字命名命名规则可以被视为一种惯例，并无绝对与强制目的是为了增加代码的识别和可读性在定义变量时，为了保证代码格式，=的左右应该各保留一个空格在Python中，如果变量名需要由二个或多个单词组成时，可以按照以下方式命名每个单词都使用小写字母单词与单词之间使用_下划线连接例如：first_name、ast
系统 2019-09-27 17:50:40 2001
本文实例讲述了python读写配置文件操作。分享给大家供大家参考，具体如下：在用编译型语言写程序的时候，很多时候用到配置文件，作为一个约定的规则，一般用ini文件作为配置文件，当然不是绝对的，也可能是XML等文件。配置文件是配置的参数是在程序启动，或运行时需要的，作为编译型语言，几乎都会用到，但python是动态语言。动态语言的一大特性是解析执行的。所以很多情况下需要配置的参数，通常会被直接写在脚本里。一个常用的做法，就是单独用一个文件来作为配置文件，比如
系统 2019-09-27 17:49:52 2001
一、安装一般使用cmd安装就可以手动安装通过下载方式django官方网站：https://www.djangoproject.com/python官方仓库：https://pypi.python.org/pypi/Django二、配置使用1、通过cmd新建一个项目，我是在桌面新建上面命令会在桌面新建pythonDjango文件夹,在里面会生成如下图两个文件manage.py：命令行工具，可以用多种方式与该django项目进行交互；在pythonDjango
系统 2019-09-27 17:49:45 2001
1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。file_object=open('thefile.txt')try:all_the_text=file_object.read()finally:file_object.close()注：不能把open语句放在try块里，因为当打开文件出现异常时，文件对象file_object无法执行close()方法。2.读文件读文本
系统 2019-09-27 17:49:43 2001
#输出字典d1的键值和键值个数d1={'x':1,'y':2,'z':3}d1={'x':1,'y':2,'z':3}keylist=d1.keys()whilekeylist:print(keylist(0))keylist.pop(0)else:print(len(d))报错：TypeError:'dict_keys'objectisnotcallablehttps://stackoverflow.com/questions/17322668/type
系统 2019-09-27 17:48:32 2001
在Python列表操作中：列表乘以某一个数，如list2=list1*2得到一个新的列表是list1的元素重复n次，且list1不改变。但运行如下代码时，得到的新列表b中，b[0]和b[1]的地址相同，即对b[0]进行操作，b[1]也会发生改变。a=[0]b=[a]*2print(b)b[0].append(1)print(b)输出为：[[0],[0]][[0,1],[0,1]]随后尝试以下几种代码：代码（1）a=[0]b=[afor_inrange(2)
系统 2019-09-27 17:48:16 2001
写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。不多说了，来看下代码吧：fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁，下面的程序就可以执行多协程了importrequests,geven
系统 2019-09-27 17:47:59 2001
mktime()方法是localtime()反函数。它的参数是struct_time或全9元组，它返回一个浮点数，为了兼容时time()。如果输入值不能表示为有效的时间，那么OverflowError或ValueError错误将被引发。Syntax以下是mktime()方法的语法：time.mktime(t)参数t--这是struct_time或满9元组。返回值此方法返回一个浮点数，对于兼容性time()。例子下面的例子显示了mktime()方法的使用。#
系统 2019-09-27 17:46:41 2001
