爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 1742
面向对象的语言有对象。对象是状态和行为的组合。对象需要访问自己的状态。这样做基本上有两个主要选择。要么你明确地说你何时访问一个对象的状态（通过self，this或者其他类似的东西），或者语言会为你找出。让我先讨论后一种情况。存在名称冲突的问题。例如，如果对象的数据成员与方法参数的名称匹配，或者如果声明与数据成员的名称匹配的局部变量，会发生什么。您要么不允许这种情况，要么具有某种解决机制。Smalltalk是一个像这样工作的语言的例子，但我不记得语言是如何处
系统 2019-09-27 17:55:44 1742
创建目录python3.6.5安装目录：mkdir/usr/local/python3.6.5进入安装目录：cd/usr/local/python3.6.5执行以下命令，下载python安装包wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz解压安装包tar-xzvfPython-3.6.5.tgz执行以下命令切换到解压目录：cdPython-3.6.5执行以下命令，安装gcc组件yum
系统 2019-09-27 17:55:38 1742
开篇就要提到一个大的话题：编程范型。什么是编程范型？引用维基百科中的解释：复制代码代码如下:编程范型或编程范式（英语：Programmingparadigm），（范即模范之意，范式即模式、方法），是一类典型的编程风格，是指从事软件工程的一类典型的风格（可以对照方法学）。如：函数式编程、程序编程、面向对象编程、指令式编程等等为不同的编程范型。编程范型提供了（同时决定了）程序员对程序执行的看法。例如，在面向对象编程中，程序员认为程序是一系列相互作用的对象，而在
系统 2019-09-27 17:55:35 1742
前言尝试用python语言写脚本是好的开始，证明我们有了自动化的思想，这对优秀的程序开发人员是很重要的，电子计算机本来就是要减少重复工作的。首先我们要用到python自带的一些包，python语言让人爱不释手的一点，就是它自带了许多简捷迅速的包，堪称攻坚手术刀，用到的包：os（操作系统相关库），shutil（高级的文件,文件夹,压缩包处理模块）。经典的开头#-*-coding:utf-8-*-importosimportshutilimportsystyp
系统 2019-09-27 17:54:28 1742
汉诺塔的移动可以用递归函数非常简单地实现。题目：请编写move(n,a,b,c)函数，它接收参数n，表示3个柱子A、B、C中第1个柱子A的盘子数量，然后打印出把所有盘子从A借助B移动到C的方法[思路]假设：A柱子只有两个盘，上面为n-1个小盘，下面为1个大盘；B：0盘；C：0盘移动步骤①：A柱的n-1个盘，借助C柱的缓冲，移动到B柱，move(n-1,a,c,b)移动步骤②：A柱的1个盘，借助B柱的缓冲，移动到C柱，move(1,a,b,c)移动步骤③：B
系统 2019-09-27 17:54:20 1742
本文实例为大家分享了python射线法判断点是否位于区域内的具体代码，供大家参考，具体内容如下#!/usr/bin/envpython#-*-coding:utf-8-*-#@Date:2018-10-0715:49:37#@Author:Sheldon(thisisscret@qq.com)#@Blog:谢耳朵的派森笔记#@Link:https://www.cnblogs.com/shld/#@Version:0.0.1defisinpolygon(po
系统 2019-09-27 17:54:09 1742
功能：为已存在的函数或对象添加额外的功能原则：不改变源代码为其添加功能不改变函数的调用方式方法：装饰器=高阶函数+嵌套函数（高阶函数：一个函数可以作为参数传递给另外一个函数，或者，一个函数的返回值是一个函数，即函数的入口地址）函数名作为参数传递给装饰器（@decorator_name）装饰函数返回函数名（函数地址）注意：默认情况下，装饰器会修改名字和文档说明，但是可以使用functools中的@wraps()解决。@wraps接受一个函数来进行装饰，并加入
系统 2019-09-27 17:51:46 1742
json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax，所以一
系统 2019-09-27 17:51:28 1742
在写程序时，我们经常需要定义一些路径常量，为了逻辑和代码的清晰，可以新建一个config.ini文件,然后调用其中的信息即可。config.ini文件格式如下：[section1]model_dir=/home/user/nlp-data/trained-model;注释save_input=./profiling/inputsave_state=./profiling/state......[section2]save_output=./profilin
系统 2019-09-27 17:51:24 1742
（一）什么是json：JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLanguage,StandardECMA-2623rdEdition-December1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C,C++,C#,Java,JavaScript,Perl,Python
系统 2019-09-27 17:50:34 1742
事情是这样的，我写了一个tornado的服务，过程当中我用logging记录一些内容，由于一开始并没有仔细观察tornado自已的日志管理，所以我就一般用debug来记录普通日志，error记录有问题的日志，但是当服务跑起来以后才发现，tornado的访问日志的级别是info，也就是20，debug是10的，所以如果我定义了日志的级别是debug，那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志，而且由于我这个服务可能每时每刻都会有访问
系统 2019-09-27 17:50:30 1742
淘宝的页面很复杂，如果使用分析ajax或者js的方式，很麻烦抓取淘宝‘美食'上面的所有食品信息spider.py#encoding:utf8importrefromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.ui
系统 2019-09-27 17:50:09 1742
Python重试模块retrying工作中经常碰到的问题就是，某个方法出现了异常，重试几次。循环重复一个方法是很常见的。比如爬虫中的获取代理，对获取失败的情况进行重试。刚开始搜的几个博客讲的有点问题，建议看官方文档，还有自己动手实验。参考：https://segmentfault.com/a/1190000004085023https://pypi.org/project/retrying/最初的版本importrequestsclassProxyUtil
系统 2019-09-27 17:49:24 1742
这篇快文介绍了使用Gmail作为您的e-mail服务器，通过Python的内置SMTP库发送电子邮件。它并不复杂，我保证。下面是如何在Python中登录GMail：importsmtplib#Thebelowcodeneverchanges,thoughobviouslythosevariablesneedvalues.session=smtplib.SMTP('smtp.gmail.com',587)session.ehlo()session.start
系统 2019-09-27 17:49:08 1742
