这几天和几个朋友以各种途径讨论过OOP的相关问题，他们是：令狐虫、Frank、晋剑、小冯大家对OOP有不同看法，所谓工程派和学院派看法不一致。从应用的角度看，工程派的观点是值得推荐的，那就是：不用太在意内部是怎么工作的，只要能够解决眼下的问题即可。但是，对于学习者而言，如果仅仅停留在工程派的层面（特别提醒，上述几位朋友都是工程派的大侠，他们可不是简单地能够使用，其实是更高层次的“无招胜有招”），学习者可能感觉有点不透彻。所以，学习者，特别是初学者，要知道一
系统 2019-09-27 17:55:20 2053
综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 2053
Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 2053
从我开始学习python的时候，我就开始自己总结一个python小技巧的集合。后来当我什么时候在StackOverflow或者在某个开源软件里看到一段很酷代码的时候，我就很惊讶：原来还能这么做！当时我会努力的自己尝试一下这段代码，直到我懂了它的整体思路以后，我就把这段代码加到我的集合里。这篇博客其实就是这个集合整理后一部分的公开亮相。如果你已经是个python大牛，那么基本上你应该知道这里面的大多数用法了，但我想你应该也能发现一些你不知道的新技巧。而如果你
系统 2019-09-27 17:53:38 2053
列表推导与生成器表达式当我们创建了一个列表的时候，就创建了一个可以迭代的对象：复制代码代码如下:>>>squares=[n*nforninrange(3)]>>>foriinsquares:printi014这种创建列表的操作很常见，称为列表推导。但是像列表这样的迭代器，比如str、file等，虽然用起来很方便，但有一点，它们是储存在内存中的，如果值很大，会很麻烦。而生成器表达式不同，它执行的计算与列表包含相同，但会迭代的生成结果。它的语法与列表推导一样，
系统 2019-09-27 17:53:14 2053
psutil（进程和系统实用程序）是一个跨平台的库，用于在Python中检索有关运行进程和系统利用率（CPU，内存，磁盘，网络，传感器）的信息。它主要用于系统监视，分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psut
系统 2019-09-27 17:52:36 2053
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2053
英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance
系统 2019-09-27 17:52:30 2053
1，递归函数的定义：函数内部可以调用其他的函数，当然可以调用函数自己，函数调用自身的编程技巧称为递归。2，递归函数的代码特点：函数内部的代码是相同的，只是传递的参数不同、需设置当参数满足条件时，不在执行函数，称为递归的出口，这个必须设置，否则会造成死循环。3，示例代码：倒序打印defsum_numbers(num):print(num)#递归的出口，当参数满足条件时，不在进行递归．#递归出口很重要，如不设置则会出现死循环ifnum==1:return1#函
系统 2019-09-27 17:52:06 2053
Python3快速入门（十五）——Pandas数据处理一、函数应用1、函数应用简介如果要将自定义函数或其它库函数应用于Pandas对象，有三种使用方式。pipe()将函数用于表格，apply()将函数用于行或列，applymap()将函数用于元素。2、表格函数应用可以通过将函数对象和参数作为pipe函数的参数来执行自定义操作，会对整个DataFrame执行操作。#-*-coding=utf-8-*-importpandasaspdimportnumpyas
系统 2019-09-27 17:52:01 2053
