作者|喵叔责编|胡巍巍出品|CSDN（ID：CSDNnews）爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。智能爬虫目前有三种：1.基于网页内容的爬虫当网页含有大量需要提取的信息时，我们就需要用到基于网页内容的爬虫。该爬虫会将HTML视为文本并利用NLP技术进行处理。虽然说这种基于网页内容的爬虫可以
系统 2019-09-27 17:55:06 2306
装饰器这东西我看了一会儿才明白，在函数外面套了一层函数，感觉和java里的aop功能很像；写了2个装饰器日志的例子，第一个是不带参数的装饰器用法示例，功能相当于给函数包了层异常处理，第二个是带参数的装饰器用法示例，将日志输出到文件。```#coding=utf8importtracebackimportloggingfromlogging.handlersimportTimedRotatingFileHandlerdeflogger(func):defin
系统 2019-09-27 17:54:25 2306
一、闭包来自wiki：闭包（Closure）是词法闭包（LexicalClosure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。在一些语言中，在函数中定义另一个函数时，如果内部的函数引用了外部的函数的变量，则可能产生闭包。运行时，一旦外部的函数被执行，一个闭包就形成了，闭包中包含了内部函数的代码，以及所需外部函数中的变量
系统 2019-09-27 17:54:10 2306
为了应付某些情况，需要做17份记录。虽然不很重要，但是17份完全雷同也不很好。大体看了一下，此记录大致分为四段。于是决定每段提供四种选项，每段四选一，拼凑成四段文字，存成一个文件。文件名就叫“XX记录+日期”。应急的随手创作，使用了“文件操作”和“生成随机数”的功能。比较简陋。后期扩展可以考虑搭配个数据库。复制代码代码如下:#-*-coding:cp936-*-importrandomtitle='XXX周例会\n会议时间:'timelist=['6月6日
系统 2019-09-27 17:53:26 2306
一、内置函数sort()原型：sort（fun，key，reverse=False）参数：1、参数fun是表明此sort函数是基于何种算法进行排序的，一般默认情况下python中用的是归并排序，并且一般情况下我们是不会重写此参数的，所以基本可以忽略；2、参数key用来指定一个函数，此函数在每次元素比较时被调用，此函数代表排序的规则，也就是你按照什么规则对你的序列进行排序；3、参数reverse是用来表明是否逆序，默认的False情况下是按照升序的规则进行排
系统 2019-09-27 17:52:44 2306
通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2306
#/usr/bin/env/python#coding=utf-8importsys,re,time,osmaxdata=50000#单位KBmemfilename='/tmp/newnetcardtransdata.txt'netcard='/proc/net/dev'defcheckfile(filename):ifos.path.isfile(filename):passelse:f=open(filename,'w')f.write('0')f.c
系统 2019-09-27 17:52:13 2306
原文链接：https://www.tinymind.cn/competitions/48作者|RitiDass译者|LJY整理|Lemonbit译文来源|Python数据之道（ID:PythonDataLab）导语：理解你的数据的最佳方法是花时间去研究它。Python探索性数据分析教程介绍每个数据科学家都必须掌握的最重要的技能之一是正确研究数据的能力。彻底的探索性数据分析(EDA，ExploratoryDataAnalysis)是必要的，这是为了确保收集数
系统 2019-09-27 17:51:45 2306
Python爬虫之设置seleniumwebdriver等待ajax技术出现使异步加载方式呈现数据的网站越来越多，当浏览器在加载页面时，页面上的元素可能并不是同时被加载完成，这给定位元素的定位增加了困难。如果因为在加载某个元素时延迟而造成ElementNotVisibleException（不可见元素异常）的情况出现，那么就会降低自动化脚本的稳定性，设置元素等待可改善这种问题造成的不稳定。一、强制等待强制等待是利用python语言自带的time库中的sle
系统 2019-09-27 17:51:22 2306
测试时候类的调用是经常会用到的。简单看下类的调用使用的方法吧。来看例子：目录结构：我们现在要在do_class.py这个文件里调用class_learn.py里的类代码(do_class.py):#!/usr/bin/envpython3#coding=utf-8'''@Author:Jock'''fromall_python_learn.class_and_funcation.class_learnimport*b=Learn(1,2)b.get()pr
系统 2019-09-27 17:51:14 2306
