接下来准备用糗百做一个爬虫的小例子。但是在这之前，先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。一、正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。其他编程语言中也有正则表达式的概念，区别只在于不同的编程语言实现支持的语法数量不同。它拥有自己独特的语法以及一个独立的处理引擎，在提供了正则表达式的语言里，正则表达
系统 2019-09-27 17:54:47 2071
有很多程序运行时间比较长，如果不将运行过程输出将很难判断程序运行的时间。下边这段程序将按照上图所示的格式输出程序运行进程、已用时间、剩余时间。deftime_change(time_init):#定义将秒转换为时分秒格式的函数time_list=[]iftime_init/3600>1:time_h=int(time_init/3600)time_m=int((time_init-time_h*3600)/60)time_s=int(time_init-t
系统 2019-09-27 17:54:42 2071
原文链接：https://edu.csdn.net/bundled/detail/49?utm_source=topic「超级星推官/每周分享」是一个围绕程序员生活、学习相关的推荐栏目。CSDN出品，每周发布，暂定5期。关键词：靠谱！优质！本期内容，我们将抽1人送出由我司程序员奉为“超级神作”的《疯狂Python讲义》1本，并在文章内隐藏了5门好课，敬请关注。2019年，有人说是Python元年，背靠AI和大数据，连续半年拿下TOP1编程语言，这些都给了P
系统 2019-09-27 17:53:20 2071
1.安装pyserialhttps://pypi.python.org/pypi/pyserialDoc:http://pythonhosted.org/pyserial/使用PythonPackageIndex(PyPi)pipinstallpyserial-3.1.1-py2.py3-none-any.whl2.Demoimportserialfromtimeimportsleepdefrecv(serial):whileTrue:data=seria
系统 2019-09-27 17:53:10 2071
python生成一个日期列表首先导入pandasimportpandasaspddefget_date_list(begin_date,end_date):date_list=[x.strftime('%Y-%m-%d')forxinlist(pd.date_range(start=begin_date,end=end_date))]returndate_list###可以测试print(get_date_list('2018-06-01','2018-0
系统 2019-09-27 17:53:02 2071
符号说明.默认匹配\n之外的任意字符^匹配字符开头$匹配字符结尾?匹配?前面的字符0次或1次*匹配*前面的字符0次或多次+匹配+前面的字符1次或多次{m}匹配前一个（组）字符m次{n,m}匹配前一个（组）字符[n,m]次|匹配|左或者右的字符符号说明\A只从字符串开始匹配，类似^\Z匹配字符串结尾，类似$\d匹配数字0-9\D匹配非数字\w匹配数字字母\W匹配非数字字母\S匹配空字符\t\n\rpython说明(?P<\name>…)python中可以返回
系统 2019-09-27 17:52:46 2071
Python是静态作用域语言，尽管它自身是一个动态语言。也就是说，在Python中变量的作用域是由它在源代码中的位置决定的，这与C有些相似，但是Python与C在作用域方面的差异还是非常明显的。接下来会谈论Python的作用域规则，在这中间也会说明一下Python与C在作用域方面的不同。在Python2.0及之前的版本中，Python只支持3种作用域，即局部作用域，全局作用域，内置作用域；在Python2.2中，Python正式引入了一种新的作用域---嵌
系统 2019-09-27 17:52:41 2071
requests库的安装：ubuntu和windows下安装requests库：pipinstallrequestsrequests的介绍：Requests是一个优雅而简单的PythonHTTP库requests的文档：中文版：http://cn.python-requests.org/zh_CN/latest/英文版：http://docs.python-requests.org/en/master/api/requests的基本用法：Get请求：(一)
系统 2019-09-27 17:52:36 2071
pythonelasticsearch从创建索引到写入数据创建索引fromelasticsearchimportElasticsearches=Elasticsearch('192.168.1.1:9200')mappings={"mappings":{"type_doc_test":{#type_doc_test为doc_type"properties":{"id":{"type":"long","index":"false"},"serial":{"t
系统 2019-09-27 17:51:01 2071
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2071
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2071
maketrans和translate函数是进行字符串字符编码的常用方法。本文着重点在于演示其基本用法和在不同版本下操作的差异。本文提到的2.X版本指2.6以上的版本，3.X版本指3.1以上的版本。2.X版本把字符串基本分为两种：unicode字符串和8位字符串str，后者包含字节数据和我们常见的ASCII码数据；而3.X版本则重新对字符串进行了划分，分为了字节字符串bytes和文本字符串str，两者都是不可变的，所以添加了一个可变的字节字符串类型byte
系统 2019-09-27 17:49:54 2071
1.模块（Module）在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在Python中，一个.py文件就称之为一个模块（Module）。使用模块有什么好处？最大的好处是大大提高了代码的可维护性。其次，编写代码不必从零开始。当一个模块编写完毕，就可以被其他地方引用。我们在编
系统 2019-09-27 17:49:11 2071
一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。n==1时，f(n)==1n==2时，f(n)==2n==3时，f(n)=f(2)+f(1)=最后一步跳1个+最后一步跳2个n==4时，f(n)=f(3)+f(2)=最后一步跳1个+最后一步跳2个···n-->f(n)==f(n-1)+f(n-2)#-*-coding:utf-8-*-classSolution:defjumpFloor(s
系统 2019-09-27 17:48:42 2071
第一篇：Python基础Python入门python的数据类型文件操作第二篇：函数函数基础用户注册register()示例扩展注册功能装饰器举例函数嵌套调用、名称空间与作用域、函数对象函数装饰器迭代器生成器面向过程、三元表达式、函数递归匿名函数日志输出格式内置函数列表生成式、生成器表达式、模块导入第三篇：模块软件开发目录规范、logging模块序列化与反序列化、os模块包的使用time模块、datetime模块（打印进度条）random模块、shutil模
系统 2019-09-27 17:48:25 2071
