今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2245
今天遇到一个需求，就是将一个list文件读取后，存入一个txt配置文件。存入时，发现list文件无法直接存入，必须转为str模式。但在读取txt时，就无法恢复成list类型来读取了（准确地说，即使强行使用list读取，读出来的也是单个的字符）。查了查资料，发现json.loads和json.dumps这对兄弟提供了一个很好的办法。下面看代码#python3.6#!/usr/bin/envpython#-*-coding:utf-8-*-__author__
系统 2019-09-27 17:50:48 2245
Python窗体输入、展示并存储数据利用python的tkinter进行窗体开发，可以实现输入框，以及利用get函数获取输入框的数据，并将这些数据存储到本地，如果利用数据库，也可以把窗体获取的数据导入到数据库中fromtkinterimport*importtkinter.messageboxasmessageboxroot=Tk()root.title("信息输入框")root.geometry('300x300')input1=Label(root,t
系统 2019-09-27 17:50:46 2245
事情是这样的，我写了一个tornado的服务，过程当中我用logging记录一些内容，由于一开始并没有仔细观察tornado自已的日志管理，所以我就一般用debug来记录普通日志，error记录有问题的日志，但是当服务跑起来以后才发现，tornado的访问日志的级别是info，也就是20，debug是10的，所以如果我定义了日志的级别是debug，那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志，而且由于我这个服务可能每时每刻都会有访问
系统 2019-09-27 17:50:30 2245
1.json模块提供了一种很简单的方式来编码和解码JSON数据。其中两个主要的函数是json.dumps()和json.loads()，要比其他序列化函数库如pickle的接口少得多。下面演示如何将一个Python数据结构转换为JSON：'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''importjsondata={'name':'ACME
系统 2019-09-27 17:50:20 2245
一、运算符1、算术运算符：+-*///**%+加两个数相加1+2=3-减两个数相减3-1=2*乘两个数相乘1*2=2/除两个数相除5/2=2.5//整除两个数相除得到整数5//2=2**幂幂次方2**3=8%取余两个数的余数5%2=1（可以用来判断奇偶数取余为0的时候为偶数取余为1的时候为奇数）2、比较运算符：>、<、>=、<=、==、！=结果只有真假truefalse为bool类型3、赋值运算符：+=-=*=/=//=%=**=num+=1等价于num=
系统 2019-09-27 17:49:47 2245
废话不多说，直接上代码吧！importthreadingimportosclassFind(threading.Thread):#搜索数据的线程类def__init__(self,datalist,startIndex,endIndex,searchstr,savefile):#datalist要搜索的内容列表，startIndex列表搜索范围的开始下标，searchstr要搜索的内容threading.Thread.__init__(self)self.
系统 2019-09-27 17:49:21 2245
这是一个我用于调试或分析工具概述，不一定是完整全面，如果你知道更好的工具，请在评论处标记。日志是的，的确，不得不强调足够的日志记录对应用程序是多么的重要。您应该记录重要的东西，如果你的记录足够好的话，你可以从日志中找出问题从而节省大量的时间。如果你曾经用print语句来调试代码现在停下吧，用logging.debug替代，开始可以慢慢来，以后完全禁用它...追踪有时看到程序如何被执行会很有帮助。你可以使用IDE的调试共轭ngn一步一步的运行程序，但你需要知
系统 2019-09-27 17:49:14 2245
python基础学习笔记（一）2013-02-2223:57虫师阅读(...)评论(...)编辑收藏好吧！我早就想学习一门语言了，我想编程是我们大多测试员的短板。虽然，我更熟悉JAVA，但我还是的ruby和python之间犹豫了很久。我一直觉得自己编程方面没有天赋。所以就选个简单点的下手吧。安装与运行交互式解释器在绝大多数linux和UNIX系统安装中（包括MacOSX）,Python的解释器就已经存在了。我们可以在提示符下输入python命令进行验证（作
系统 2019-09-27 17:48:58 2245
Python基础a[::-1]：翻转列表解释：a[i:j:s]，当s<0时，i缺省时，默认为-1.j缺省时，默认为-len(a)-1所以a[::-1]相当于a[-1:-len(a)-1:-1]，也就是从最后一个元素到第一个元素复制一遍。所以你看到的是倒序输出。numpy相关newaxisnp.newaxis在使用和功能上等价于None，可以看作是None的一个别名可以理解为新增了一个所有值都为空的维度。从上图可以看出，newaxis给x新增了一个Y-axi
系统 2019-09-27 17:48:48 2245
