今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1988
方法一、input标签上传如果是input标签，可以直接输入路径，那么可以直接调用send_keys输入路径，这里不做过多赘述，前文有相关操作方法。方法二、非input标签上传这种上传方式需要借助第三方工具，主要有以下三种情况：1.AutoIt去调用它生成的au3或者exe格式的文件2.SendKeys第三方库（目前只支持到2.7版本）网址：https://pypi.python.org/pypi/SendKeys/3.Python的pywin32库，通过
系统 2019-09-27 17:50:49 1988
一、变量赋值及命名规则①声明一个变量及赋值1#!/usr/bin/envpython2#-*-coding:utf-8-*-3#_author_soloLi4name1="solo"5name2=name16print(name1,name2)7name1="hehe"8print(name1,name2)#name1的值为hehe，name2的值为solo②变量命名的规则11、变量名只能是字母、数字或下划线的任意组合22、变量名的第一个字符不能是数字33
系统 2019-09-27 17:50:38 1988
我们每个人每天都是在用微信，在程序开发过程中，我们会需要监控我们的程序，发短信监控收费，发邮件懒得看，发微信是最好的方式，而且是免费的。发现个非常好用的python库：wxpy。wxpy基于itchat，使用了Web微信的通讯协议，实现了微信登录、收发消息、搜索好友、数据统计等功能。官方文档：chats.html安装wxpy包：pipinstallwxpy一开始扫码登录，程序会保存一个.pkl文件，这个文件是程序自动保存的，下次就不需要扫码了。#-*-en
系统 2019-09-27 17:50:22 1988
test_list=[{'data':1,'no':301},{'data':2,'no':401},{'data':4,'no':201},{'data':6,'no':101},{'data':5,'no':303}]new_list=list(test_list)#print(new_list)formatchintest_list:ifmatch['no']>300:match['no']='BF'else:match['no']='BR'#pri
系统 2019-09-27 17:49:17 1988
我们通过模拟随机漫步可以说明如何运用数组运算。通过内置的random模块以纯Python的方式实现1000步的随机漫步根据前100个随机漫步值生成的折线图，plt.plot(walk[:100])随机漫步中各步的累计和，可以用一个数组运算来实现。因此，我用np.random模块一次性随机产生1000个“掷硬币”结果（即两个数中任选一个），将其分别设置为1或－1，然后计算累计和我们就可以沿着漫步路径做一些统计工作了，比如求取最大值和最小值假设我们想要知道本次
系统 2019-09-27 17:49:14 1988
python基础学习笔记（十一）2013-05-1423:31虫师阅读(...)评论(...)编辑收藏迭代器本节进行迭代器的讨论。只讨论一个特殊方法----__iter__，这个方法是迭代器规则的基础。迭代器规则迭代的意思是重复做一些事很多次---就像在循环中做的那样。__iter__方法返回一个迭代器，所谓迭代器就是具有next方法的对象，在调用next方法时，迭代器会返回它的下一个值。如果next方法被调用，但迭代器没有值可以返回，就会引发一个Stop
系统 2019-09-27 17:48:51 1988
环境：虚拟机下的CentOS7，Python-3.7.0.tar.xz步骤：1，可选则安装Python之前更新yum，当然需要管理员权限，注意即可。简单起见，整个安装过程可以都采用管理员运行，在安装CentOS7的时候可能不同需求安装的初始包也不相同，比如有的安装了开发工具（DevelopmentTools），有的没有安装，没有安装的可能需要手动安装一下。因为我们要安装的是3.7，3.7较之前的版本需要一个新的依赖包libffi-devel，需要安装一下，
系统 2019-09-27 17:47:58 1988
本文以实例形式介绍了pythonturtle模块即海龟绘图的使用方法，对于需要进行图形编程的朋友相信会有一定的借鉴价值。pythonturtle模块简介：python2.6版本中引入的一个简单的绘图工具，叫做海龟绘图(TurtleGraphics)1.使用海龟绘图首先我们需要导入turtle，如下所示：fromturtleimport*#将turtle中的所有方法导入2.海龟绘图属性：(1)位置(2)方向(3)画笔(画笔的属性，颜色、画线的宽度)3.操纵海
系统 2019-09-27 17:47:13 1988
刚开始学习Python就开始遇到难题了，对于PythonIDE都比较纠结，希望找到一些适合自己的、Python开发工具。本篇给大家分享几款Python开发工具，供正在纠结用哪种开发工具的小伙伴们参考~对于学习Python的小伙伴，首推的Pycharm。首先，PyCharm用于一般IDE具备的功能，比如，调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制另外，PyCharm还提供了一些很好的功能用于Django开发，同时支持
系统 2019-09-27 17:46:35 1988
