今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1937
我们每个人每天都是在用微信，在程序开发过程中，我们会需要监控我们的程序，发短信监控收费，发邮件懒得看，发微信是最好的方式，而且是免费的。发现个非常好用的python库：wxpy。wxpy基于itchat，使用了Web微信的通讯协议，实现了微信登录、收发消息、搜索好友、数据统计等功能。官方文档：chats.html安装wxpy包：pipinstallwxpy一开始扫码登录，程序会保存一个.pkl文件，这个文件是程序自动保存的，下次就不需要扫码了。#-*-en
系统 2019-09-27 17:50:22 1937
Pandas类似R语言中的数据框(DataFrame),Pandas基于Numpy,但是对于数据框结构的处理比Numpy要来的容易。1.Pandas的基本数据结构和使用Pandas有两个主要的数据结构：Series和DataFrame。Series类似Numpy中的一维数组，DataFrame则是使用较多的多维表格数据结构。Series的创建>>>importnumpyasnp>>>importpandasaspd>>>s=pd.Series([1,2,3
系统 2019-09-27 17:50:11 1937
首先导入所需的包：importstructstruct有以下几个主要的函数：#按照给定的格式(fmt)，把数据封装成字符串(实际上是类似于c结构体的字节流)pack(fmt,v1,v2,...)#按照给定的格式(fmt)解析字节流string，返回解析出来的tupleunpack(fmt,string)#计算给定的格式(fmt)占用多少字节的内存calcsize(fmt)例如：我需要读取一个名为filename，存放着形状为[100,1025]的浮点数的文
系统 2019-09-27 17:49:56 1937
我们通过模拟随机漫步可以说明如何运用数组运算。通过内置的random模块以纯Python的方式实现1000步的随机漫步根据前100个随机漫步值生成的折线图，plt.plot(walk[:100])随机漫步中各步的累计和，可以用一个数组运算来实现。因此，我用np.random模块一次性随机产生1000个“掷硬币”结果（即两个数中任选一个），将其分别设置为1或－1，然后计算累计和我们就可以沿着漫步路径做一些统计工作了，比如求取最大值和最小值假设我们想要知道本次
系统 2019-09-27 17:49:14 1937
isdigit()方法检查字符串是否只包含数字(全由数字组成)。语法以下是isdigit()方法的语法：str.isdigit()参数NA返回值如果字符串中的所有字符都是数字，并至少有一个字符此方法返回true，否则返回false。例子下面的例子显示了isdigit()方法的使用。#!/usr/bin/pythonstr="123456";#Onlydigitinthisstringprintstr.isdigit();str="thisisstringe
系统 2019-09-27 17:47:18 1937
您不需要集成任何内容。您可以使用pygame屏幕作为GUI。公平警告：它没有内置功能，如按钮或弹出窗口。每次都需要硬编码。通过集成，如果你的意思是python代码的结果应该显示在屏幕上，那么这将发生。如果要将另一个python文件导入pygame文件，只需在文件顶部输入importfilename即可。如果你的意思是象国际象棋所需的复杂的GUI，那么我担心这是不可能的。我建议在Javascript中使用它。你如何在python中创建GUI？要显示图像：im
系统 2019-09-27 17:47:06 1937
前期准备（烦）装好python传送门！去欧洲中心申请一个账号传送自己看着申请吧，可能要翻墙申请Python的前期配置欧洲中心自带教程传送门简单来说，就是用python链接欧洲中心的api接口调用并下载数据所以前期配置分两步1、让电脑保留你的登录用户信息，并且可以让Python识别、使用2、Python安装一个用于调用欧洲中心api接口的库下面介绍详细步骤第一步获取ECMWF的Key首先登录欧洲中心官网然后上一个传送门就变成这样(我打了马赛克)你可以得到灰色
系统 2019-09-27 17:46:19 1937
涉及到详情页爬取目录结构:kaoshi_bqg.pyimportscrapyfromscrapy.spidersimportRulefromscrapy.linkextractorsimportLinkExtractorfrom..itemsimportBookBQGItemclassKaoshiBqgSpider(scrapy.Spider):name='kaoshi_bqg'allowed_domains=['biquge5200.cc']start_
系统 2019-09-27 17:46:11 1937
最近由于需要用Python完成一项作业，于是在ubuntu16.04系统上倒腾了一下Python的开发环境，整个过程也是一波三折。现总结一下经验，以免再掉到坑里。1.ubuntu16.04自带的Python版本ubuntu16.04系统默认安装了Python2.7.12和Python3.5.2版本，路径分别为/usr/bin/python2.7和/usr/bin/python3.5。可以在终端输入python，然后连按两次TAB键，就会显示自己电脑上装了哪
系统 2019-09-27 17:46:07 1937
