基本原理蒙特卡罗方法通过抓住事物运动的几何数量和几何特征，利用数字方法来加以模拟，即进行一种数字模拟实验。它是以一个概率模型为基础，按照这个模型所描绘的过程，通过模拟实验的结果，作为问题的近似解。主要步骤如下：1.构造或描述概率过程2.实现从已知概率分布抽样3.建立各种估计量示例一：π值的计算importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt%matplotlibinline#π的计算n=
系统 2019-09-27 17:50:56 2033
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2033
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2033
Python2的字符串有两种：str和Unicode，Python3的字符串也有两种：str和Bytes。Python2的str相当于Python3的Bytes，而Unicode相当于Python3的Bytes。Python2里面的str和Unicode是可以混用的，在都是英文字母的时候str和unicode没有区别。而Python3严格区分文本（str）和二进制数据（Bytes），文本总是Unicode，用str类型，二进制数据则用Bytes类型表示，这
系统 2019-09-27 17:50:25 2033
一、操作系统中相关进程的知识Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的I
系统 2019-09-27 17:50:08 2033
爬虫的抓取方式有好几种，正则表达式，Lxml(xpath)与BeautifulSoup,我在网上查了一下资料，了解到三者之间的使用难度与性能三种爬虫方式的对比。抓取方式性能使用难度正则表达式快困难Lxml快简单BeautifulSoup慢简单这样一比较我我选择了Lxml(xpath)的方式了，虽然有三种方式，但肯定是要选择最好的方式来爬虫，这个道理大家都懂，另外有兴趣的朋友也可以去了解另外两种爬虫方式！好了现在来讲讲xpath由于Xpath属于lxml模块
系统 2019-09-27 17:49:52 2033
#输出字典d1的键值和键值个数d1={'x':1,'y':2,'z':3}d1={'x':1,'y':2,'z':3}keylist=d1.keys()whilekeylist:print(keylist(0))keylist.pop(0)else:print(len(d))报错：TypeError:'dict_keys'objectisnotcallablehttps://stackoverflow.com/questions/17322668/type
系统 2019-09-27 17:48:32 2033
正则表达式简介正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：RegularExpression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。正则表
系统 2019-09-27 17:48:13 2033
本文详细罗列并说明了Python的标准库与第三方库如下，供对此有需要的朋友进行参考：Tkinter――――Python默认的图形界面接口。Tkinter是一个和Tk接口的模块，Tkinter库提供了对TkAPI的接口，它属于Tcl/Tk的GUI工具组。Tcl/Tk是由JohnOusterhout发展的书写和图形设备。Tcl(工具命令语言)是个宏语言，用于简化shell下复杂程序的开发，Tk工具包是和Tcl一起开发的，目的是为了简化用户接口的设计过程。Tk工
系统 2019-09-27 17:47:15 2033
mysql是一个优秀的开源数据库，它现在的应用非常的广泛，因此很有必要简单的介绍一下用python操作mysql数据库的方法。python操作数据库需要安装一个第三方的模块，在http://mysql-python.sourceforge.net/有下载和文档。由于python的数据库模块有专门的数据库模块的规范，所以，其实不管使用哪种数据库的方法都大同小异的，这里就给出一段示范的代码：#-*-encoding:gb2312-*-importos,sys,
系统 2019-09-27 17:38:41 2033
