爬虫背景:由于原来的数据库中有1.5亿左右的用户id，但是其中有1.2亿的用户资料是不完整的(没有粉丝数量，点赞数量等，算是无用数据)，现在老板要求将这些没有资料的用户更新信息，咋办？刚开始的想法是使用主从模式+scrapy爬取，但是写着写着觉得麻烦(写python的都很懒，scrapy还是比较臃肿的)，然后突然想到，python中的多线程，处理爬虫这种存在大量io的操作时，多线程是非常有用的，而且省服务器资源(其他的爬虫也在服务器，能省一点是一点，毕竟是
系统 2019-09-27 17:52:29 2516
上一篇豆子已经配置在PyCharm里面添加了boto3和pyboto3，因此写脚本的时候可以直接在自己的PyCharm里面编写。下面是一个例子遍历所有的region查找EC2，如果状态是开机，那就关掉；或者倒过来也可以写成如果是关机状态，就开机。importboto3deflambda_handler(event,context):#Getlistofregionsec2_client=boto3.client('ec2')regions=[region[
系统 2019-09-27 17:51:35 2516
用python实现五子棋简单人机模式的练习过程，供大家参考，具体内容如下第一次写博客，我尽力把它写好。最近在初学python，今天就用自己的一些粗浅理解，来记录一下这几天的python简单人机五子棋游戏的练习，下面是实现过程的理解（是在cmd中运行的）：主要流程：*重点内容*-首先是模块及类的划分-棋子类和棋盘类的方法-对策略类里的功能进行细分，调用棋子类和棋盘类-写出判断输赢的方法-用main函数进行整个游戏进度的控制模块及类的划分类的划分涉及到了面向对
系统 2019-09-27 17:48:43 2516
一、什么是决策树（decisiontree）――机器学习中的一个重要的分类算法决策树是一个类似于数据流程图的树结构：其中，每个内部节点表示一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或者类的分布，树的最顶层是根结点根据天气情况决定出游与否的案例二、决策树算法构建2.1决策树的核心思路特征选择：从训练数据的特征中选择一个特征作为当前节点的分裂标准（特征选择的标准不同产生了不同的特征决策树算法）。决策树生成：根据所选特征评估标准，从上至下递
系统 2019-09-27 17:47:26 2516
go语言为了更加简洁优雅，没有类似java的try...catch...这种写法，因为try...catch在某些情况下会嵌套使用，造成代码运行后不知道哪里就跑到了异常处理的代码里。但是也有相应的异常处理机制。需要记住的关键词有个，error，defer，panic，recover。1errorerror类似java中的Exception类型，不同的是Exception必须搭配throw和catch使用。Go语言中的error类型实际上是抽象了Error(
系统 2019-09-27 17:46:09 2516
ubuntu中自带了python，同时也提供了vim神级编辑器，对于python的集成工具pycharm系统并不自动安装，所以用户需要自行安装，本篇介绍ubuntu上安装pycharm编辑器；一、资源下载：地址：https://www.jetbrains.com/pycharm/download/#section=linux选择linux版本即可；社区版还是专业版因需而定；二、安装包解压编译安装：使用命令：tar-szvf加包名解压出安装包；依次切换到bi
系统 2019-09-27 17:46:06 2516
open函数你必须先用Python内置的open()函数打开一个文件，创建一个file对象，相关的辅助方法才可以调用它进行读写。语法：fileobject=open(file_name[,access_mode][,buffering])各个参数的细节如下：file_name：file_name变量是一个包含了你要访问的文件名称的字符串值。access_mode：access_mode决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这
系统 2019-09-27 17:45:46 2516
引用计数在Python源码中，每一个对象都是一个结构体表示，都有一个计数字段。typedefstruct_object{intob_refcnt;struct_typeobject*ob_type;}PyObject;PyObject是每个对象必有的内容，其中ob_refcnt就是作为引用计数。当一个对象有了新的引用时，它的ob_refcnt就会增加，引用它的对象被删除时则减少。一旦对象的引用计数为0，该对象立即被回收，占用空间就会被释放。优点简单易用实时
系统 2019-09-27 17:45:38 2516
最近从某网站下载了一批文档，但是文件是用数字串命名的文档（很多图书馆都这样吧），现在我也下载完了这些文件，也有这些文件的列表，就是不能一个一个的把文件给重命名吧所以从网上找了这几个脚本。一、使用bat脚本（windows系统默认可用）打开记事本，将这些代码写入记事本，另存为xx.bat文件（注意后缀名，很多小白保存成了xx.bat.txt，因为txt是隐藏的，以为不行）@echoofffor/r“d:\pdf”%%ain(*.pdf)do(for/f“to
系统 2019-09-27 17:38:41 2516
数学之美番外篇：平凡而又神奇的贝叶斯方法By刘未鹏(pongba)C++的罗浮宫(http://blog.csdn.net/pongba)TopLanguage(http://groups.google.com/group/pongba)概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想，一个方法
系统 2019-08-29 23:27:26 2516
