"""python提取文本的tfidf特征"""importmathfromcollectionsimportCounter#1.语料库corpus=['thisisthefirstdocument','thisisthesecondseconddocument','andthethirdone','isthisthefirstdocument']#2.对语料进行分词word_list=[]foriinrange(len(corpus)):word_lis
系统 2019-09-27 17:57:10 1731
我在跑爬虫程序的时候，由于爬虫程序的等待目标服务器返回数据的时间很长，而cpu占用很低，所以经常挂着代理一跑就跑好几百个。但是爬虫程序通常是写了死循环，或直到分配给该进程的任务都跑完才退出的。如果我们想中途结束掉这些任务，是没办法手工一个一个kill掉的。那么该如何结束这些进程呢？我的方法就是在运行爬虫进程时，记录该进程的Pid，然后在需要手动结束时，再用语句kill掉它们。foriin{1..100}donohuppythonNetEase_comms_
系统 2019-09-27 17:56:59 1731
最近有个需求就是页面上执行shell命令，第一想到的就是os.system，复制代码代码如下:os.system('cat/proc/cpuinfo')但是发现页面上打印的命令执行结果0或者1，当然不满足需求了。尝试第二种方案os.popen()复制代码代码如下:output=os.popen('cat/proc/cpuinfo')printoutput.read()通过os.popen()返回的是fileread的对象，对其进行读取read()的操作可以
系统 2019-09-27 17:56:49 1731
类装饰器propetyproperty是一种特殊的属性，访问它时会执行一段功能（函数）然后返回值classStudent:def__init__(self,name,birth):self.name=nameself.birth=birth@property#将一个方法伪装成属性defage(self):importtimereturntime.localtime().tm_year-self.birthalex=Student('alex',1930)p
系统 2019-09-27 17:56:49 1731
Python详解基本语法概要：函数的返回值是函数重要的组成部分。函数的根本在于实现程序的部分功能，所以很多时候我们需要将函数执行后的结果返回给程序再由程序作出进一步的操作。可以说是函数的返回值令函数与函数之间，函数与主程序之间更加紧密的联系起来。函数的返回值在Python的函数中都有一个返回值，默认为None。也可以使用returnvalue语句来定义一个且只能定义一个可为任意类型的返回值。但是我们能够返回一个序列类型的对象，来实现返回多个值的效果。Exa
系统 2019-09-27 17:56:49 1731
创建爬虫目录：scrapystartprojectspiderName调试命令scrapyshell网站名调试命令可直接进行css和xpath的调试；成功执行命令之后可使用：response.xpath(xpath表达式)获取所需的内容。xpath说明：XPath是一门在XML文档中查找信息的语言表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//不考虑位置选择节点//div.选取当前节点./div…选取当
系统 2019-09-27 17:56:45 1731
#把解决一类问题的模块放在同一个文件夹里——包policy.get()importosos.makedirs('glance/api')os.makedirs('glance/cmd')os.makedirs('glance/db')l=[]l.append(open('glance/__init__.py','w'))l.append(open('glance/api/__init__.py','w'))l.append(open('glance/api
系统 2019-09-27 17:56:42 1731
本人财务狗一枚，编程基础为0。因为提升工作效率的主观愿望（备注：懒），准备开始学点python。因为平时比较忙（事多），可能更新的非常慢，估计2019年11月开始正式学习更新。给自己立个flag，主要学习内容两个：（1）提升办公效率（2）pandas库学习day1基础软件安装安装anaconda\pycharm\cmder软件介绍：Pycharm是集成开发环境（操作平台），Anaconda是集成环境管理器（库包）,cmder好用的程序操作命令参考文档：Py
系统 2019-09-27 17:56:37 1731
目录第十五章、python中的进程操作-开启多进程一、multprocess模块二、multprocess.process模块三、Process()对象方法介绍四、Process()对象属性介绍五、使用process模块创建进程六、进程之间的数据隔离问题七、守护进程八、terminate方法九、pid和name属性第十五章、python中的进程操作-开启多进程一、multprocess模块multiprocess不是一个模块而是python中一个操作、管理
系统 2019-09-27 17:56:35 1731
Python中的上下文管理器，实际上就是实现了上下文管理协议的对象。在Python中打开文件的时候，我们需要确保文件被使用完毕之后，对其进行关闭操作——调用文件对象的close()方法。如果不使用上下文管理器，经典的处理方式就是将close()方法的调用放在一个finally语句中：f=open("www.log")try:print("dosomethingwithfile")finally:f.close()这里finally的唯一作用就是确保文件对象
系统 2019-09-27 17:56:31 1731
