1动机greenlet包是Stackless的副产品，其将微线程称为“tasklet”。tasklet运行在伪并发中，使用channel进行同步数据交换。一个”greenlet”，是一个更加原始的微线程的概念，但是没有调度，或者叫做协程。这在你需要控制你的代码时很有用。你可以自己构造微线程的调度器；也可以使用”greenlet”实现高级的控制流。例如可以重新创建构造器；不同于Python的构造器，我们的构造器可以嵌套的调用函数，而被嵌套的函数也可以yiel
系统 2019-09-27 17:49:28 1897
ProtocolBuffers（类似XML的一种数据描述语言）最新版本2.3里，protoc―py_out命令只生成原生的Python代码。尽管PB（ProtocolBuffers）可以为C++语言生成快速解析和序列化代码，但是这种方式对于Python不适用，并且手动生成的已包装的代码需要非常大的维护工作。在讨论组里，这是一个常见的功能要求，由于一个必备的客户端组件―AppEngine（根据团队介绍名称为AppEngine），生成原生的Python代码有更
系统 2019-09-27 17:49:21 1897
在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目(dmoz)作为我们例子去抓取。这个教材将会带你走过下面这几个方面:创造一个新的Scrapy项目定义您将提取的Item编写一个蜘蛛去抓取网站并提取Items。编写一个ItemPipeline用来存储提出出来的ItemsScrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉
系统 2019-09-27 17:49:18 1897
目录logging模块利用配置加载logger方式一模板：logging.config.dictConfig(config_dict)logging模块利用配置加载loggerlogging.config模块提供了从配置加载创建logger等相关对象，并放入manager对象中进行缓存待用。所以记录下一般几种方式配置的范本模式，方便项目中copy直接修改使用。dictconfigreferences官档关于logging配置字典说明方式一模板：loggin
系统 2019-09-27 17:49:12 1897
【摘要】本节中，我们看一下正则表达式的相关用法。正则表达式是处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然，对于爬虫来说，有了它，从HTML里提取想要的信息就非常方便了。1.实例引入说了这么多，可能我们对它到底是个什么还是比较模糊，下面就用几个实例来看一下正则表达式的用法。打开开源中国提供的正则表达式测试工具http://tool.oschina.net/regex/，输入待匹配的文本，然后选择常用的
系统 2019-09-27 17:48:57 1897
python基础学习笔记（四）2013-04-1823:59虫师阅读(...)评论(...)编辑收藏列表本节继续讨论列表不同元组和字符串的地方：列表是可变的（mutable）----可以改变列表的内容，并且列表有很多有用的、专门的方法。List函数可以将一个字符串拆分成列表。>>>list('chongshi')['c','h','o','n','g','s','h','i']改变列表：元素赋值例如，我们想对一个列表中的某个元素赋值。>>>x=[1,2,3
系统 2019-09-27 17:48:57 1897
python：如何将excel文件转化成CSV格式importpandasaspddata=pd.read_excel('123.xls','Sheet1',index_col=0)data.to_csv('data.csv',encoding='utf-8')将Excel文件转为csv文件的python脚本#!/usr/bin/envpython__author__="lrtao2010"'''Excel文件转csv文件脚本需要将该脚本直接放到要转换的E
系统 2019-09-27 17:48:54 1897
Python是目前最流行的语言之一，它在数据科学、机器学习、web开发、脚本编写、自动化方面被许多人广泛使用。它的简单和易用性造就了它如此流行的原因。在本文中，我们将会介绍30个简短的代码片段，你可以在30秒或更短的时间里理解和学习这些代码片段。1.检查重复元素下面的方法可以检查给定列表中是否有重复的元素。它使用了set()属性，该属性将会从列表中删除重复的元素。defall_unique(lst):returnlen(lst)==len(set(lst)
系统 2019-09-27 17:48:34 1897
在多个文件或者不同语言协同的项目中，python脚本经常需要从命令行直接读取参数。万能的python就自带了argprase包使得这一工作变得简单而规范。PS：optparse包是类似的功能，只不过写起来更麻烦一些。如果脚本很简单或临时使用，没有多个复杂的参数选项，可以直接利用sys.argv将脚本后的参数依次读取(读进来的默认是字符串格式)。比如如下名为test.py的脚本：importsysprint"Inputargumentis%s"%(sys.a
系统 2019-09-27 17:48:12 1897
最近敲代码的时候主要遇到两大问题，第一个是构造自己包的时候找不到package。构造自己package谈两条经验，有助于解决这个问题。1自己构造包的名称尽量不要和Python自带的包重名，起的名字个性化一点。要不然出的bug都不知道错在哪2只要打算把这个文件夹当成一个包，就一定要在这个文件夹同一目录下新建一个__init__.py文件（内容可以为空）一般来说注意这两点，构建包就不成问题。在包的文件夹里面的.py文件称之为模块（文件名就是模块名），当然包里也
系统 2019-09-27 17:48:06 1897
