Scrapy是一个开源的Python数据抓取框架,速度快,强大,而且使用简单。来看一个官网主页上的简单并完整的爬虫:虽然只有10行左右的代码,但是它的确是一个完整的爬虫服务:当执行scrapyrunspiderxxx.py命令的时候,Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求,然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中,
系统 2019-09-27 17:53:38 2118
从我开始学习python的时候,我就开始自己总结一个python小技巧的集合。后来当我什么时候在StackOverflow或者在某个开源软件里看到一段很酷代码的时候,我就很惊讶:原来还能这么做!当时我会努力的自己尝试一下这段代码,直到我懂了它的整体思路以后,我就把这段代码加到我的集合里。这篇博客其实就是这个集合整理后一部分的公开亮相。如果你已经是个python大牛,那么基本上你应该知道这里面的大多数用法了,但我想你应该也能发现一些你不知道的新技巧。而如果你
系统 2019-09-27 17:53:38 2118
在Python普通字符串中在Python中,我们用'\'来转义某些普通字符,使其成为特殊字符,比如In[1]:print('abc\ndef')#'\n'具有换行的作用abcdefgIn[2]:print('abc\tdef')#'\t'具有制位符的作用abcdefg我们还可以用'\'来转义特殊字符,使其成为普通字符,比如In[3]:print('abc\\tdef')#使'\'成为一个普通的字符,没有转义作用abc\tdefIn[4]:print('ab
系统 2019-09-27 17:53:25 2118
实验目的:用socket模拟一个微型的web服务器,当py脚本run起后,实微型webserver架起了,然后用本地浏览器访问127.0.0.1:8080(webserver的ip_port)时web服务器就会将网页内容传给浏览器,实现网页浏览.sw+sys:python3.7.2+windows1064bit本地准备的server端网页为下载的hao123主页(我已上载并上传,点击这里)通过这个实验让我学到了:1.当get请求一个主页时,要完整的显示一个
系统 2019-09-27 17:53:23 2118
Python是支持面向对象的,很多情况下使用面向对象编程会使得代码更加容易扩展,并且可维护性更高,但是如果你写的多了或者某一对象非常复杂了,其中的一些写法会相当相当繁琐,而且我们会经常碰到对象和JSON序列化及反序列化的问题,原生的Python转起来还是很费劲的。可能这么说大家会觉得有点抽象,那么这里举几个例子来感受一下。首先让我们定义一个对象吧,比如颜色。我们常用RGB三个原色来表示颜色,R、G、B分别代表红、绿、蓝三个颜色的数值,范围是0-255,也就
系统 2019-09-27 17:53:07 2118
英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance
系统 2019-09-27 17:52:30 2118
目前,Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7,不过,这种情况很快即将结束。去年11月,Numpy团队的一份声明引发了数据科学社区的关注:这一科学计算库即将放弃对于Python2.7的支持,全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具,pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言,如何将已有项目从Python2转向P
系统 2019-09-27 17:52:25 2118
python是一门灵活的语言,也可以说python是一门胶水语言,顾名思义,就是其可以导入各类的包,python的包可以说是所有语言中最多的。当然导入包大部分是为了更快捷,更方便,效率更高。对于刚入门的python爱好者来说最初接触的应该是import直接导入包的方式,例如importtime,就是导入了python的time包,这个包中的方法可以处理大部分我们项目中遇到的关于时间的问题。下面我会详细介绍几种导入包的方式(在开发过程中绝对够用)以及怎样把其
系统 2019-09-27 17:52:19 2118
python中eval函数的用法十分的灵活,这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释:Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系统 2019-09-27 17:52:12 2118
前言Python以其简单易懂的语法格式与其它语言形成鲜明对比,初学者遇到最多的问题就是不按照Python的规则来写,即便是有编程经验的程序员,也容易按照固有的思维和语法格式来写Python代码,有一个外国小伙总结了一些大家常犯的错误,,我把他翻译过来并在原来的基础补充了我的一些理解,希望可以让你避开这些坑。0、忘记写冒号在if、elif、else、for、while、class、def语句后面忘记添加“:”ifspam==42print('Hello!')
系统 2019-09-27 17:50:54 2118