创建爬虫目录:scrapystartprojectspiderName调试命令scrapyshell网站名调试命令可直接进行css和xpath的调试;成功执行命令之后可使用:response.xpath(xpath表达式)获取所需的内容。xpath说明:XPath是一门在XML文档中查找信息的语言表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//不考虑位置选择节点//div.选取当前节点./div…选取当
系统 2019-09-27 17:56:45 2075
什么是闭包?简单说,闭包就是根据不同的配置信息得到不同的结果。再来看看专业的解释:闭包(Closure)是词法闭包(LexicalClosure)的简称,是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在,即使已经离开了创造它的环境也不例外。所以,有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。延迟绑定Python闭包函数所引用的外部自由变量是延迟绑定的。PythonIn[2]:defmultipliers():...:ret
系统 2019-09-27 17:56:25 2075
生成器在Python中,使用了yield的函数被称为生成器(generator)。生成器是一个返回迭代器的函数,只能用于迭代操作,更简单点理解生成器就是一个迭代器。在调用生成器运行的过程中,每次遇到yield时函数会暂停并保存当前所有的运行信息,返回yield的值,并在下一次执行next()方法时从当前位置继续运行。调用一个生成器函数,返回的是一个迭代器对象。列表推导式空间开销大占用内存耗时大,.生成器保存的是算法,而列表保存的计算后的内容,所以同样内容的
系统 2019-09-27 17:56:08 2075
安装urllib库更适合写爬虫文件,scrapy更适合做爬虫项目。步骤:先更改pip源,国外的太慢了,参考:https://www.jb51.net/article/159167.htm升级pip:python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目:scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2075
最近想备份网站,但是php下载文件的大小是有大小限制的,而我也懒得装ftp再下载了,就想着暂时弄个二级域名站,然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。(0-0就是这么任性)1.安装requests库pipinstallrequests2.下载文件夹下所有文件及文件夹这里需要处理的地方主要是文件夹,这里我们判断出该链接是文件夹时,自动创建文件夹,并递归继续进行操作,否则判断该链接是文件,直接使用req
系统 2019-09-27 17:55:48 2075
Virtualenv我们都知道Python开发项目很容易,项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目,但是由于我们每个项目情况都有些不一样。比如今天可能用的是Django1.8,明天可能用的是Django2.1。如果不进行环境隔离全局安装就会导致包的冲突,依赖不同,出现问题。这个时候每个应用都需要一套「独立」的Python运行环境。而Virtualenv就是拿来为应用创建这一套「隔离」的Python运行环境。首先用pip安装pipi
系统 2019-09-27 17:55:33 2075
目录├─第1节数据结构和算法基础│├─01.算法引入││1-算法引入│││├─02.时间复杂度和大O表示法││01-时间复杂度与大O表示法││02-最坏时间复杂度与计算规则││03-常见时间复杂度与大小关系│││├─03.Python列表和字典││01-代码执行时间测量模块timeit││02-Python列表类型不同操作的时间效率││03-Python列表与字典操作的时间复杂度│││└─04.数据结构引入│01-数据结构引入│├─第2节顺序表│├─01.
系统 2019-09-27 17:55:12 2075
email示例:#-*-coding:utf-8-*-fromemail.mime.textimportMIMETextfromemail.utilsimportformataddrfromemail.mime.applicationimportMIMEApplicationfromemail.mime.multipartimportMIMEMultipartimportsmtplib#发邮件人邮箱账号my_mail='liujun@021.com'#pa
系统 2019-09-27 17:54:17 2075
这次用Python实现的是一个接球打砖块的小游戏,需要导入pygame模块,有以下两条经验总结:1.多父类的继承2.碰撞检测的数学模型知识点稍后再说,我们先看看游戏的效果和实现:一、游戏效果二、游戏代码#导入模块importpygamefrompygame.localsimport*importsys,random,time,mathclassGameWindow(object):'''创建游戏窗口类'''def__init__(self,*args,**
系统 2019-09-27 17:54:09 2075
问题描述:将python脚本设置成开机自启。环境:windows764位前段时间,一直想把文件打包成exe文件,然后设置成开机自启,虽然感觉很装逼,但是使用pyinstaller打包成exe文件的历程却是非常坎坷,一改脚本或者导入一个新的库,打包就出现各种报错,各种问题,最后博主实在找不到解决办法之后放弃了,谁知突然间却看到有博客说能直接把py程序设成开机自启,真是开心,下面说明一下操作步骤:(1)首先,需要新建一个.bat文件(用来运行脚本),格式如下,
系统 2019-09-27 17:53:41 2075