搜索到与相关的文章
Python

python使用scrapy自动爬取多个网页

前面介绍的scrapy爬虫只能爬取单个网页。如果我们想爬取多个网页。比如网上的小说该如何如何操作呢。比如下面的这样的结构。是小说的第一篇。可以点击返回目录还是下一页对应的网页代码:我们再看进入后面章节的网页,可以看到增加了上一页对应的网页代码:通过对比上面的网页代码可以看到.上一页,目录,下一页的网页代码都在下的元素的href里面。不同的是第一章只有2个元素,从二章开始就有3个元素。因此我们可以通过下元素的个数来判决是否含有上一页和下一页的页面。代码如下最

系统 2019-09-27 17:53:35 2513

Python

【Python】变量、关键字

微信订阅号:Rabbit_svip变量就是可变的量。在Python中使用变量时,要遵守一些规则和指南。变量名只能包含字母、数字和下划线。变量名可以字母或下划线打头,但不能以数字打头。变量名不能包含空格,但可以使用下划线来分隔其中的单词。不要将Python关键字和函数名用作变量名。变量的声明和赋值在Python中声明变量并赋值很简单。message="HelloPython!"上面的例子中,message就是变量名;等号右边就是值。把值赋给变量。变量名=值这

系统 2019-09-27 17:52:34 2513

Python

解决win7操作系统Python3.7.1安装后启动提示缺少.dll文件问题

错误提示图片首先,我的操作系统是win7旗舰版,安装Python3.7.1之后启动时,提示如图错误,网上比较多的是两种处理方法:(1)安装Windows补丁程序(2)安装VCredit.exe第一种方案我这边下载了KB3118401、KB2999226,但是双击安装的时候安装不了;第二种方案大家都推荐的是安装v++2015,也安装成功了,但是安装后仍然报错。然后看着网上的推荐时间都比较早,我这边考虑是不是安装2017版本的会解决问题,因为2017除了兼容2

系统 2019-09-27 17:52:21 2513

Python

Python照片合成

文章目录前言Github效果实现过程整体代码前言看电影的时候发现一个照片墙的功能,觉得这样生成照片挺好玩的,于是就动手用Python做了一下,觉得用来作照片纪念的效果可能会不错。Githubhttps://github.com/jiandi1027/photo.git效果实现过程1.获取图片文件夹的图片个数N,将底图拆分成XY块区域,且使X*Y(为了保证整体的协调,会舍弃几张图片,比如5张时可能只取22的4张图片)#打开图片base=Image.open(

系统 2019-09-27 17:50:27 2513

Python

Python字体反爬教科书级别的网站-猫眼电影

一.问题可以看到,猫眼网电影评分,票房等的数据在响应的html中并不是直接提供给你的。这里的xefcf,xef87等数据,是以‘特殊符号’的形式显示出来的。可以发现这里请求了一个woff字体文件,而xefcf,xef87等数据的规则就是在这其中的。所以我们只需要在请求这个网页的同时,截去这部分style,然后获得woff地址,将它下载到本地,进行解析,就可以实现对评分的解密了。但是再来看下面,当同一部电影的页面刷新时。这里的评分编码改变了,下面请求的wof

系统 2019-09-27 17:50:24 2513

Python

深入讲解Python中面向对象编程的相关知识

Python从第一天开始就是面向对象的语言。正因为如此,创建和使用类和对象是非常地容易。本章将帮助您在使用Python面向对象编程的技术方面所有提高。如果没有任何以往面向对象(OO)的编程的经验,那么可能要了解一些基本的入门课程就可以了,或者至少某种形式的教程,让你有了解基本概念。但是,这里会比较少地介绍面向对象编程(OOP):OOP术语概述类:用户定义的原型对象,它定义了一套描述类的任何对象的属性。属性是数据成员(类变量和实例变量)和方法,通过点符号访问

系统 2019-09-27 17:46:21 2513

Python

Python multiprocessing.Manager介绍和实例(进程间

Python中进程间共享数据,处理基本的queue,pipe和value+array外,还提供了更高层次的封装。使用multiprocessing.Manager可以简单地使用这些高级接口。Manager()返回的manager对象控制了一个server进程,此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全。Manager支持的类型有list,dict,Namespace,Lock,RLock,Semap

系统 2019-09-27 17:38:03 2513

编程技术

flash中Window 组件的使用及实例

使用[1u][1b]Window[/1b][/1u]组件您需要向用户提供信息或最优先的选择时,您都可以在应用程序中使用一个窗口。例如,您可能会需要和表单、其它的组件组合使用。将窗口添加到应用程序有几种方式。您可以将窗口从“组件”面板拖动到舞台。您也可以通过调用createClassObject()(请参阅UIObject.createClassObject())将窗口添加到应用程序。将窗口添加到应用程序的第三种方法是使用PopUpManager类。使用Po

系统 2019-08-29 23:35:18 2513

编程技术

第一次亲密接触--思维导图MindMap-改变工作

前几天在做培训的教学项目和实践项目设计的时候,一直在思考,设计什么样的项目既能锻炼学员对技术点的学习,又会可以建立一个完整的知识体系,将所学的知识融会贯通,甚至能促进学员以后的成长。结合自己的工作经验,仔细分析了一下,发现自己曾经参与过的IT知识管理系统设计,并在那时建立了一套个人知识管理的体系,一直延用至今,对自己的帮助非常大。那么这个人知识管理系统PKM也许是一个很好的尝试,首先通过这个系统的开发,可以锻炼学员知识的掌握,其次,通过开发过程中的个人知识

系统 2019-08-29 23:33:16 2513