搜索到与相关的文章
Python

python多协程爬虫示例

写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时,原来用for循环一个网站一个网站按循序顺序爬,就像先烧饭后烧菜,两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序,就像边烧饭边烧菜,两个步骤同步进行,速度自然快了。不多说了,来看下代码吧:fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁,下面的程序就可以执行多协程了importrequests,geven

系统 2019-09-27 17:47:59 2188

Python

python爬虫 requests基本用法

一些基本用法,ssl证书和身份认证是尚未验证的importrequestsheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)''AppleWebKit/537.36(KHTML,likeGecko)Chrome/74.0.3729.169Safari/537.36',#'Cookie':'XXXXXXXXXXXXXXXX'}#取得图片#res=requests.get("https://p

系统 2019-09-27 17:47:54 2188

Python

Python Subprocess模块原理及实例

前言其实有一个模块也支持执行系统命令,那个模块就是sys.system,但他执行系统命令会直接通过主进程去执行命令,那假如,该命令的执行需要耗费一个小时,那么主进程会卡一个小时,而不会去干别的事,这样就会导致程序的运行效率低下。如果由subprocess去执行系统命令的时候并不会让主进程去执行,而是主进程会开辟出一个子进程去执行,并不会影响到主进程的运行,主进程该干嘛就干嘛,那么又有个问题,大家都知道进程之间的内存空间是独立的,也就是说进程之间是不能相互访

系统 2019-09-27 17:47:47 2188

Python

python虚拟环境的安装和配置(virtualenv

一、为什么要安装虚拟环境情景一、项目A需要某个库的1.0版本,项目B需要这个库的2.0版本。如果没有安装虚拟环境,那么当你使用这两个项目时,你就需要来回的卸载安装了。情景二,项目A需要python2.7环境下运行,项目B需要在python3.6环境运行,如果使用虚拟环境可以分别为这两个项目配置不同的运行环境总的来说:virtualenv是一个创建隔绝的Python环境的工具,能为每一个python项目创建独立的,定制的环境二、安装步骤1、现在电脑上安装你需

系统 2019-09-27 17:47:45 2188

Python

Python标准库与第三方库详解

本文详细罗列并说明了Python的标准库与第三方库如下,供对此有需要的朋友进行参考:Tkinter――――Python默认的图形界面接口。Tkinter是一个和Tk接口的模块,Tkinter库提供了对TkAPI的接口,它属于Tcl/Tk的GUI工具组。Tcl/Tk是由JohnOusterhout发展的书写和图形设备。Tcl(工具命令语言)是个宏语言,用于简化shell下复杂程序的开发,Tk工具包是和Tcl一起开发的,目的是为了简化用户接口的设计过程。Tk工

系统 2019-09-27 17:47:15 2188

Python

用于Python文件转换.exe文件的pyinstaller工具安装

安装方法:注:python环境一定要配置好。1.第一步:下载官方网站:http://www.pyinstaller.org/downloads.html此处下载版本为稳定版。2.第二步:下载完成后解压,打开cmd。例如:我的在F盘根目录下。可更换目录,建议不要有目录不要带有中文。上图:关键安装命令。下图:安装过程图。注意命令的空格,下面夸张了下空格间距,每次空格也仅需按一次。(1)cdF:\pyinstaller-develop\bootlaoder(进入

系统 2019-09-27 17:47:11 2188

Python

如何集成Python代码和GUI来创建一个简单的游戏?

您不需要集成任何内容。您可以使用pygame屏幕作为GUI。公平警告:它没有内置功能,如按钮或弹出窗口。每次都需要硬编码。通过集成,如果你的意思是python代码的结果应该显示在屏幕上,那么这将发生。如果要将另一个python文件导入pygame文件,只需在文件顶部输入importfilename即可。如果你的意思是象国际象棋所需的复杂的GUI,那么我担心这是不可能的。我建议在Javascript中使用它。你如何在python中创建GUI?要显示图像:im

系统 2019-09-27 17:47:07 2188

Python

深入Python函数编程的一些特性

绑定细心的读者可能记得我在第1部分的函数技术中指出的限制。特别在Python中不能避免表示函数表达式的名称的重新绑定。在FP中,名称通常被理解为较长表达式的缩写,但这一说法暗示着“同一表达式总是求出相同的值”。如果标记的名称重新被绑定,这一暗示便不成立。例如,让我们定义一些在函数编程中要用到的快捷表达式,比如:清单1.以下PythonFP部分的重新绑定要造成故障>>>car=lambdalst:lst[0]>>>cdr=lambdalst:lst[1:]>

系统 2019-09-27 17:47:05 2188

Python

python动态网页批量爬取

四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信网,好了,网站截图如下:网站的代码如下:准考证号:请输入15位准考证号姓名:姓名超过3个字,可只输入前3个由图中可以看出表单提交的链接为/cet/query,即:http://www.chsi.com.cn/cet/query,好了,填写表单和结果如下:

系统 2019-09-27 17:38:16 2188

编程技术

穿越红尘不扰关,回旋天地去复还

实在不好意思,前一段我家老爷子住院做了个颈椎手术,最近他老人家身体好了(刚刚和母上逛公园去了),我也就闲下来了。很长时间没上博客,也没有读任何邮件,非常对不住大家,这两天我会补回来。——————————————————————————————————————————————————不过,这段时间小弟并非什么都没干,话说LGame的0.3.3正式版,已经到了整理下代码就能发的程度了,顺便传两张图。我对Java版也做了一些修正,比如小弟最近将ADT升级到2.0

系统 2019-08-29 23:43:22 2188