- 军军小站|张军博客
搜索到与相关的文章
Python

【Python3爬虫】快就完事了--使用Celery加速你的爬虫

一、写在前面在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务,是可以用Celery来做到加速爬取的,那么,这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速!二、知识补充1.classcelery.groupgroup这个类表示创建一组要并行执行的任务,不过一组任务是懒惰的,所以你需要运行并对其进行评估。要了解这个类,可以查看文档,或者在Pycharm中直接Ctrl+左键就能直接查看源码了,如下图:当然了,直接看源码还不够,最好

系统 2019-09-27 17:48:01 1998

Python

Python实现基本线性数据结构

数组数组的设计数组设计之初是在形式上依赖内存分配而成的,所以必须在使用前预先请求空间。这使得数组有以下特性:1、请求空间以后大小固定,不能再改变(数据溢出问题);2、在内存中有空间连续性的表现,中间不会存在其他程序需要调用的数据,为此数组的专用内存空间;3、在旧式编程语言中(如有中阶语言之称的C),程序不会对数组的操作做下界判断,也就有潜在的越界操作的风险(比如会把数据写在运行中程序需要调用的核心部分的内存上)。因为简单数组强烈倚赖电脑硬件之内存,所以不适

系统 2019-09-27 17:46:17 1998

Python

在linux的终端退出python命令行的方法

如下所示:Python2.7.7(default,Jun32014,01:46:20)[GCC4.9.020140521(prerelease)]onlinux2Type"help","copyright","credits"or"license"formoreinformation.>>>quitUsequit()orCtrl-D(i.e.EOF)toexit>>>使用quit(),exit(),或者Ctrl-D退出命令行。以上这篇在linux的终端退出

系统 2019-09-27 17:38:30 1998

Python

一些常用的Python爬虫技巧汇总

Python爬虫:一些常用的爬虫技巧总结爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。1、基本抓取网页get方法importurllib2url"http://www.baidu.com"respons=urllib2.urlopen(url)printresponse.read()post方法importurllibimporturllib2url="http://abcde.com"form={'name':'abc','pass

系统 2019-09-27 17:38:00 1998

Python

Python如何实现文本转语音

准备我测试使用的Python版本为2.7.10,如果你的版本是Python3.5的话,这里就不太适合了。使用SpeechAPI原理我们的想法是借助微软的语音接口,所以我们肯定是要进行调用相关的接口。所以我们需要安装pywin32来帮助我们完成这一个底层的交互。示例代码importwin32com.clientspeaker=win32com.client.Dispatch("SAPI.SpVoice")speaker.Speak("Hello,itwork

系统 2019-09-27 17:37:43 1998

编程技术

Win32 OpenGL编程(12) 混合及半透明效果

writeby九天雁翎(JTianLing)--blog.csdn.net/vagrxie讨论新闻组及文件Technorati标签:混合,blend,半透明,OpenGL,3D,graphic,programming人类所有的力量,只是耐心加上时间的混合。——巴尔扎克混合的力量是很强大的,就如巴尔扎克所言,而图形处理中很多有趣且实用的效果在OpenGL中其实都可以用混合来实现,比如最最常用的半透明效果,这种效果在compiz的3D桌面效果中得到了极致的发挥

系统 2019-08-29 23:53:23 1998

编程技术

poi操作Excel设置单元格格式

目的:导出的Excel模板,某些单元格要是文本形式,如下图我之前想当然的用cell.setCellType(HSSFCell.CELL_TYPE_STRING),但是发现没有效果。实际POI对Excel单元格格式的设置是用HSSFDataFormat这个类。如下代码可以实现设置为文本格式:HSSFCellStylecellStyle=workbook.createCellStyle();HSSFDataFormatformat=workbook.creat

系统 2019-08-29 23:33:06 1998

编程技术

TD-SCDMA试验网综合告警系统分析

1、TD-SCDMA试验网管系统现状中国移动在北京、上海、天津、沈阳、广州、深圳、秦皇岛、厦门8个城市建设了TD-SCDMA试验网,目前,TD-SCDMA试验网综合网管系统已进入全面上线测试阶段。TD-SCDMA试验网管系统采用总部和省级两级体系架构。通过改造现有总部网管系统,各省在现有话务网管系统上进行升级与扩容,全面实现针对TD-SCDMA试验网的资源管理、性能管理、告警管理、统计分析等功能,确保试验网质量迅速达到商用要求。TD-SCDMA综合网管系统

系统 2019-08-29 22:57:38 1998

编程技术

SQL经验分享(三):获取用户信息

3.获取用户信息3.1语法:selectuser_name()as'user',suser_sname()as'login',host_name()as'workstation',app_name()as'application'在本台电脑的执行结果:3.2语法解释selectuser_name():用来返回单签用户的数据库用户名suser_sname():返回用户向sqlserver验证身份时使用的登录名host_name():返回用户工作站名称app_

系统 2019-08-29 22:37:48 1998

编程技术

DWR帮助说明-如何编写通用的单行编辑框

也许朋友们会以为这是DWR官方发布的什么帮助,但非常遗憾这不是。现在不少朋友在使用DWR开发项目,我也是其中之一,但苦于关于DWR的帮助文档实在太少,很多问题都不得不自己去钻研DWR的源码才能解决或理解。经过一段时间的苦苦钻研,总结出那么一点点心得,现在从DWR源码实现的角度详细讲解DWR的使用,写出来与大家分享。今天我谈一谈如何编写通用的单行编辑框。当我们需要编辑某行数据的时候,可以将该行的数据设置到一个已经设计好的单行编辑框中进行编辑。在编辑完成以后,

系统 2019-08-29 22:25:00 1998