编程技术 - 军军小站|张军博客
Python

Python 爬虫多线程详解及实例代码

python是支持多线程的,主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用。虽然python的多线程受GIL限制,并不是真正的多线程,但是对于I/O密集型计算还是能明显提高效率,比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取,并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim

系统 2019-09-27 17:37:56 1815

编程技术

宏定义

得到指定地址上的一个字节或字#defineMEM_B(x)(*((byte*)(x)))#defineMEM_W(x)(*((word*)(x)))求最大值和最小值#defineMAX(x,y)(((x)>(y))?(x):(y))#defineMIN(x,y)(((x)<(y))?(x):(y))得到一个field在结构体(struct)中的偏移量#defineFPOS(type,field)((dword)&((type*)0)->field)得到一个

系统 2019-08-29 22:56:35 1815

编程技术

我的书籍--持续更新中

:还没买,:已经买了Linux方面:《Linux操作系统之奥秘》()《UNIX操作系统设计》()鸟哥的Linux私房菜——服务器架设篇(第二版)()C++:《C++primer》()C语言:《C和指针》()操作系统:《操作系统概念》()算法:《算法导论》()MySQL:《MySQL权威指南》《MySQL性能调优与架构设计》Spring:《SpringinAction》()我的书籍--持续更新中

系统 2019-08-29 22:38:41 1815

编程技术

电脑公司纯净版GHOST_XP_SP3_V12

电脑公司纯净版GHOST_XP_SP3_V12,深度系统盘下载,深度一键还原软件授权:免费软件软件类型:Ghostxp系统运行环境:Win98/NT/2000/XP/2003软件大小:565.65MB软件语言:简体中文下载地址:http://www.xpshendu.cn/shenduxp/197.htm(推荐)thunder://QUFodHRwOi8vZG93bi54cHNoZW5kdS5jbi9HSE9TVFhQX1NQM2RvbmdoYWl0ZWJ

系统 2019-08-29 22:27:40 1815

编程技术

To套 or Not to 套? This is a question.

老张:我感觉,我这戴上套子好丑啊。你那也挺丑的吧?老王:我也是这个感觉,套子好丑啊。我靠!还是老程那个好看。老张:老程你没戴套子吧?老程:我戴套子了,好吧!老张:??老吴:你说老程没戴套子。老王:哦......老张::-/PS:其实讨论的主题是魅族系列MP3的硅胶套美观问题。To套orNotto套?Thisisaquestion.

系统 2019-08-29 22:17:14 1815

编程技术

美刊评出2009年度十大发明

年年月月,都有无数发明狂人在忙碌。他们可能无法治愈白血病或者送宇航员上火星,但其作品对现实的影响一样深远。美国《大众科学》杂志据此评选出2009年度十大发明,包括使用整形技术不会污染水质的鱼饵、隔热防火的蘑菇墙板、世界上速度最快的坦克、利用汽车颠簸发电的减震器、帮助截瘫患者重新行走的“机器腿”、让护士不再为寻找静脉苦恼的新式导管……01摩天大楼逃生轮名称:RescueReel研发成本:33.5万美元耗时:6年“9·11”发生后,凯文·斯通(KevinSto

系统 2019-08-29 22:03:35 1815

编程技术

我们应当怎样做需求分析:原文分析法

原文分析法(TextualAnalysis),是在用例说明与流程分析的基础上进行的业务领域分析,是一项在需求研讨会后整理和分析需求的工作。当我们完成了用例图的绘制,为每个用例编写出用例说明以后,原文分析的工作就可以开始了。要讲解原文分析,我们还是用一个实例更简单明了:这是一个实际项目的用例说明。在进行原文分析的时候,我们首先要做的事情就是对用例说明中事件流部分的文字描述,提取其中的名词。在这个实例中都有些什么名词呢?这些名词我在用例中用蓝色标注了出来,经过

系统 2019-08-29 21:59:10 1815

Python

Python爬虫包 BeautifulSoup 递归抓取实例详解

Python爬虫包BeautifulSoup递归抓取实例详解概要:爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容,然后分析页面内容并找到另一个URL,然后获得这个URL的页面内容,不断重复这一个过程。让我们以维基百科为一个例子。我们想要将维基百科中凯文・贝肯词条里所有指向别的词条的链接提取出来。#-*-coding:utf-8-*-#@Author:HaonanWu#@Date:2016-12-2510

系统 2019-09-27 17:56:47 1814

Python

Python数据可视化matplotlib.pyplot

1.安装matplotlibpipinstallmatplotlib2.绘制简单图形importmatplotlib.pyplotasplt#图形输入值input_values=[1,2,3,4,5]#图形输出值squares=[1,4,9,16,25]#plot根据列表绘制出有意义的图形,linewidth是图形线宽,可省略plt.plot(input_values,squares,linewidth=5)#设置图标标题plt.title("Square

系统 2019-09-27 17:55:03 1814

Python

老生常谈Python之装饰器、迭代器和生成器

在学习python的时候,三大“名器”对没有其他语言编程经验的人来说,应该算是一个小难点,本次博客就博主自己对装饰器、迭代器和生成器理解进行解释。为什么要使用装饰器什么是装饰器?“装饰”从字面意思来谁就是对特定的建筑物内按照一定的思路和风格进行美化的一种行为,所谓“器”就是工具,对于python来说装饰器就是能够在不修改原始的代码情况下给其添加新的功能,比如一款软件上线之后,我们需要在不修改源代码和不修改被调用的方式的情况下还能为期添加新的功能,在pyth

系统 2019-09-27 17:54:20 1814

Python

python将类似json的数据存储到MySQL中的实例

由于之前对于爬取下来的数据都是存入MongoDB中,想起来还没有尝试存入MySQL,于是将一篇简单的文章爬取下来,存入MySQL试试这里用到的python模块是pymysql,因为MySQLdb之前已经停止维护首先在cmd中连接MySQL并且创建一个数据库json在图形化界面workbench中可以看到接下来就要在pycharm中写代码了,在pycharm中导入pymysql后即可#建立python与MySQL之间的连接mysql=pymysql.conn

系统 2019-09-27 17:53:26 1814

Python

python2 与python3的print区别小结

在Python2和Python3中都提供print()方法来打印信息,但两个版本间的print稍微有差异主要体现在以下几个方面:1.python3中print是一个内置函数,有多个参数,而python2中print是一个语法结构;2.Python2打印时可以不加括号:print'helloworld',Python3则需要加括号print("helloworld")3.Python2中,input要求输入的字符串必须要加引号,为了避免读取非字符串类型发生的

系统 2019-09-27 17:52:34 1814

Python

Python 实现elasticsearch group by

es实现聚合es通过agg实现聚合,详情可见es文档有时候查询es数据的时候可能需要实现多字段groupby的功能,例如:SELECTsum(item_count)fromAgroupbyfield1,field2,field3要实现多个维度的聚合,需要嵌套的agg查询语句:{"query":{},"aggs":{"field1":{"terms":{"field":"field1","size":2147483647#设置一个大的分桶数,防止一次统计不完

系统 2019-09-27 17:51:32 1814

Python

Ubuntu18.04下python版本完美切换的解决方法

ubuntu18.04版本,python版本python2.7,python3.5,python3.6因为安装一些库会安装到python3.6上,而默认使用的是python2.7,使用python3,默认会使用python3.5,无法调用安装包。解决方法:一、使用pythonxx.py运行程序时,加上版本号。比如python3.6xx.py二、1.要以root身份操作yz@yz-pc:~$sudosu2.确认本机下的python默认版本。调出终端,输入py

系统 2019-09-27 17:51:04 1814

Python

python+numpy实现的基本矩阵操作示例

本文实例讲述了python+numpy实现的基本矩阵操作。分享给大家供大家参考,具体如下:#!usr/bin/envpython#coding:utf-8#学习numpy中矩阵的代码笔记#2018年05月29日15:43:40#参考网站:http://cs231n.github.io/python-numpy-tutorial/importnumpyasnp#==================矩阵的创建,增删查改,索引,运算===============

系统 2019-09-27 17:49:00 1814