- 军军小站|张军博客
搜索到与相关的文章
Python

python爬虫第11关 协程

协程是什么我们已经做过不少爬虫项目,不过我们爬取的数据都不算太大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很久,我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取?这样无疑能提高爬取的效率,就像一个人干不完的活儿,组个团队一起干,活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢?我们可以先别急着想怎么实现这件事,后

系统 2019-09-27 17:50:16 1733

Python

Python中函数的多种格式和使用实例及小技巧

这里先解释一下几个概念-位置参数:按位置设置的参数,隐式用元组保存对应形参.平时我们用的大多数是按位置传参.比如有函数deffunc(a,b,c),调用func(1,2,3).即a=1,b=2,c=3-关键字参数:可以通过关键字设置参数,不用关心参数位置,隐式用字典保存形参.比如有函数deffunc(a,b,c),调用func(b=1,c=2,a=3),即a=3,b=1,c=2普通格式复制代码代码如下:deffunc(opt_args):...return

系统 2019-09-27 17:50:13 1733

Python

python生成requirements.txt方法

python项目如何在另一个环境上重新构建项目所需要的运行环境依赖包?使用的时候边记载是个很麻烦的事情,总会出现遗漏的包的问题,这个时候手动安装也很麻烦,不能确定代码报错的需要安装的包是什么版本。这些问题,requirements.txt都可以解决!生成requirements.txt,有两种方式:第一种适用于单虚拟环境的情况::pipfreeze>requirements.txt为什么只适用于单虚拟环境?因为这种方式,会将环境中的依赖包全都加入,如果使用

系统 2019-09-27 17:50:13 1733

Python

Python 程序如何高效地调试?

Python在debug方面的支持还是不错的,在明确代码意义的情况下,通过log、print和assert分析错误原因,配合单元测试可以很高效。然而,实际工作中大量代码很可能出自他人之手,这种情况下,使用debugger就显得更加高效了。一、在控制台下进行程序调试PDB如果你熟悉命令行调试工具(例如gdb、lldb),那么使用Python中的PDB将获得非常好的体验,PDB不仅支持项目启动时进行调用,也支持在Pythonshell中交互式调试;功能上,支持

系统 2019-09-27 17:50:11 1733

Python

Python多版本开发环境管理工具介绍

前言在Python开发中,有些情况下,我们可能面临在一台机器上同时安装多版本Python的需求。比如:有多个Python项目,每个项目依赖不同的Python版本。有一个Python项目,它需要同时支持多个Python版本。那么,如何高效地在单台机器上实现多个版本Python(具体来说,这里Python指的是Python解释器)的安装和维护呢?除此之外,我们还可能面临在一台机器上安装多个版本的某个Python第三方库的需求。比如:有多个Python项目,每个

系统 2019-09-27 17:50:01 1733

Python

在Python中使用itertools模块中的组合函数的教程

理解新概念PythonV2.2中引入了迭代器的思想。唔,这并不十分正确;这种思想的“苗头”早已出现在较老的函数xrange()以及文件方法.xreadlines()中了。通过引入yield关键字,Python2.2在内部实现的许多方面推广了这一概念,并使编程定制迭代器变得更为简单(yield的出现使函数转换成生成器,而生成器反过来又返回迭代器)。迭代器背后的动机有两方面。将数据作为序列处理通常是最简单的方法,而以线性顺序处理的序列通常并不需要都同时实际存在

系统 2019-09-27 17:49:57 1733

Python

Python时间模块小结(time and datetime)

表示时间的三种方式在Python中,通常有三种方式表示时间:时间戳,元祖(struct_time),格式化时间字符串。时间戳(timestamp):1970年1月1日00:00:00开始按秒计算的偏移量,type(time.time())float类型格式化时间字符串(FormatString):'1999-12-06'时间元组(stuct_time):共有9个元素(年月日时分秒,一年中的第几周,一年中第几天等)几种时间格式的转换#结构化时间-->%a%b

系统 2019-09-27 17:49:55 1733

Python

详解Python3注释知识点

Python3注释确保对模块,函数,方法和行内注释使用正确的风格Python中的注释有单行注释和多行注释:Python中单行注释以#开头,例如::#这是一个注释print("Hello,World!")多行注释用三个单引号'''或者三个双引号"""将注释括起来,例如:1、单引号(''')#!/usr/bin/python3'''这是多行注释,用三个单引号这是多行注释,用三个单引号这是多行注释,用三个单引号'''print("Hello,World!")2、

系统 2019-09-27 17:49:52 1733

Python

Python学习笔记(一)初识Python以及安装Python

一、Python简介1.Python发展史Python是由GuidovanRossum在八十年代末和九十年代初,在荷兰国家数学和计算机科学研究所设计出来的。Python本身也是由诸多其他语言发展而来的,这包括ABC、Modula-3、C、C++、Algol-68、SmallTalk、Unixshell和其他的脚本语言等等。像Perl语言一样,Python源代码同样遵循GPL(GNUGeneralPublicLicense)协议。现在Python是由一个核心

系统 2019-09-27 17:49:50 1733

Python

Python学习——9.文件

文件基本语法file=open(‘文件名’,mode)编码encoding=‘utf8’读模式存在返回True,否则抛出异常FileNotFoundError写模式存在返回True,否则新建文件mode读r写w追加a二进制b读写+操作读取所有内容read()读取一行readline()读取所有行列表readlines()关闭文件close()自动关闭withopen(目标文件)asf:存取Python对象pickle写对象dump(对象,目标文件)读对象l

系统 2019-09-27 17:49:39 1733