如果你还在为python的各种urllib和urlibs,cookielib头疼,或者还还在为python模拟登录和抓取数据而抓狂,那么来看看我们推荐的requests,python采集数据模拟登录必备利器!这也是python推荐的HTTP客户端库:本文就以一个模拟登录的例子来加以说明,至于采集大家就请自行发挥吧。代码很简单,主要是展现python的requests库的简单至极,代码如下:s=requests.session()data={'user':'
系统 2019-09-27 17:47:52 1896
logging模块logging模块是一个较庞大的模块。具有较完备的日志体系。主要分为:主体Logger-处理器-格式器logging为python内置模块,无需安装。导入方式:importlogging即可日志等级排序(弱->强)DEBUG
系统 2019-09-27 17:47:07 1896
Python3快速入门(十二)——NumPy一、NumPy简介1、NumPy简介NumPy(NumericalPython)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,同时对数组运算提供了大量的数学函数库。Numpy是一个运行速度非常快的数学库,内部解除了CPython的GIL,运行效率极好,主要用于数组计算,是大量机器学习框架的基础库,NumPy主要包括如下:(1)强大的N维数组对象ndarray(2)广播功能函数(3)整合C/C+
系统 2019-09-27 17:46:28 1896
作用域:顾名思义,作用的范围。如果你是自学者,而且已经进军到函数这一部分了,那么就应当了解下Python的作用域。否则你可能会像我一样,总是对一个变量名同时存在函数内和函数外且有不同值搞的晕头转向。在这里就总结一下,在本人的知识范围内所了解到的作用域是什么样的,LEGB规则到底规定了什么。全局范围的产生(global):我们创建一个xxx.py文件,就是一个模块,这时一个作用域就产生了。这个范围是整个模块,称作Global,全局范围。例如:创建一个文件de
系统 2019-09-27 17:37:48 1896
pandas读取、写入csv数据非常方便,但是有时希望通过excel画个简单的图表看一下数据质量、变化趋势并保存,这时候csv格式的数据就略显不便,因此尝试直接将数据写入excel文件。pandas可以写入一个或者工作簿,两种方法介绍如下:1、如果是将整个DafaFrame写入excel,则调用to_excel()方法即可实现,示例代码如下:#output为要保存的Dataframeoutput.to_excel('保存路径+文件名.xlsx')2、有多个
系统 2019-09-27 17:56:47 1895
通过cmd启动Python需要先设置系统环境,设置步骤如下:1、首先,在桌面找到“计算机”右键找到“属性”或者按下win键再右键“计算机”找到“属性”也可以。如下图所示:2、接下来,点击完“属性”之后,进到如下图所示的界面,选择“高级系统设置”点击完“高级系统设置”之后会弹出系统属性框,所下图所示。选择弹框中“高级”下的“环境变量”点击“环境变量”之后,接下来我们要在“系统变量”里的Path后面加上Python安装路径。注意:在path后面加上一个英文“;
系统 2019-09-27 17:55:32 1895
当我们在写程序的时候,我们需要通过测试来验证程序是否出错或者存在问题,但是,编写大量的测试来确保程序的每个细节都没问题会显得很繁琐。在Python中,我们可以借助一些标准模块来帮助我们自动完成测试过程,比如:unittest:一个通用的测试框架;doctest:一个更简单的模块,是为检查文档而设计的,但也非常适合用来编写单元测试。下面,笔者将会简单介绍这两个模块在测试中的应用。doctestdoctest模块会搜索那些看起来像是python交互式会话中的代
系统 2019-09-27 17:55:06 1895
前言pytest是一款强大的python自动化测试工具,可以胜任各种类型或者级别的软件测试工作。pytest提供了丰富的功能,包括assert重写,第三方插件,以及其他测试工具无法比拟的fixture模型。pytest是一个软件测试框架,是一款命令行工具,可以自动找到测试用例执行,并且回报测试结果。有丰富的基础库,可以大幅度提高用户编写测试用例的效率。具备扩展性,用户可以自己编写插件,或者安装第三方提供的插件。可以很容易地与其他工具集成到一起使用。比如持续
系统 2019-09-27 17:54:49 1895
一、python多线程因为CPython的实现使用了GlobalInterpereterLock(GIL),使得python中同一时刻只有一个线程在执行,从而简化了python解释器的实现,且python对象模型天然地线程安全。如果你想你的应用程序在多核的机器上使用更好的资源,建议使用multiprocessing或concurrent.futures.processpoolexecutor。但是如果你的程序是IO密集型,则使用线程仍然是很好的选择。二、p
系统 2019-09-27 17:54:03 1895
师父布置的任务,让我写一个服务练练手,搞清楚socket的原理和过程后跑了一个小demo,很有成就感,代码内容也比较清晰易懂,很有教育启发意义。代码#coding:utf-8importsocketfrommultiprocessingimportProcessHTML_ROOT_DIR=""defhandle_client(client_socket):"""处理客户端请求"""#获取客户端请求数据request_data=client_socket.r
系统 2019-09-27 17:53:32 1895
方法:使用urlencode函数urllib.request.urlopen()importurllib.requestimporturllib.parseurl='https://www.sogou.com/web?'#将get请求中url携带的参数封装至字典中param={'query':'周杰伦'}#对url中的非ascii进行编码param=urllib.parse.urlencode(param)#将编码后的数据值拼接回url中url+=para
系统 2019-09-27 17:53:16 1895
本文由葡萄城技术团队于原创并首发转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。上一篇我们介绍了在Windows10下进行初学者入门开发Python的指南,在本篇中我们一起看一下看在Windows子系统(WSL)如何使用Python进行Web开发的循序渐进指南。设置开发环境我们建议在生成web应用程序时在WSL上安装Python。Pythonweb开发的许多教程和说明都是针对Linux用户编写的,并使用基于Linu
系统 2019-09-27 17:52:11 1895
有时候,预先不知道函数需要接受多少个实参,好在Python允许函数从调用语句中调用语句中收集任意数量的实参。在参数前加上*号。来看一个制作披萨的函数,它需要接受很多配料,但你无法预先确定顾客要多少种配料。下面的函数只有一个形参*toppings,但不管调用语句提供了多少实参,这个形参都将他们统统收入囊中:defmake_pizza(*toppings):"""打印顾客点的所有配料"""print(toppings)make_pizza('pepperoni
系统 2019-09-27 17:51:16 1895
一、基本概念1.内置的变量类型:Python是有变量类型的,而且会强制检查变量类型。内置的变量类型有如下几种:浮点float_number=2.3复数complex_number=1+5j整型integer_number=1list序列sample_list=[2,52,36,'abc']嵌套sample_nest=[(2,4,6),{5:7,9:11,'key':[2,5]},6]dictionary字典sample_dic={"key":value,5
系统 2019-09-27 17:50:51 1895
python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。smtp协议的基本命令包括:HELO向服务器标识用户身份MAIL初始化邮件传输mailfrom:RCPT标识单个的邮件接收人;常在MAIL命令后面,可有多个rcptto:DATA在单个或多个RCPT命令后,表示所有的邮件接收人已标识,并初始化数据传输,以.结束VRFY用于验证指定的用户/邮箱是否存在;由于安全方面的原因,服务器常禁止此命令EXPN验证给定的邮箱
系统 2019-09-27 17:50:26 1895