拥有Python标签的文章
Python

Python的logging日志打印

Python的print()能够实现将需要的信息输出在控制台上,然而当程序较为复杂,需要将大量的信息记录下来的时候,print的打印就较为不方便,因此Python引入了logging模块来记录一些想要的信息。logging相对print来说更好控制输出在哪个地方,怎么输出及控制消息级别来过滤掉那些不需要的信息。1.logging的级别关系先用一个简单的例子来了解logging的输出以及各级logger=logging.getLogger()logger.s

系统 2019-09-27 17:52:42 2059

Python

python爬虫,处理POST请求

我们在python爬虫写脚本时,往往会遇到些问题,小编前几天也遇到了个小问题。在这里想跟大家分享下,以免大家走更多的弯路列如我要去有道翻译,去爬取我们自己所翻译的东西。importurllib.requestimporturllib.parseurl='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'headers={"User-Agent":"Mozilla/5.0(

系统 2019-09-27 17:52:36 2059

Python

详解Python 定时框架 Apscheduler原理及安装过程

在我们的日常工作自动化测试当中,几乎超过一半的功能都需要利用定时的任务来推动触发,例如在我们项目中有一个定时监控模块,根据自己设置的频率定时跑测试用例,定时检测是否存在线上紧急任务等等,这些都涉及到了有关定时任务的问题,很多情况下,大多数人会选择window的任务计划程序,但如果程序不在window平台下运行,就不能定时启动了;当然也可利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的,但定时任务多了,代码可能看起来不太那么友好且

系统 2019-09-27 17:51:21 2059

Python

聊聊 Python 的单元测试框架(二):nose 和它的继任者 nose2

作者:HelloGitHub-Prodesire文中涉及的示例代码,已同步更新到HelloGitHub-Team仓库一、nosenose是一个第三方单元测试框架,它完全兼容unittest,并且号称是一个更好用的测试框架。那么nose除了具备unittest的所有功能外,还具有哪些优势呢?1.1用例编写用例的编写方式除了编写继承于unittest.TestCase的测试类外,还可以编写成没有继承的测试类。比如,写成如下形式也会被nose视作一个测试类:fr

系统 2019-09-27 17:50:16 2059

Python

Python,Pandas中删除的方法(2), 有示例代码

pandas主要有三个用来删除的函数,.drop()、.drop_duplicates()、.dropna()。总结如下.drop()删除行、列.drop_duplicates()删除重复数据.dropna()删除空值(所在行、列)为避免篇幅太长,将其分为两部分,不想看参数介绍的可以直接看实例。本篇介绍.drop_duplicates(),df.dropnadrop_duplicates()的用法df.drop_duplicates()则通常用于数据去重,

系统 2019-09-27 17:49:32 2059

Python

Python lxml模块安装教程

lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。lxml并不是Python自带的包,而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性,以及纯PythonAPI的简洁性,与大家熟知的ElementTreeAPI兼容但比之更优越!但安装lxml却又有点麻烦,因为存在依赖,直接安装的话用easy_install,pip都不能成功,会报gcc错误。下面列出来Window

系统 2019-09-27 17:46:01 2059

Python

Python多线程爬虫简单示例

python是支持多线程的,主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用。虽然python的多线程受GIL限制,并不是真正的多线程,但是对于I/O密集型计算还是能明显提高效率,比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取,并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim

系统 2019-09-27 17:37:48 2059

Python

Python之运算符

Python之运算符计算机可以进行的运算有很多种,可不只加减乘除这么简单,运算按种类可分为算数运算、比较运算、逻辑运算、赋值运算、成员运算、身份运算、位运算,今天我们暂只学习算数运算、比较运算、逻辑运算、赋值运算一、算数运算假设以下变量中a=10,b=20运算符描述实例+加——两个对象相加a+b输出结果为30-减——两个对象相减或者表示一个负数a-b输出结果为-10*乘——两个数相乘或者是返回一个被重复若干次的字符串a*b输出结果为200/除——两个数相除

系统 2019-09-27 17:55:30 2058

Python

[python学习笔记]合并数据集中merge()、join()和concat

1merge()merge()默认的是按照各个表中列名重叠列进行内连接(how=‘inner’),参数如下:merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=False,suffixes=('_x','_y'),copy=True,indicator=False)其中:on指定合并时依据的列名,单列时

系统 2019-09-27 17:55:23 2058

Python

python安装流程引导

一:第一步windows下Anaconda与PyCharm的安装windows下Anaconda与PyCharm的安装与使用(致Python初学者们-Anaconda入门使用指南)或(Python数据分析必备Anaconda安装、快捷键、包安装)二:第二步python环境变量配置(看下文中如何配置环境变量)Anaconda安装后配置环境变量Anaconda安装后在cmd中运算python无效,是环境变量没有生效。正常安装需要有三个,配置好就行。D:\xwa

系统 2019-09-27 17:54:12 2058

Python

大数据入门选择python大数据么?现在程序员都是喜欢这个

Python是适合做大数据分析的计算机语言吗?如今是一个大数据时代,通过数据分析,我们可以得到任何我们想知道的事情,充分挖掘数据的价值。之前有人说过JAVA语言是最适合做数据分析的计算机编程语言之一,在这里,我想说其实Python大数据也是大数据分析最受欢迎的编程语言。Python是一个强大的,灵活的,开放的,易于学习的源语言,使用方便,并具有强大的数据操作和分析库。其简单的语法使编程新手很容易学习和掌握,经历过Matlab,,C/C++,java,或Vi

系统 2019-09-27 17:50:38 2058

Python

python aiohttp 客户端使用方法 加快爬虫速度

介绍aiohttp是python的一个异步网络模块,包含客户端和服务端模块。相比requests模块,除了是异步写法外,大同小异,其速度比requests模块快。python的多线程有全局解释器锁(GIL),使用多线程实际上同一时刻仅有一个线程在执行,使用协程的相对比较快,可以再配合多进程使用。基本用法安装使用pip命令安装即可。pipinstallaiohttp发起请求aiohttp模块需要配合python自带的asyncio模块使用,以下代码为发起客户

系统 2019-09-27 17:47:13 2058

Python

python实现DEM数据的阴影生成的方法

相关的依赖库在我的github网站上首先贴出代码:importsolarfromgradientimport*fromshadowsimport*importnumpyasnpimportmatplotlib.pyplotasplt#plt用于显示图片importmatplotlib.imageasmpimg#mpimg用于读取图片#demimportsrtmif__name__=='__main__':'''#另一种从网上直接下载DEM数据geo_ele

系统 2019-09-27 17:46:11 2058

Python

python【自写】命名元组

内置方法fromcollectionsimportnamedtuplefree_falling_body=namedtuple('free_falling_body',['g','t'])h=free_falling_body(9.8,2**(1/2))print(h)#自由落体运动print(h.g*h.t**2/2)#自由落体高度free_falling_body(g=9.8,t=1.4142135623730951)9.800000000000002

系统 2019-09-27 17:45:29 2058

Python

Python基于百度地图API根据地址获取经纬度

根据一个中文的地址信息,获取该地址所对应的经纬度信息。(专业的说法是地理编码)。编程语言:Python3,百度地图API接口:http://lbsyun.baidu.com/index.php?title=webapi获取地址的经纬度大致步骤如下:1.注册百度账号、登录百度地图,申请秘钥:http://lbsyun.baidu.com/apiconsole/key?application=key2.查看百度地图中关于地址解析的服务文档:http://lbs

系统 2019-09-27 17:56:48 2057