拥有Python标签的文章
Python

python爬虫 requests基本用法

一些基本用法,ssl证书和身份认证是尚未验证的importrequestsheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)''AppleWebKit/537.36(KHTML,likeGecko)Chrome/74.0.3729.169Safari/537.36',#'Cookie':'XXXXXXXXXXXXXXXX'}#取得图片#res=requests.get("https://p

系统 2019-09-27 17:47:54 2054

Python

python基于mysql实现的简单队列以及跨进程锁实例详解

通常在我们进行多进程应用开发的过程中,不可避免的会遇到多个进程访问同一个资源(临界资源)的状况,这时候必须通过加一个全局性的锁,来实现资源的同步访问(即:同一时间里只能有一个进程访问资源)。举个例子如下:假设我们用mysql来实现一个任务队列,实现的过程如下:1.在Mysql中创建Job表,用于储存队列任务,如下:createtablejobs(idauto_incrementnotnullprimarykey,messagetextnotnull,job

系统 2019-09-27 17:47:47 2054

Python

python使用requests.session模拟登录

最近开发一套接口,写个Python脚本,使用requests.session模拟一下登录.因为每次需要获取用户信息,登录需要带着session信息,所以所有请求需要带着session。请求使用post方式,请求参数类型为raw方式,参数为json类型。登录接口参数和结果如下:脚本如下:1.引入需要的第三方包#!/usr/bin/envpython3#-*-coding:utf-8-*-importrequests#importreimportjson#fr

系统 2019-09-27 17:47:31 2054

Python

openCV+python3 最简单的人脸检测代码 (ainusers亲测)

importsysimportimportlibimportcv2#注意python2中,直接调用reload(sys),但python3中要importimportlibimportlib.reload(sys)#获取训练好的人脸的参数数据,这里直接从GitHub上使用默认值,注意该xml文档要放在执行目录下face_cascade=cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface

系统 2019-09-27 17:46:16 2054

Python

python获取目录下所有文件的方法

本文实例讲述了python获取目录下所有文件的方法。分享给大家供大家参考。具体分析如下:os.walk()函数声明:walk(top,topdown=True,onerror=None)1.参数top表示需要遍历的目录树的路径2.参数topdown的默认值是"True",表示首先返回目录树下的文件,然后在遍历目录树的子目录.Topdown的值为"False"时,则表示先遍历目录树的子目录,返回子目录下的文件,最后返回根目录下的文件3.参数onerror的默

系统 2019-09-27 17:46:06 2054

Python

Python对list列表结构中的值进行去重的方法总结

今天遇到一个问题,在同事随意的提示下,用了itertools.groupby这个函数。不过这个东西最终还是没用上。问题就是对一个list中的新闻id进行去重,去重之后要保证顺序不变。直观方法最简单的思路就是:ids=[1,2,3,3,4,2,3,4,5,6,1]news_ids=[]foridinids:ifidnotinnews_ids:news_ids.append(id)printnews_ids这样也可行,但是看起来不够爽。用set另外一个解决方案

系统 2019-09-27 17:38:46 2054

Python

Python中的测试工具

当我们在写程序的时候,我们需要通过测试来验证程序是否出错或者存在问题,但是,编写大量的测试来确保程序的每个细节都没问题会显得很繁琐。在Python中,我们可以借助一些标准模块来帮助我们自动完成测试过程,比如:unittest:一个通用的测试框架;doctest:一个更简单的模块,是为检查文档而设计的,但也非常适合用来编写单元测试。下面,笔者将会简单介绍这两个模块在测试中的应用。doctestdoctest模块会搜索那些看起来像是python交互式会话中的代

系统 2019-09-27 17:55:06 2053

Python

Selenium+Python 自动化操控登录界面实例(有简单验证码图片校验)

从最简单的Web浏览器的登录界面开始,登录界面如下:进行Web页面自动化测试,对页面上的元素进行定位和操作是核心。而操作又是以定位为前提的,因此,对页面元素的定位是进行自动化测试的基础。页面上的元素就像人一样,有各种属性,比如元素名字,元素id,元素属性(class属性,name属性)等等。webdriver就是利用元素的这些属性来进行定位的。可以用于定位的常用的元素属性:idnameclassnametagnamelinktextpartiallinkt

系统 2019-09-27 17:54:16 2053

Python

Python爬虫之xlml解析库(全面了解)

1.XpathXpath是一门在XML中查找信息的语言,可用来在XML文档中对元素和属性进行遍历。XQuery和xpoint都是构建于xpath表达之上2.节点父(parent),子(children),兄弟(sibling),先辈(ancetstor),后代(Decendant)3.选取节点路径表达式表达式描述路径表达式结果nodename选取此节点上的所有的子节点bookstore选取bookstore元素的所有子节点/从根节点上选取/bookstor

系统 2019-09-27 17:54:09 2053

Python

python文件读写操作与linux shell变量命令交互执行的方法

本文实例讲述了python文件读写操作与linuxshell变量命令交互执行的方法。分享给大家供大家参考。具体如下:python对文件的读写还是挺方便的,与linuxshell的交互变量需要转换一下才能用,这比较头疼。代码如下:复制代码代码如下:#coding=utf-8#!/usr/bin/pythonimportosimporttime#python执行linux命令os.system(':>./aa.py')#人机交互输入S=raw_input("i

系统 2019-09-27 17:53:10 2053

Python

Python自然语言处理工具小结

作者:伏草惟存来源:http://www.cnblogs.com/baiboy/p/nltk2.htmlPython的几个自然语言处理工具1.NLTK:NLTK在用Python处理自然语言的工具中处于领先的地位。它提供了WordNet这种方便处理词汇资源的借口,还有分类、分词、除茎、标注、语法分析、语义推理等类库。2.Pattern:Pattern的自然语言处理工具有词性标注工具(Part-Of-SpeechTagger),N元搜索(n-gramsearc

系统 2019-09-27 17:51:07 2053

Python

python单元测试用例设计

前言在刚学习编程的时候总是忘记处理一些特例(尤其是动态语言可以传各种值),为了养成良好的编程和测试习惯,在编写单元测试用例的时候,我们注意考虑下如下测试用例(等价类划分):正常值功能测试边界值(比如最大最小,最左最右值)异常值(比如None,空值,非法值)实战操作defbinary_search(array,target):ifnotarray:return-1beg,end=0,len(array)whilebeg

系统 2019-09-27 17:50:52 2053

Python

python爬图片(绅士进来)

如果,不是因为图片,又怎会和各位绅士见面?环境:系统:win10ide:pycharm模块:requests,etree首先我们选一个有很多妹子图片的网站,我提供一个:https://www.mzitu.com/jiepai/下面我们开始:1.分析网页结构:打开网页,按F12打开调试,然后选中一个图片,看它的结构:有一个data-original属性。属性值就是图片的链接,并且这个标签的class是“lazy”,我们可以用etree找到这个节点,拿到图片的

系统 2019-09-27 17:50:39 2053

Python

Python列表中append函数和extend函数的区别

原文链接:https://blog.csdn.net/m0_37586991/article/details/81629421近期在写dataloader函数时,由于错用了extend和append,导致后面出现了bug。后面发现问题后,便将该问题记录下来防止重复出错。两个函数从功能上来看非常类似,但处理后的结果却完全不同,使用时需要特别注意。尤其是对多个的list进行合并时,append可以保持list的原始形式,extend则进行了拆分重组,将待添加的

系统 2019-09-27 17:50:26 2053

Python

Python中的面向对象编程详解(下)

继承继承描述了基类的属性如何“遗传”给派生类。一个子类可以继承它的基类的任何属性,不管是数据属性还是方法。创建子类的语法看起来与普通(新式)类没有区别,一个类名,后跟一个或多个需要从其中派生的父类:复制代码代码如下:classSubClassName(ParentClass1[,ParentClass2,...]):'optionalclassdocumentationstring'class_suite实例复制代码代码如下:classParent(obj

系统 2019-09-27 17:50:10 2053