分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图:在里面的请求中,最后发现它是以ajax加载的数据,数据格式为json,如图:圈住的部分是我们需要的数据,然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1,出于学习目的只爬取第一页(减少服务器压力)。然后把网址放到浏览器中测试是否可以访问。如图:结果正常。分析json数据,提取图片链接最后分析发现
系统 2019-09-27 17:46:57 1922
对Python中正则表达式的理解,主要就是对符号的理解,本文即对Python中常用的正则表达式符号进行简析。其主要的符号有:.默认匹配一个字符,不包含换行符,如果设置DOTALL则匹配换行符^匹配行首$匹配行尾*匹配0个或者多个重复+匹配一个或者多个重复?匹配一个或者零个重复*?,+?,??按照非贪婪模式匹配{m},{m,n},{m,n}?分别匹配m个重复,m至n个重复,m至n个重复按照非贪婪模式\转义[][abc],[a-z][^a-z]|或者匹配'a|
系统 2019-09-27 17:46:52 1922
相对来说python对字符串的处理是比较高效的,方法也有很多。其中maketrans和translate两个方法被应用的很多,本文就针对这两个方法的用法做一总结整理。首先让我们先回顾下这两个方法:①s.translate(table,str)对字符串s移除str包含的字符,剩下的字符串按照table里的字符映射关系替换。table可以理解为转换表,比较'a'->'A','b'->'B'.②tabel=string.maketrans('s1','s2')s
系统 2019-09-27 17:45:59 1922
创建一个软件包(package)似乎已经足够简单了,也就是在文件目录下搜集一些模块,再加上一个__init__.py文件,对吧?我们很容易看出来,随着时间的推移,通过对软件包的越来越多的修改,一个设计很差的软件包可能会出现循环依赖问题,或是可能变得不可移植和不可靠。1.__init__.py仅为导入服务对于一个简单的软件包,你可能会忍不住把工具方法,工厂方法和异常处理都丢进__init__.py,千万别这样!一个结构良好的__init__.py文件,仅为一
系统 2019-09-27 17:45:42 1922
在Python2.5中,with关键字被加入。它将常用的try...except...finally...模式很方便的被复用。看一个最经典的例子:withopen('file.txt')asf:content=f.read()在这段代码中,无论with中的代码块在执行的过程中发生任何情况,文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常,那么在这个异常被抛出前,程序会先将被打开的文件关闭。再看另外一个例子。在发起一个数据库事务请求的时候,经常会用
系统 2019-09-27 17:38:19 1922
微软最近出了个必应bing缤纷桌面,使用下来还是不错,可以每天更换Bing首页的北京作为壁纸,但是该软件有个不好的地方是,安装后桌面上会有一个搜索框出现,很是烦人,而且不能关掉。于是出于技术考虑,想到了使用Python来实现这个功能。正如很多介绍Python书中那样,Python是中胶水语言,用在哪里都是可行的。想要使用Python给桌面设置背景只需要下个模块安装即可:http://sourceforge.net/projects/pywin32/代码非常
系统 2019-09-27 17:38:16 1922
Pythonstr和repr的详解str可以将值转化为合理的字符串形式,以便用户可以理解;repr会以合法Python表达式的形式来表达值。举例如下:#str输出用户通常习惯的格式,repr输出系统存储格式>>>printstr("HelloWorld")HelloWorld>>>printrepr("HelloWorld")'HelloWorld'>>>printstr(10000L)10000>>>printrepr(10000L)10000L>>>注
系统 2019-09-27 17:38:06 1922
Python用WMI模块获取Windows系统的硬件信息:硬盘分区、使用情况,内存大小,CPU型号,当前运行的进程,自启动程序及位置,系统的版本等信息。本文实例讲述了python使用wmi模块获取windows下的系统信息监控系统#!/usr/bin/envpython#-*-coding:utf--*-#http://www.cnblogs.com/liu-ke/importwmiimportosimportsysimportplatformimport
系统 2019-09-27 17:38:02 1922
解决思路首先想到的就是利用python的正则表达式来匹配非法字符,然后找出非法记录。然而理想总是丰满的,现实却是残酷的。在实现的过程中,才发现自己对于字符编码、以及python内部字符串表示的相关知识的缺乏。在这期间,踩过了不少坑,到最后虽然还有些模糊的地方,但总算有一个总体清晰的了解。在此记录下心得,避免以后在同一个地方跌倒。以下的测试环境是ArcGIS10.3自带的python2.7.8环境,不保证其他python环境也适用。python正则表达式py
系统 2019-09-27 17:37:48 1922
一般说来,你会把模板以文件的方式存储在文件系统中,但是你也可以使用自定义的templateloaders从其他来源加载模板。Django有两种方法加载模板django.template.loader.get_template(template_name):get_template根据给定的模板名称返回一个已编译的模板(一个Template对象)。如果模板不存在,就触发TemplateDoesNotExist的异常。django.template.loade
系统 2019-09-27 17:37:43 1922