分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具，然后打开斗鱼颜值分类的页面，如图：在这里插入图片描述在里面的请求中，最后发现它是以ajax加载的数据，数据格式为json，如图：在这里插入图片描述圈住的部分是我们需要的数据，然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1，出于学习目的只爬取第一页（减少服务器压力）。然后把网址放到浏览器中测试是否可以访问。如图：在这里插入图片描述结
系统 2019-09-27 17:56:55 2544
importbase64importskimage.ioimportmatplotlib.pyplotaspltdefbase64_to_rgb(base64_str):"""默认base64中的图像为rgb，直接转换成即可:parambase64::return:"""ifisinstance(base64_str,bytes):base64_str=base64_str.decode("utf-8")imgdata=base64.b64decode(b
系统 2019-09-27 17:54:57 2544
本文实例讲述了pythonflask框架实现传数据到js的方法。分享给大家供大家参考，具体如下：首先要清楚后台和前端交互所采用的数据格式。一般选JSON，因为和js完美贴合。后台返回的数据进行序列化在/homepageRecommend路由的view方法中返回序列化数据dict={"a":1,"b":2}importjsonjson.dumps(dict)2）fromflaskimportjsonifyjsonify(dict)#在调用jsonfiy有时会
系统 2019-09-27 17:53:56 2544
python从字符串中提取数字使用正则表达式，用法如下：##总结##^匹配字符串的开始。##$匹配字符串的结尾。##\b匹配一个单词的边界。##\d匹配任意数字。##\D匹配任意非数字字符。##x?匹配一个可选的x字符(换言之，它匹配1次或者0次x字符)。##x*匹配0次或者多次x字符。##x+匹配1次或者多次x字符。##x{n,m}匹配x字符，至少n次，至多m次。##(a|b|c)要么匹配a，要么匹配b，要么匹配c。##(x)一般情况下表示一个记忆组(r
系统 2019-09-27 17:50:42 2544
在上次的爬虫中，抓取的数据主要用到的是第三方的Beautifulsoup库，然后对每一个具体的数据在网页中的selecter来找到它，每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上，只是其子节点不同。在上次爬虫中，每一类数据都要从其父类（包括其父节点的父节点）上往下寻找ROI数据所在的子节点，这样就会使爬虫很臃肿，因为很多数据有相同的父节点，每次都要重复的找到这个父节点。这样的爬虫效率很低。因此，笔者在上次
系统 2019-09-27 17:49:04 2544
最近有同学询问如何利用Python处理xml文件，特此整理一个比较简洁的操作手册，供大家参阅。首先准备一个xml文件，xml中的内容如下所示。存储为：student.xml如果要获取这个xml里面的数据，我们需要利用Python里面ElementTree来进行处理。具体操作如下所示：1、导入包(包是Python内置自带)2、打开文件，并获取根节点的属性和节点名称运行代码后，结果如下所示：3、利用find方法获取子节点(缺点：只能根据提供的名称获取第一个子节
系统 2019-09-27 17:46:57 2544
lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。lxml并不是Python自带的包，而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯PythonAPI的简洁性，与大家熟知的ElementTreeAPI兼容但比之更优越！但安装lxml却又有点麻烦，因为存在依赖，直接安装的话用easy_install,pip都不能成功，会报gcc错误。下面列出来Window
系统 2019-09-27 17:46:01 2544
string.Template()string.Template()内添加替换的字符,使用"$"符号,或在字符串内,使用"${}";调用时使用string.substitute(dict)函数.可以通过继承"string.Template",覆盖变量delimiter(定界符)和idpattern(替换格式),定制不同形式的模板.代码:#-*-coding:utf-8-*-importstringtemplate_text='''''Delimiter:%
系统 2019-09-27 17:38:10 2544
最近由于服务器托管中心频繁出现网络故障问题，因此写了一简单的py程序，用于检测网络状态。实现的原理相当简单，运行ping命令发送30个数据包，如果超过30%的丢失，则认为故障发生，然后做故障处理，如写日志，发邮件。主要函数importosdefmonitoring(server_ip):cmd="ping-c30%s"%server_ipp=os.popen(cmd)info=p.read()p.close()re_lost_str='(\d+)%pack
系统 2019-08-29 23:34:27 2544
网上关于lucene的文章也逐渐多了起来，现在国内还没有专门的论坛来讨论lucene的使用，所以我准备设立一个lucene讨论区。在这里可以讨论一切关于lucene全文索引相关东西，包括：CLucene-LuceneimplementationinC++LuceneLupy-LuceneimplementationinPythondotLucene-Luceneimplementationin.NETNLucene-anotherLuceneimpleme
系统 2019-08-29 23:33:20 2544
