之前想爬取一些淘宝的数据，后来发现需要登录，找了很多的资料，有个使用request的sessions加上cookie来登录的，cookie的获取在登录后使用开发者工具可以找到。不过这个登录后获得的网页的代码是静态的，获取动态网页还得另寻他法，一般需要的数据可以在网页的源码中得到，但是你知道的，有些动态加载的就不是那么简单了，而且我发现这样获得的源码中，有些想要获取的数据的格式是经过改动的，比如我要某个商品的具体链接，发现并不能直接使用。总体而言，这是一次失
系统 2019-09-27 17:54:47 2081
实例如下：#-*-coding:utf-8-*-fromnumpyimport*importnumpyasnpimportpandasaspdfrommathimportlogimportoperator#计算数据集的香农熵defcalcShannonEnt(dataSet):numEntries=len(dataSet)labelCounts={}#给所有可能分类创建字典forfeatVecindataSet:currentLabel=featVec[-
系统 2019-09-27 17:54:47 2081
创建列表复制代码代码如下:sample_list=['a',1,('a','b')]Python列表操作复制代码代码如下:sample_list=['a','b',0,1,3]得到列表中的某一个值复制代码代码如下:value_start=sample_list[0]end_value=sample_list[-1]删除列表的第一个值复制代码代码如下:delsample_list[0]在列表中插入一个值复制代码代码如下:sample_list[0:0]=['
系统 2019-09-27 17:53:48 2081
使用python爬取微博评论：本文首发于《凹凸数读》，关注后台回复“源码”获取相关python代码2019年5月27日凌晨，翟天临又上了热搜。我们爬取了翟天临2月道歉微博下的30万余条评论，看看毕业生们是如何吐槽他的？本文首发于《凹凸数读》，关注后台回复“源码”获取相关python代码
系统 2019-09-27 17:53:21 2081
非阻塞IO（non-blockingIO）Linux下，可以通过设置socket使其变为non-blocking。当对一个non-blockingsocket执行读操作时，流程是这个样子：从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道
系统 2019-09-27 17:53:07 2081
实现一个支持动态扩容的数组并完成其增删改查#通过python实现动态数组"""数组特点：占用一段连续的内存空间，支持随机（索引）访问，且时间复杂度为O(1)添加元素时间复杂度：O(n)删除元素时间复杂度：O(n)"""classArr:def__init__(self,capacity=10):"""构造函数:paramcapacity:数组最大容量，不指定的话默认为10"""self._capacity=capacityself._size=0#数组有效
系统 2019-09-27 17:52:16 2081
闲暇之余，在家里自建了个服务器，因为用的小区宽带，IP位动态分配。域名解析就是个问题，我的域名一般停放在DNSPod下。DNSPod有提供修改的API，就用Python简单的实现了一下动态解析。这样，就不用安装花生壳了。废话不说，看代码：#!/usr/bin/envpython#-*-coding:utf-8-*-importhttplib,urllib,urllib2importtimeimportsys,osimportreimportjsonuser
系统 2019-09-27 17:52:14 2081
python的dict用起来很方便，可以自定义key值，并通过下标访问，示例如下：复制代码代码如下:>>>d={'key1':'value1',...'key2':'value2',...'key3':'value3'}>>>printd['key2']value2>>>lambda表达式也是很实用的东东，示例如下：复制代码代码如下:>>>f=lambdax:x**2>>>printf(2)4>>>两者结合可以实现结构相似的函数调用，使用起来很方便，示例如
系统 2019-09-27 17:51:38 2081
1.random.random()random.random()方法返回一个随机数，其在0至1的范围之内，以下是其具体用法：importrandomprint("随机数:",random.random())输出结果：0.228675212571162.random.uniform()random.uniform()是在指定范围内生成随机数，其有两个参数，一个是范围上限，一个是范围下线，具体用法如下：importrandomprint(random.unif
系统 2019-09-27 17:51:23 2081
代理ProxyHandler处理器（代理）1、代理的原理:在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的服务器的网站数据后，再转发给我们的代码。2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数3、使用代理的方法：ProxyHandle这个方法需要传入一个字典，key：请求schema，value：代理服务器ip+端口fromurllibimportrequest##url=
系统 2019-09-27 17:50:55 2081
