搜索到与相关的文章
Python

python selenium爬取斗鱼所有直播房间信息过程详解

还是分析一下大体的流程:首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Paginat

系统 2019-09-27 17:47:21 1724

Python

Python工程师面试必备25条Python知识点

1.到底什么是Python?你可以在回答中与其他技术进行对比下面是一些关键点:Python是一种解释型语言。这就是说,与C语言和C的衍生语言不同,Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言,指的是你在声明变量时,不需要说明变量的类型。你可以直接编写类似x=111和x="I'mastring"这样的代码,程序不会报错。Python非常适合面向对象的编程(OOP),因为它支持通过组合(composit

系统 2019-09-27 17:47:20 1724

Python

python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法,一种是通过开发者工具找到动态内容的接口,然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库,以及浏览器对应驱动器(WebDriver)。安装selenium库pipinstallselenium项目地址:https://pypi.org/project/se

系统 2019-09-27 17:47:10 1724

Python

Python字典推导式将cookie字符串转化为字典解析

cookie:PHPSESSID=et4a33og7nbftv60j3v9m86cro;Hm_lvt_51e3cc975b346e7705d8c255164036b3=1561553685;Hm_lpvt_51e3cc975b346e7705d8c255164036b3=1561553685首先分析一下浏览器中cookie的结构基本上是:key=value;key=value;key=value其中key=value之间用一个分号和一个空格分开首先写一下不

系统 2019-09-27 17:47:05 1724

Python

超简单的Python HTTP服务

超如果你急需一个简单的WebServer,但你又不想去下载并安装那些复杂的HTTP服务程序,比如:Apache,ISS等。那么,Python可能帮助你。使用Python可以完成一个简单的内建HTTP服务器。于是,你可以把你的目录和文件都以HTTP的方式展示出来。佻只需要干一件事情,那就是安装一个Python。实际上来说,这是一个可以用来共享文件的非常有用的方式。实现一个微型的HTTP服务程序来说是很简单的事情,在Python下,只需要一个命令行。下面是这个

系统 2019-09-27 17:47:00 1724

Python

Python自定义类中内部函数:__repr__()和__string__

我们在定义Python类时,经常会看到比较好的代码中,都有__repr__和__string__,两个内部函数的定义。但是我一直很少关注它们的区别和具体应用场景。稍微做个小结。1.__foo()__在python中表示__foo__是一个私有private函数,在CookBookpp254中,解释为,该函数不会被子类的相同名称的函数重载。一般地说,类中以“下划线”开头定义的变量或者函数都是私有变量或者内部函数,区别是:1.1单下划线开始的变量或者函数表示非

系统 2019-09-27 17:46:49 1724

Python

在Python中操作时间之tzset()方法的使用教程

tzset()方法重置所使用的库例程的时间转换规则。环境变量TZ指定如何完成此操作。TZ环境变量的标准格式(空格为清楚起见而加的):复制代码代码如下:stdoffset[dst[offset[,start[/time],end[/time]]]]std和dst:三个或更多的字母数字给人的时区缩写。这些将被传播到time.tzname。offset:偏移量offset的形式为:.hh[:mm[:ss]]。这表明增值的本地时间以UTC到达。如果前面加一个“-”

系统 2019-09-27 17:46:36 1724

Python

Python实现FTP文件传输的实例

FTP一般流程FTP对应PASV和PORT两种访问方式,分别为被动和主动,是针对FTP服务器端进行区分的,正常传输过程中21号端口用于指令传输,数据传输端口使用其他端口。PASV:由客户端发起数据传输请求,服务器端返回并携带数据端口,并且服务器端开始监听此端口等待数据,为被动模式;PORT:客户端监听端口并向服务器端发起请求,服务器端主动连接此端口进行数据传输,为主动模式。其中TYPE分两种模式,I对应二进制模式、A对应ASCII模式;PASV为客户端发送

系统 2019-09-27 17:46:25 1724

Python

使用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”

本文记录了笔者用Python爬取淘宝某商品的全过程,并对商品数据进行了挖掘与分析,最终得出结论。项目内容本案例选择>>商品类目:沙发;数量:共100页4400个商品;筛选条件:天猫、销量从高到低、价格500元以上。项目目的1.对商品标题进行文本分析词云可视化2.不同关键词word对应的sales的统计分析3.商品的价格分布情况分析4.商品的销量分布情况分析5.不同价格区间的商品的平均销量分布6.商品价格对销量的影响分析7.商品价格对销售额的影响分析8.不同

系统 2019-09-27 17:46:23 1724

Python

深入了解Python数据类型之列表

一.基本数据类型整数:int字符串:str(注:\t等于一个tab键)布尔值:bool列表:list(元素的集合)列表用[]元祖:tuple元祖用()字典:dict注:所有的数据类型都存在想对应的类列里二.列表所有数据类型:基本操作:•索引•切片•追加•删除•长度•切片•循环•包含listclasslist(object):"""list()->newemptylistlist(iterable)->newlistinitializedfromiterab

系统 2019-09-27 17:46:22 1724