搜索到与相关的文章
Python

python selenium爬取斗鱼所有直播房间信息过程详解

还是分析一下大体的流程:首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Paginat

系统 2019-09-27 17:47:21 2157

Python

Python 更新字典的三种形式

方法update用于对一个字典进行更新。在调用update时,可向它提供一个映射、一个由键-值对组成的序列(或其他可迭代对象)或关键字参数。映射>>>d={...'title':'PythonWebSite',...'url':'http://www.python.org'...}>>>x={'title':'PythonLanguageWebsite'}>>>d.update(x)>>>d{'url':'http://www.python.org','t

系统 2019-09-27 17:47:20 2157

Python

Python工程师面试必备25条Python知识点

1.到底什么是Python?你可以在回答中与其他技术进行对比下面是一些关键点:Python是一种解释型语言。这就是说,与C语言和C的衍生语言不同,Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言,指的是你在声明变量时,不需要说明变量的类型。你可以直接编写类似x=111和x="I'mastring"这样的代码,程序不会报错。Python非常适合面向对象的编程(OOP),因为它支持通过组合(composit

系统 2019-09-27 17:47:20 2157

Python

用Python操作字符串之rindex()方法的使用

rindex()方法返回所在的子str被找到的最后一个索引,可选择限制搜索的字符串string[beg:end]如果没有这样的索引存在,抛出一个异常。语法以下是rindex()方法的语法:str.rindex(str,beg=0end=len(string))参数str--此选项指定要搜索的字符串。beg--这是开始索引,默认情况下为0len--这是最后的索引,默认情况下它等于字符串的长度。返回值此方法如果找到返回最后一个索引,否则如果没有找到str引发一

系统 2019-09-27 17:47:10 2157

Python

python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法,一种是通过开发者工具找到动态内容的接口,然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库,以及浏览器对应驱动器(WebDriver)。安装selenium库pipinstallselenium项目地址:https://pypi.org/project/se

系统 2019-09-27 17:47:10 2157

Python

Python网络爬虫与信息提取——正则表达式

Python网络爬虫与信息提取——正则表达式正则表达式的语法正则表达式的常用操作符操作符说明实例.表示任何单个字符[]字符集,对单个字符给出取值范围[abc]表示a、b、c,[a-z]表示a到z单个字符[^]非字符集,对单个字符给出排除范围[^abc]表示非a或b或c的单个字符*前一个字符0次或无限次扩展abc*表示ab、abc、abcc、abccc等+前一个字符1次或无限次扩展abc+表示abc、abcc、abccc等?前一个字符0次或1次扩展abc?表

系统 2019-09-27 17:46:58 2157

Python

在Python中处理日期和时间的基本知识点整理汇总

Python程序可以处理多种方式的日期和时间。日期格式之间的转换是一种常见计算机的杂活。Python的时间和日历模块,能帮助处理日期和时间。Tick是什么?时间间隔为浮点数以秒为单位的数字。在特定的时间瞬间自上午12时00分,1970年1月1日(纪元)表示,单位为秒。Python中可用的流行时间模块,它提供功能转换。该功能time.time()返回当前系统时间,因为上午12点,1970年1月1日(时代)。例子:#!/usr/bin/pythonimport

系统 2019-09-27 17:46:45 2157

Python

Python 11 (paramiko模块,ssh密钥,进程线程,锁,信号量)

本节内容paramiko模块(基于SSH用于连接远程服务器并执行相关操作)paramiko模块SSHClient用于连接远程服务器并执行基本命令基于用户名密码连接#Author:yyqianimportparamiko#创建SSH对象ssh=paramiko.SSHClient()#允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())#连接服务器ssh

系统 2019-09-27 17:46:15 2157

Python

Python 登录网站详解及实例

Python登录网站详解及实例对于大部分论坛,我们想要抓取其中的帖子分析,首先需要登录,否则无法查看。这是因为HTTP协议是一个无状态(Stateless)的协议,服务器如何知道当前请求连接的用户是否已经登录了呢?有两种方式:在URI中显式地使用SessionID;利用Cookie,大概过程是登录一个网站后会在本地保留一个Cookie,当继续浏览这个网站的时候,浏览器会把Cookie连同地址请求一起发送过去。Python提供了相当丰富的模块,所以对于这种网

系统 2019-09-27 17:38:24 2157

Python

python搭建微信公众平台

python基于新浪sae开发的微信公众平台,实现功能:输入段子---回复笑话输入开源+文章---发送消息到开源中国输入快递+订单号---查询快递信息输入天气---查询南京最近五天天气状况输入微博热点---回复微博当前热门话题输入电影+名称---回复百度云盘中搜索的链接具体实现代码:#-*-coding:utf-8-*-importhashlibimportwebimportlxmlimporttimeimportosimporturllib2,jsoni

系统 2019-09-27 17:38:18 2157