- 军军小站|张军博客
搜索到与相关的文章
Python

python爬虫获取网站数据

要爬取的网站不需要登陆,没有反爬机制,操作很简单首先安装需要的程序包pipinstallrequestspipinstallbeautifulsoup4pipinstallxlwt具体的实现类GetInfo.py#信息实体类classproduct_info(object):serios=''#存放商品系列productActualPrice=''#存放商品成交价productOldPrice=''#存放商品面价detailString=''#存放商品详情

系统 2019-09-27 17:47:27 1792

Python

Python序列之list和tuple常用方法以及注意事项

sequence序列sequence(序列)是一组有顺序的对象的集合。序列可以包含一个或多个元素,也可以没有任何元素。我们之前所说的基本数据类型,都可以作为序列的对象。对象还可以是另一个序列。序列有两种:list(表)和tuple(元组)。list和tuple的主要区别在于,一旦建立,tuple的各个元素不可再变更,而list的各个元素可以再变更。List获得list元素的个数:复制代码代码如下:>>>lst=['更新慢','python',5.44,Fa

系统 2019-09-27 17:47:24 1792

Python

19、 Python快速开发分布式搜索引擎Scrapy精讲—css选择器

【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】css选择器1、2、3、::attr()获取元素属性,css选择器::text获取标签文本举例:extract_first('')获取过滤后的数据,返回字符串,有一个默认参数,也就是如果没有数据默认是什么,一般我们设置为空字符串extract()获取过滤后的数据,返回字符串列表#-*-coding:utf-8-*-import

系统 2019-09-27 17:47:14 1792

Python

python网络爬虫学习笔记之三 Selenium入门

抓取动态的网页内容主要有两种办法,一种是通过开发者工具找到动态内容的接口,然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库,以及浏览器对应驱动器(WebDriver)。安装selenium库pipinstallselenium项目地址:https://pypi.org/project/se

系统 2019-09-27 17:47:10 1792

Python

python处理文本文件实现生成指定格式文件的方法

本文所述实例为Python处理文本文件并生成指定格式文件的方法,具体实现功能代码如下所示:importosimportsysimportstring#以指定模式打开指定文件,获取文件句柄defgetFileIns(filePath,model):print("打开文件")print(filePath)print(model)returnopen(filePath,model)#获取需要处理的文件defgetProcFile(path):returnos.l

系统 2019-09-27 17:47:04 1792

Python

python协程gevent案例 爬取斗鱼图片过程解析

分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图:在里面的请求中,最后发现它是以ajax加载的数据,数据格式为json,如图:圈住的部分是我们需要的数据,然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1,出于学习目的只爬取第一页(减少服务器压力)。然后把网址放到浏览器中测试是否可以访问。如图:结果正常。分析json数据,提取图片链接最后分析发现

系统 2019-09-27 17:46:57 1792

Python

在Python中处理日期和时间的基本知识点整理汇总

Python程序可以处理多种方式的日期和时间。日期格式之间的转换是一种常见计算机的杂活。Python的时间和日历模块,能帮助处理日期和时间。Tick是什么?时间间隔为浮点数以秒为单位的数字。在特定的时间瞬间自上午12时00分,1970年1月1日(纪元)表示,单位为秒。Python中可用的流行时间模块,它提供功能转换。该功能time.time()返回当前系统时间,因为上午12点,1970年1月1日(时代)。例子:#!/usr/bin/pythonimport

系统 2019-09-27 17:46:45 1792

Python

Python编程中用close()方法关闭文件的教程

close()方法方法关闭打开的文件。关闭的文件无法读取或写入更多东西。文件已被关闭之后任何操作会引发ValueError。但是调用close()多次是可以的。Python自动关闭,当一个文件的引用对象被重新分配给另外一个文件。它使用close()方法来关闭一个文件一个很好的做法。语法以下是close()方法的语法:fileObject.close();参数NA返回值此方法不返回任何值例子下面的例子显示了close()方法的使用#!/usr/bin/pyt

系统 2019-09-27 17:46:32 1792

Python

python之带参的装饰器

在带有参数的的函数进行装饰时defpri(func):defone(*a,**b):#这里要带参func(*a,**b)#这里也要带参returnone@prideftest(*a,**b):#不定长参数print(a,b)test(1,2,a=2)对有返回值的函数进行装饰时defpri(func):defone():returnfunc()#要将func()返回returnone@prideftest():returnTrueprint(test())带

系统 2019-09-27 17:46:29 1792

Python

Read an Image in OpenCV ( Python, C++ )

原文链接:https://www.learnopencv.com/read-an-image-in-opencv-python-cpp/InOpenCVyoucaneasilyreadinimageswithdifferentfileformats(JPG,PNG,TIFFetc.)usingimread.ThebasicusageisshownbelowC++Matimread(conststring&filename,intflags=IMREAD_C

系统 2019-09-27 17:46:26 1792