拥有Python标签的文章
Python

腾讯视频 Python 爬虫项目实战

文|yangrq1018经常在腾讯视频上看电影,在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多,又缺乏索引,只能不停地往下来,让js加载更多的条目。然而前面的看完了,每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中,方便选片。项目地址:https://github.com/yangrq1018/vqq-douban-film依赖需要如下Python包:requestsbs4-Beautifulso

系统 2019-09-27 17:46:04 1703

Python

使用pdb模块调试Python程序实例

在Python中,语法错误可以被Python解释器发现,但逻辑上错误或变量使用错误却不容易发现,如果结果没有符合预期,则需要调试,一个很好的调试工具:Python自带的pdb模块。pdb是Python自带的调试模块。使用pdb模块可以为脚本设置断点、单步执行、查看变量值等。pdb可以用命令行参数的方式启动,也可以使用import将其导入后再使用。复制代码代码如下:>>>dir(pdb)['Pdb','Repr','Restart','TESTCMD',..

系统 2019-09-27 17:46:04 1703

Python

Python获取单个程序CPU使用情况趋势图

本文定位:已将CPU历史数据存盘,等待可视化进行分析,可暂时没有思路。前面一篇文章(//www.jb51.net/article/61956.htm)提到过在linux下如何用python将top命令的结果进行存盘,本文是它的后续。python中我们可以用matplotlib很方便的将数据可视化,比如下面的代码:复制代码代码如下:importmatplotlib.pyplotaspltlist1=[1,2,3]list2=[4,5,9]plt.plot(l

系统 2019-09-27 17:45:54 1703

Python

Python深入学习之特殊方法与多范式

Python一切皆对象,但同时,Python还是一个多范式语言(multi-paradigm),你不仅可以使用面向对象的方式来编写程序,还可以用面向过程的方式来编写相同功能的程序(还有函数式、声明式等,我们暂不深入)。Python的多范式依赖于Python对象中的特殊方法(specialmethod)。特殊方法名的前后各有两个下划线。特殊方法又被成为魔法方法(magicmethod),定义了许多Python语法和表达方式,正如我们在下面的例子中将要看到的。

系统 2019-09-27 17:45:48 1703

Python

Python-demo(listen)

importrequestsimportjson#爬虫原理模拟浏览器获取请求数据#点击播放连接#url="https://www.ximalaya.com/revision/play/album?albumId=297790&pageNum=1&sort=1&pageSize=30"url="https://www.ximalaya.com/revision/play/album?albumId=333001&pageNum=1&sort=1&pageSi

系统 2019-09-27 17:45:43 1703

Python

搭建python django虚拟环境完整步骤详解

一、建立虚拟环境pipinstallvirtualenv要使用Django,首先要建立一个虚拟工作环境。我们先为项目建立一个文件夹learn,在文件夹中打开命令行(shift+右击),来建立另一个虚拟环境。如果使用的是python3,可使用如下命令来创建:python-mvenvl_env这里运行模块venv,用它来创建一个名为l_env的虚拟环境,此时learn文件夹中会多出来一个l_env的文件夹。如果上述成功了,则跳转到三、激活虚拟环境,否则跳转二、

系统 2019-09-27 17:45:42 1703

Python

Python文件读取的3种方法及路径转义

1.文件的读取和显示方法1:复制代码代码如下:f=open(r'G:\2.txt')printf.read()f.close()方法2:复制代码代码如下:try:t=open(r'G:\2.txt')printt.read()finally:ift:t.close()方法3:复制代码代码如下:withopen(r'g:\2.txt')asg:forlineing:printlinepython虽然每次打开文件都要关闭,但是可能会由于异常导致未关闭,因此我们

系统 2019-09-27 17:45:38 1703

Python

python 调用HBase的简单实例

新来的一个工程师不懂HBase,java不熟,python还行,我建议他那可以考虑用HBase的thrift调用,完成目前的工作。首先,安装thrift下载thrift,这里,我用的是thrift-0.7.0-dev.tar.gz这个版本tarxzfthrift-0.7.0-dev.tar.gzcdthrift-0.7.0-devsudo./configure--with-cpp=no--with-ruby=nosudomakesudomakeinstal

系统 2019-09-27 17:45:33 1703

Python

python脚本实现数据导出excel格式的简单方法(推荐)

实习期间,服务器的一位师兄让我帮忙整理一下服务器的log数据,最终我用Python实现了数据的提取并将其用Excel格式导出。下面是我Python实现的源码,可以自动遍历某一文件目录下的所有文本文件,并将总的数据导出到Excel文件中,导出为Excel格式这样就比较方便统计了。//实现将目录下所有文件格式为.txt的文件进行遍历统计,如果是别的格式直接将下面的.txt改为你所需要的格式后缀就可以了,比较方便。//过程就是先将所有的文件中的内容提取出来写入到

系统 2019-09-27 17:45:28 1703

Python

python+mysql实现简单的web程序

这次要为我的python程序加上数据库,主要是实现从mysql中查询出数据并在页面上显示出来。首先是mysql的配置文件config.pyhost="127.0.0.1"user="root"password=""charset="utf8"database="service"port=3306然后是从数据库中读取数据的aService.pyimportMySQLdbimportsysimportconfigclassAService(object):de

系统 2019-09-27 17:45:28 1703

Python

Python实现身份证号码解析

中国的居民身份证有18位。其中前17位是信息码,最后1位是校验码。每位信息码可以是0-9的数字,而校验码可以是0-9或X,其中X表示10。身份证校验码算法:设18位身份证号序列从左到右为:引用a[0],a[1],a[2],a[3],...,a[16],a[17]其中a[i]表示第i位数字,i=0,1,2,...,17,如果最后一位(校验位)是X,则a[17]=10每一位被赋予一个“权值”,其中,第i位的权值w[i]的计算方法是:引用w[i]=2**(17-

系统 2019-09-27 17:38:47 1703

Python

Python中的yield浅析

在介绍yield前有必要先说明下Python中的迭代器(iterator)和生成器(constructor)。一、迭代器(iterator)在Python中,for循环可以用于Python中的任何类型,包括列表、元祖等等,实际上,for循环可用于任何“可迭代对象”,这其实就是迭代器迭代器是一个实现了迭代器协议的对象,Python中的迭代器协议就是有next方法的对象会前进到下一结果,而在一系列结果的末尾是,则会引发StopIteration。任何这类的对象

系统 2019-09-27 17:38:45 1703

Python

Python的内存泄漏及gc模块的使用分析

一般来说在Python中,为了解决内存泄漏问题,采用了对象引用计数,并基于引用计数实现自动垃圾回收。由于Python有了自动垃圾回收功能,就造成了不少初学者误认为自己从此过上了好日子,不必再受内存泄漏的骚扰了。但如果仔细查看一下Python文档对__del__()函数的描述,就知道这种好日子里也是有阴云的。下面摘抄一点文档内容如下:Somecommonsituationsthatmaypreventthereferencecountofanobjectfr

系统 2019-09-27 17:38:39 1703

Python

利用python生成一个导出数据库的bat脚本文件的方法

实例如下:#环境:python3.xdefgetExportDbSql(db,index):#获取导出一个数据库实例的sql语句sql='mysqldump-u%s-p%s-h%s-P%d--default-character-set=utf8--databasesmu_ins_s%s>%s.s%d.mu_ins_%d.sql'%(db['user'],db['pwd'],db['host'],db['port'],index,db['server'],i

系统 2019-09-27 17:38:36 1703

Python

Python装饰器入门学习教程(九步学习)

装饰器(decorator)是一种高级Python语法。装饰器可以对一个函数、方法或者类进行加工。在Python中,我们有多种方法对函数和类进行加工,比如在Python闭包中,我们见到函数对象作为某一个函数的返回结果。相对于其它方式,装饰器语法简单,代码可读性高。因此,装饰器在Python项目中有广泛的应用。这是在Python学习小组上介绍的内容,现学现卖、多练习是好的学习方式。第一步:最简单的函数,准备附加额外功能#-*-coding:gbk-*-'''

系统 2019-09-27 17:38:30 1703