Python

python处理“&#”开头加数字的html字符方法

python如何处理“&#”开头加数字的html字符,比如:风水这类数据。用python抓取数据时,有时会遇到想要数据是以“&#”开头加数字的字符,比如图中所示的这些:风水大术士这些字符需要再次转换才能变回中文内容。这些字符需要再次转换才能变回中文内容。Python2.7版本在python2.7版本中,使用importHTMLParser定义变量,再定义转换代码。代码中最重要的是“data_parser=HTMLParser.HTMLParser()”,通

系统 2019-09-27 17:49:11 2468

Python

Python爬虫运用正则表达式的方法和优缺点

前言我看到最近几部电影很火,查了一下猫眼电影上的数据,发现还有个榜单,里面有各种经典和热映电影的排行榜,然后我觉得电影封面图还挺好看的,想着一张一张下载真是费时费力,于是突发奇想,好像可以用一下最近学的东西实现我的需求,学习了正则表达式之后,想着要感受一下它在爬虫里面的效果和优缺点。目标:爬取Top100榜单上电影的封面图Top100榜单规则:将猫眼电影库中的经典影片,按照评分和评分人数从高到低综合排序取前100名,每天上午10点更新。相关数据来源于“猫眼

系统 2019-09-27 17:48:31 2468

Python

python3 给定两个数组,编写一个函数来计算它们的交集。

fromtypingimportListclassSolution:defintersect(self,nums1:List[int],nums2:List[int])->List[int]:#记录两个数组中每个数字出现的次数result1={}result2={}#遍历两个数组,然后将其数字出现次数添加入字典中foriinnums1:ifinotinresult1.keys():result1[i]=1else:result1[i]+=1foriinnu

系统 2019-09-27 17:48:30 2468

Python

Python实现决策树并且使用Graphviz可视化的例子

一、什么是决策树(decisiontree)――机器学习中的一个重要的分类算法决策树是一个类似于数据流程图的树结构:其中,每个内部节点表示一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或者类的分布,树的最顶层是根结点根据天气情况决定出游与否的案例二、决策树算法构建2.1决策树的核心思路特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。决策树生成:根据所选特征评估标准,从上至下递

系统 2019-09-27 17:47:26 2468

Python

Python的垃圾回收机制详解

引用计数在Python源码中,每一个对象都是一个结构体表示,都有一个计数字段。typedefstruct_object{intob_refcnt;struct_typeobject*ob_type;}PyObject;PyObject是每个对象必有的内容,其中ob_refcnt就是作为引用计数。当一个对象有了新的引用时,它的ob_refcnt就会增加,引用它的对象被删除时则减少。一旦对象的引用计数为0,该对象立即被回收,占用空间就会被释放。优点简单易用实时

系统 2019-09-27 17:45:38 2468

Python

实例讲解Python中浮点型的基本内容

1.浮点数的介绍float(浮点型)是Python基本数据类型中的一种,Python的浮点数类似数学中的小数和C语言中的double类型;2.浮点型的运算浮点数和整数在计算机内部存储的方式是不同的,整数运算永远是精确的,然而浮点数的运算则可能会有四舍五入的误差。比如观察以下运算,在数学中很容易得出结果应该是0.8965,而使用程序运算得出的结果却是:0.8965000000000001;a=1.25b=0.3535print(a-b)#输出:0.89650

系统 2019-09-27 17:38:29 2468

Python

python常用函数详解

1.函数的介绍为什么要有函数?因为在平时写代码时,如果没有函数的话,那么将会出现很多重复的代码,这样代码重用率就比较低。。。并且这样的代码维护起来也是很有难度的,为了解决这些问题,就出现了函数,用来将一些经常出现的代码进行封装,这样就可以在任何需要调用这段代码的地方调用这个函数就行了。函数的定义:函数是指将一组语句的集合通过一个名字(函数名)封装起来,要想执行这个函数,只需调用其函数名即可特性:代码重用保持一致性可扩展性2.函数的创建在python中函数定

系统 2019-09-27 17:38:08 2468

Python

对比学习:Golang VS Python3

Golang和Python都是目前在各自领域最流行的开发语言之一。Golang其高效而又友好的语法,赢得了很多后端开发人员的青睐,最适用于高并发网络编程的语言之一。Python不用说,TIOBE排行榜的前十常驻居民,现在已经稳定在前五了。在机器学习、AI、数据分析领域成为必学语言。两门编程语言在语法上都有各自的特点,而且都易学易用。本文对比这两门语言目的不是争谁优谁略,只是为了对比学习,适合掌握Python想学Go或者掌握Go想学Python的同学们参考。

系统 2019-09-27 17:57:03 2467

Python

python:所有异常的处理:万能异常

就向上篇博文中提到的,每种异常都有不同的名称,在实际开发中,不可能把每种异常都涉及到,这里就要用到今天提到的这点:万能异常。万能异常:万能异常:Exception,可以捕获任意异常。什么时候使用万能异常呢?1、如果无论出现什么异常,我们统一丢弃,或者使用同一处理方式去处理这些异常,那么用Exception就足够了。try:代码块exceptException:异常解决办法2、如果对于不同的异常呦不同的处理方式,那就需要用到多分支。当然,还可以使用多分支+万

系统 2019-09-27 17:53:08 2467

Python

centos7安装Python3及出现BUG记录

一、安装(傻瓜式)1、mkdir/usr/local/python32、cd/usr/local/python33、wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz4、yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm-develdb4-dev

系统 2019-09-27 17:47:23 2467

Python

python一键升级所有pip package的方法

pip_ungrade_all.py代码如下:#-*-coding:utf-8-*-importpipfromsubprocessimportcallfordistinpip.get_installed_distributions():call("pipinstall--upgrade"+dist.project_name,shell=True)以管理身份执行脚本pip_ungrade_all.py#pythonpip_ungrade_all.py以上这篇

系统 2019-09-27 17:56:56 2466

Python

Python入门篇之正则表达式

正则表达式有两种基本的操作,分别是匹配和替换。匹配就是在一个文本字符串中搜索匹配一特殊表达式;替换就是在一个字符串中查找并替换匹配一特殊表达式的字符串。1.基本元素正则表达式定义了一系列的特殊字符元素以执行匹配动作。正则表达式基本字符字符描述text匹配text字符串.匹配除换行符之外的任意一个单个字符^匹配一个字符串的开头$匹配一个字符串的末尾在正则表达式中,我们还可用匹配限定符来约束匹配的次数。匹配限定符最大匹配最小匹配描述**重复匹配前表达式零次或多

系统 2019-09-27 17:55:12 2466

Python

Python爬取Coursera课程资源的详细过程

有时候我们需要把一些经典的东西收藏起来,时时回味,而Coursera上的一些课程无疑就是经典之作。Coursera中的大部分完结课程都提供了完整的配套教学资源,包括ppt,视频以及字幕等,离线下来后会非常便于学习。很明显,我们不会去一个文件一个文件的下载,只有傻子才那么干,程序员都是聪明人!那我们聪明人准备怎么办呢?当然是写一个脚本来批量下载了。首先我们需要分析一下手工下载的流程:登录自己的Coursera账户(有的课程需要我们登录并选课后才能看到相应的资

系统 2019-09-27 17:54:49 2466

Python

Python标准库之sqlite3使用实例

Python自带一个轻量级的关系型数据库SQLite。这一数据库使用SQL语言。SQLite作为后端数据库,可以搭配Python建网站,或者制作有数据存储需求的工具。SQLite还在其它领域有广泛的应用,比如HTML5和移动端。Python标准库中的sqlite3提供该数据库的接口。我将创建一个简单的关系型数据库,为一个书店存储书的分类和价格。数据库中包含两个表:category用于记录分类,book用于记录某个书的信息。一本书归属于某一个分类,因此boo

系统 2019-09-27 17:53:53 2466

Python

Python 库体系整理

爱漂泊人生Python常用库大全,看看有没有你需要的作者:史豹链接:https://www.zhihu.com/question/20501628/answer/223340838来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。环境管理管理Python版本和环境的工具p–非常简单的交互式python版本管理工具。pyenv–简单的Python版本管理工具。Vex–可以在虚拟环境中执行命令。virtualenv–创建独立Pyth

系统 2019-09-27 17:53:50 2466