Python

python爬虫---从零开始(三)Requests库

1,什么是Requests库Requests是用python语言编写,基于urllib,采用Apache2Licensed开源协议的HTTP库。它比urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求,用一句话来说,Requests是python实现的简单易用的HTTP库。安装Request,直接输入pip3installrequests2,使用方法(底部有码云地址)相对上一期的urllib库要简单了很多了(个人觉得简单了不少的)各种请求

系统 2019-09-27 17:49:48 2642

Python

【Python】DataFrame的列标准化

这里分享DataFrame的列标准化以及对DataFrame分组之后列标准化。DataFrame的列标准化importpandasaspdimportnumpyasnpdf=pd.DataFrame(data={'A':[1,1,2,2,2],'B':[2,3,4,6,5],'C':[3,8,5,12,6]})dfdf.apply(lambdax:(x-np.min(x))/(np.max(x)-np.min(x)))3.DataFrame分组之后列标准化

系统 2019-09-27 17:56:06 2641

Python

python networkx 包绘制复杂网络关系图的实现

1.创建一个图importnetworkxasnxg=nx.Graph()g.clear()#将图上元素清空所有的构建复杂网络图的操作基本都围绕这个g来执行。2.节点节点的名字可以是任意数据类型的,添加一个节点是g.add_node(1)g.add_node("a")g.add_node("spam")添加一组节点,就是提前构建好了一个节点列表,将其一次性加进来,这跟后边加边的操作是具有一致性的。g.add_nodes_from([2,3])ora=[2,

系统 2019-09-27 17:56:05 2641

Python

006 Python的IDE之Jupyter的使用

今天给大家分享的是Jupyter安装和基本使用教程,同时在我安装的过程中遇到了一些问题,解决方法,一并和大家分享一、Jupyter介绍JupyterNotebook的本质是一个Web应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和markdown。用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。优点:好用,很好用。JupyterNotebook也是一个算法工程师友好的工具,但仍有许多拓展的空间,比如:当你的文件中包含大量

系统 2019-09-27 17:55:56 2641

Python

安装完Anaconda python 3.7,想使用python3.6方法

原文链接:https://www.cnblogs.com/xiaodai0/p/9780101.html安装完Anacondapython3.7,想使用python3.6方法cmd使用命令:condacreate-npy36python=3.6anaconda安装好后,会有提示:Toactivatethisenvironment,use:#>activatepy36##Todeactivateanactiveenvironment,use:#>deacti

系统 2019-09-27 17:55:29 2641

Python

Python爬取17k小说

改一下用户名和密码可以直接用(要开通VIP才能抓VIP的章节),代码如下:#-*-coding:utf-8-*-#@Time:2019/5/1917:53#@Author:LMimportrequestsfrombs4importBeautifulSoupimportjsonimportosclassSpider(object):def__init__(self):self.headers={'user-agent':'Mozilla/5.0(Window

系统 2019-09-27 17:53:27 2641

Python

python在linux中输出带颜色的文字的方法

在开发项目过程中,为了方便调试代码,经常会向stdout中输出一些日志,默认的这些日志就直接显示在了终端中。而一般的应用服务器,第三方库,甚至服务器的一些通告也会在终端中显示,这样就搅乱了我们想要的信息。我们可以通过对有用的信息设置不同颜色来达到醒目的效果,因为我平时都是在linux下开发,而linux终端中的颜色是用转义序列控制的,转义序列是以ESC开头,可以用\033完成相同的工作(ESC的ASCII码用十进制表示就是27,等于用八进制表示的33)。书

系统 2019-09-27 17:48:16 2641

Python

python requests库爬取豆瓣电视剧数据并保存到本地详解

首先要做的就是去豆瓣网找对应的接口,这里就不赘述了,谷歌浏览器抓包即可,然后要做的就是分析返回的json数据的结构:https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0这是接口地址,可以大概的分析一下各个参数的规则:type=tv,表示的是电视剧的分类tag=国产

系统 2019-09-27 17:47:01 2641

Python

Python数据可视化最牛模块没有之一

前言之前群里有人问,说我之前Pyecharts代码不能用了,我自己尝试了一下,还是可以用的,后面才发现是因为现在pyecharts更新了,这个是pyecharts官网的原话(pyecharts分为v0.5.X和v1两个大版本,v0.5.X和v1间不兼容,v1是一个全新的版本)。所以说,如果你安装的是v1版本的pyecharts,那我之前的代码都是不能用了,其实pyecharts的官方文档写的很详细(https://pyecharts.org/),但还是有人

系统 2019-09-27 17:46:13 2641

Python

python中的global语句用法

在初学python时想要在函数内修改一个变量的引用,往往会出现如下情况:num=1deffun():num=2print(num)fun()print(num)#输出结果为2#1想改变num的值,在函数中修改后,在函数中调用返回值为修改后的值,但用print输出num的值仍为1。此时在函数内部,num的值是局部变量,而函数外部的num是全局变量。想要修改全局变量此时就应该引入global语句global语句的用法语法:声明此变量为全局变量。用法:globa

系统 2019-09-27 17:57:43 2640

Python

python爬虫实现中英翻译词典

本文实例为大家分享了python爬虫实现中英翻译词典的具体代码,供大家参考,具体内容如下通过根据某平台的翻译资源,提取出翻译信息,并展示出来,包括输入,翻译,输出三个过程,主要利用python语言实现(python3.6),抓取信息展示。importurllib.requestimporturllib.parseimportjsondefen_zh(content):url='http://fanyi.baidu.com/v2transapi'head={

系统 2019-09-27 17:56:29 2640

Python

python递归解析嵌套json

json数据示例{"node":"a","subNodes":[{"node":"a1","subNodes":[{"node":"a11","subNodes":[{"node":"a111","subNodes":[]},{"node":"a112","subNodes":[]}]},{"node":"a12","subNodes":[]}]},{"node":"a2","subNodes":[]}]}{"node":"b","subNodes":[{

系统 2019-09-27 17:54:36 2640

Python

用Python识别人脸,人种等各种信息

最近几天了解了一下人脸识别,应用场景可以是图片标注,商品图和广告图中有没有模特,有几个模特,模特的性别,年龄,颜值,表情等数据的挖掘。基础的识别用dlib来实现,dlib是一个机器学习的包,主要用C++写的,但是也有Python版本。其中最流行的一个功能是FacialLandmarkDetection,配备已经训练好的轮廓预测模型,叫shape_predictor_68_face_landmarks.dat,从名字就可以看出,它可以检测出面部的68个关键点

系统 2019-09-27 17:52:05 2640

Python

用Python实现QQ游戏大家来找茬辅助工具

好久没写技术相关的文章,这次写篇有意思的,关于一个有意思的游戏――QQ找茬,关于一种有意思的语言――Python,关于一个有意思的库――Qt。这是一个用于QQ大家来找茬(美女找茬)的辅助外挂,开发的原因是看到老爸天天在玩这个游戏,分数是惨不忍睹的负4000多。他玩游戏有他的乐趣,并不很在意输赢,我做这个也只是自我娱乐,顺便讨他个好,毕竟我们搞编程的实在难有机会在父辈面前露露手。本来是想写个很简单的东西,但由于过程中老爸的多次嘲讽,逼得我不得不尽力完善,最后

系统 2019-09-27 17:56:56 2639

Python

python assert使用

前言在测试用例中,执行完测试用例后,最后一步是判断测试结果是pass还是fail,自动化测试脚本里面一般把这种生成测试结果的方法称为断言(assert)。用unittest组件测试用例的时候,断言的方法还是很多的,下面介绍几种常用的断言方法:assertEqual、assertIn、assertTrue---------------------基本断言方法基本的断言方法提供了测试结果是True还是False。所有的断言方法都有一个msg参数,如果指定msg

系统 2019-09-27 17:56:44 2639