- 军军小站|张军博客
拥有Python标签的文章
Python

python爬虫小案例_中国大学排名爬虫

一、中国大学排名爬虫案例的步骤如下:步骤1:从网络上获取大学排名网页内容getHTMLText()步骤2:提取网页内容中信息到合适的数据结构fillUnivList()步骤3:利用数据结构展示并输出结果printUnivList()查看http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html的源码,部分如下:实现本案例的参考代码如下:importrequestsimportbs4frombs4importB

系统 2019-09-27 17:45:36 2036

Python

PYTHON压平嵌套列表的简单实现

list是Python中使用最频繁的数据类型,标准库里面有丰富的函数可以使用。不过,如果把多维列表转换成一维列表(不知道这种需求多不多),还真不容易找到好用的函数,要知道Ruby、Mathematica、Groovy中可是有flatten的啊。如果列表是维度少的、规则的,还算好办例如:li=[[1,2],[3,4],[5,6]]print[jforiinliforjini]#orfromitertoolsimportchainprintlist(chain

系统 2019-09-27 17:38:27 2036

Python

Python 出现错误TypeError: ‘NoneType’ object

Python出现错误TypeError:‘NoneType'objectisnotiterable解决办法TypeError:'NoneType'objectisnotiterable这个错误提示一般发生在将None赋给多个值时。defmyprocess():a==bifa!=b:returnTrue,value;flag,val=myprocess()在判断语句中,当if条件不满足,并且没有else语句时,函数默认返回None。在没有return语句时,

系统 2019-09-27 17:57:03 2035

Python

Python:axis=0 axis=1的理解

官方文档解释:轴用来为超过一维的数组定义的属性,二维数据拥有两个轴:第0轴沿着行的垂直往下,第1轴沿着列的方向水平延伸。注意看,官方对于0和1的解释是轴,也就是坐标轴。而坐标轴是有方向的,所以千万不要用行和列的思维去想axis,因为行和列是没有方向的,这样想会在遇到不同的例子时感到困惑。根据官方的说法,1表示横轴,方向从左到右;0表示纵轴,方向从上到下。当axis=1时,数组的变化是横向的,而体现出来的是列的增加或者减少。其实axis的重点在于方向,而不是

系统 2019-09-27 17:56:03 2035

Python

零基础写python爬虫之urllib2中的两个重要概念:Openers和

在开始后面的内容之前,先来解释一下urllib2中的两个个方法:info/geturlurlopen返回的应答对象response(或者HTTPError实例)有两个很有用的方法info()和geturl()1.geturl():这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许会有重定向。获取的URL或许跟请求URL不同。以人人中的一个超级链接为例,我们建一个urllib2_test10.py来比较一下原始URL

系统 2019-09-27 17:54:49 2035

Python

[python pandas]dataframe添加行/按照原

网上有许多方法提到要用append或者loc直接赋值,但是我运行发现都不行,不知道为啥。我是想把原dataframe中的几行提出来放到新的dataframe中。方法如下:#按照原dataframe的列标题创建新的dataframeNewDataFrame=pd.DataFrame(columns=OriginalDataFrame.columns.values)#i为要提取的行号row=OriginalDataFrame.loc[[i]]frames=[N

系统 2019-09-27 17:54:37 2035

Python

Python 持久化模块pickle和joblib

在程序运行的过程中,所有的变量都是在内存中,有时候希望将对象存储下来。我们把对象从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling。picklePython提供两个模块来实现序列化:cPickle和pickle。这两个模块功能是一样的,区别在于cPickle是C语言写的,速度快,pickle是纯Python写的,速度慢。将对象保存为字符串importpicklea1=['abc',[1,2],{'x':3}]s1=pickle.

系统 2019-09-27 17:53:47 2035

Python

python笔记2

阅读更多操作列表#列表循环for循环(for**in**)1.注意使用for循环时print前要缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)#可在for循环中执行更多操作#2.不使用for循环时,切记print能缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)print("theyaresocute")#在

系统 2019-09-27 17:51:31 2035

Python

基于socket的python分布式运算中多服务器间的通信问题

本文从参考了网络上的许多内容,主要为分布式进程及其的评论内容。所谓分布式运算,既可以指在同一台机器上利用多进程(线程)进行运算,又可以指将计算任务进行分解,利用多台机器进行运算。本文中的分布式单指最后一种。python的标准库multiprocessing中存在一个managers的子模块,该模块支持将多进程分布到多台机器上。选择一个进程来调度任务,其他进程进行计算,从而实现分布式运算。而调度进程和计算进程之间的通信,是通过网络来进行的,用到了python

系统 2019-09-27 17:49:22 2035

Python

python数组循环处理方法

简介本文主要介绍python数组循环语法。主要方式有元素遍历,索引遍历,enumerate,zip,list内部等。普通循环list1=['item1','item2','item3']foriteminlist1:print(item)//结果item1item2item3根据index循环1list1=['item1','item2','item3']index=0foriteminlist1:print('index:'+str(index)+',v

系统 2019-09-27 17:47:33 2035

Python

python实现爬取百度图片的方法示例

本文实例讲述了python实现爬取百度图片的方法。分享给大家供大家参考,具体如下:importjsonimportitertoolsimporturllibimportrequestsimportosimportreimportsysword=input("请输入关键字:")path="./ok"ifnotos.path.exists(path):os.mkdir(path)word=urllib.parse.quote(word)url=r"http:/

系统 2019-09-27 17:47:09 2035

Python

可能是最全面的 Python 字符串拼接总结

来源:枫恋寒链接:https://segmentfault.com/a/119000001.png"font-size:12px;">在Python中字符串连接有多种方式,这里简单做个总结,应该是比较全面的了,方便以后查阅。加号连接第一种,通过+号的形式:>>>a,b='hello','world'>>>a+b'helloworld'逗号连接第二种,通过,逗号的形式:>>>a,b='hello','world'>>>print(a,b)helloworld

系统 2019-09-27 17:47:08 2035

Python

Python爬取 工控行业系统漏洞

先贴连接,让各位观众老爷看看,对不对你们的胃口工控行业系统漏洞可以看到,这个网页是html静态的,所以问题变的非常的简单只需要用request请求网页就可以了话不多说,直接贴代码importrequestsfromurllib.parseimporturlencodefromlxmlimportetreeimportpymysqlimporttimeimportxlwtimportxlrddefmakeurl():#http://ics.cnvd.org.

系统 2019-09-27 17:45:43 2035

Python

在Heroku云平台上部署Python的Django框架的教程

Heroku是一个很棒的平台,它有很多的控件,并且搭建环境相对来说也比较容易。本指南中,我将一步一步指导你在Heroku平台上部署一个简单地Django应用搭建开发环境Heroku工具链假设你已经在Heroku平台上注册了一个帐户,并且在里面创建了一款应用,为了一会儿通过CLI与Heroku交互,你需要安装Heroku工具链。在这篇指南中,我们用"Sample-Project"作为应用的名字。Git仓库在部署你的应用到Heroku之前,你需要先将你的代码签

系统 2019-09-27 17:38:25 2035

Python

python虚拟环境的安装配置图文教程

使用pip安装pipinstallvirtualenv因为已经安装过了,所以显示这样在这里我想在这里推荐大家以后再安装类库时可以用豆瓣源来安装,速度很快,因为在国内访问官方pypi源非常慢,pip安装包经常会出错豆瓣源我来演示下django的安装可以看到速度很快好了回到虚拟环境的安装virtualenvscrapytest(环境名)安装好后输入activate.bat进入虚拟环境后输入python查看当前python版本为2.7退出退出虚拟环境:输入dea

系统 2019-09-27 17:37:40 2035