python爬虫1《1》什么是爬虫网络爬虫?网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理:我们把互联网比喻为一张大网,网络爬虫我们想象为网上的蜘蛛,网页与网页之间的连接我们理解为节点,爬虫就相当于是访问网页,获取网页的信息,又通过节点可以爬取另一个网站,然后不停的通过一个个节点即访问一个个网页,这样网站的数据就可以被我们获取下来了。《3》爬虫的分类:网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:48:45 2139
通常来说,Python的变量/数据类型非常多,但是它是不需要用户指定的,因为有些是根据部份系统函数生成,另外一些是自动根据变量的值识别的,这些数据类型常量在classtypes定义,所以使用时需要importtypes如:复制代码代码如下:importtypesa=[1,2,3]iftype(a)istypes.ListType:printaelse:print'notlist'Python的具体变量/数据类型如下:NoneTypeNone类型TypeTy
系统 2019-09-27 17:48:24 2139
面向对象编程时,都会遇到一个概念,类,python也有这个概念,下面我们通过代码来深入了解下。创建和使用类classDog():def__init__(self,name,age):self.name=nameself.age=agedefsit(self):print(self.name.title()+"isnowsitting.")defroll_over(self):print(self.name.title()+"rolledover!")my_
系统 2019-09-27 17:48:08 2139
有很久没有更新我的博客了,在学习flask去了,别人都说flask不难,其实现在我也这么觉得,但是在刚接触的时候还是有点吃力的。在学习的过程中查阅了不少,也了解了许多,今天想做个总结。。。以免觉得学了那么久什么都没学到,还有防止以后忘记。一.关于装饰器,路由最开始接触的时候觉得好神奇,只会照着敲不知道怎么自己用起来@app.route(‘/')defhello:print(‘hello')注意:1.只有@这个东西是固定的,app是可以换的,这与蓝本中的定义
系统 2019-09-27 17:48:05 2139
问题定义一个int型的一维数组,包含40个元素,用来存储每个学员的成绩,循环产生40个0~100之间的随机整数,(1)将它们存储到一维数组中,然后统计成绩低于平均分的学员的人数,并输出出来。(2)将这40个成绩按照从高到低的顺序输出出来。解决(python)#!/usr/binpython#coding:utf-8from__future__importdivision#实现精确的除法,例如4/3=1.333333importrandomdefmake_s
系统 2019-09-27 17:47:43 2139
要爬取的网站不需要登陆,没有反爬机制,操作很简单首先安装需要的程序包pipinstallrequestspipinstallbeautifulsoup4pipinstallxlwt具体的实现类GetInfo.py#信息实体类classproduct_info(object):serios=''#存放商品系列productActualPrice=''#存放商品成交价productOldPrice=''#存放商品面价detailString=''#存放商品详情
系统 2019-09-27 17:47:27 2139
本文实例讲述了python的类方法和静态方法。分享给大家供大家参考。具体分析如下:python没有和C++中static关键字,它的静态方法是怎样的呢?还有其它语言中少有的类方法又是神马?python中实现静态方法和类方法都是依赖于python的修饰器来实现的。复制代码代码如下:classMyClass:defmethod(self):print("method")@staticmethoddefstaticMethod():print("staticme
系统 2019-09-27 17:47:26 2139
python3shelve模块的详解一、简介在python3中我们使用json或者pickle持久化数据,能dump多次,但只能load一次,因为先前的数据已经被后面dump的数据覆盖掉了。如果我们想要实现dump和load多次,可以使用shelve模块。shelve模块可以持久化所有pickle所支持的数据类型。二、持久化数据1、数据持久化importshelveimportdatetimeinfo={'name':'bigberg','age':22}
系统 2019-09-27 17:38:13 2139
①GET#-*-coding:utf-8-*-importrequestsdefget(url,datas=None):response=requests.get(url,params=datas)json=response.json()returnjson注:参数datas为json格式②POST#-*-coding:utf-8-*-importrequestsdefpost(url,datas=None):response=requests.post(
系统 2019-09-27 17:38:03 2139
在实际应用中,你将用Django模板系统来创建整个HTML页面。这就带来一个常见的Web开发问题:在整个网站中,如何减少共用页面区域(比如站点导航)所引起的重复和冗余代码?解决该问题的传统做法是使用服务器端的includes,你可以在HTML页面中使用该指令将一个网页嵌入到另一个中。事实上,Django通过刚才讲述的{%include%}支持了这种方法。但是用Django解决此类问题的首选方法是使用更加优雅的策略――模板继承。本质上来说,模板继承就是先构造
系统 2019-09-27 17:37:53 2139