python爬虫1《1》什么是爬虫网络爬虫？网络爬虫（又被称为网页蜘蛛，网络机器人）,是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。《2》爬虫的基本原理：我们把互联网比喻为一张大网，网络爬虫我们想象为网上的蜘蛛，网页与网页之间的连接我们理解为节点，爬虫就相当于是访问网页，获取网页的信息，又通过节点可以爬取另一个网站，然后不停的通过一个个节点即访问一个个网页，这样网站的数据就可以被我们获取下来了。《3》爬虫的分类：网络爬虫可分为通用爬虫和聚焦爬虫
系统 2019-09-27 17:50:05 2338
简介Python中对序列类型某个子集或者区间的检索称作切片。实际上，切片功能非常强大，能够提供对可编辑序列类型数据的增、删、改、查等各种操作，运用恰当的话会极大地节省编码量。因此，切片知识在Python开发中极其重要，如果啃不掉这根硬骨头，将会给你未来的Python开发之路带来极大挫败感。全国二级Python考试中考查的序列类型主要有三种，即字符串、元组和列表，也是实战中使用最频繁的数据结构。其中，列表是可编辑的，而字符串和元组仅提供读操作。本文将以列表为
系统 2019-09-27 17:49:56 2338
接触Python时间不长，对有些知识点，掌握的不是很扎实，我个人比较崇尚不管学习什么东西，首先一定回去把基础打的非常扎实了，再往高处走。今天遇到了Python中的全局变量的相关操作，遇到了问题，所以，在这里将自己遇到的问题，做个记录，以长记心！！！在Python中使用全局变量，其实，个人认为并不是很明智的选择；但是自己还是坚信，存在便合理，在于你怎么使用；全局变量降低了模块和函数之间的通用性；所以，在以后的编程过程中，应尽量避免使用全局变量。全局变量的使用
系统 2019-09-27 17:49:40 2338
Python的火不容置疑！2018年起，凭借应用广效率高的特点，Python将Java和C++甩出身后，很多人开始学习Python。但试问，怎样学Python，才不会入门即放弃？从小白成为大师真的有一个有规可循的计划吗？有位名叫骆昊(jackfrued)的资深程序员，为大家规划了一条从“从新手到大师”的百天之路！自发布，这篇Github帖子的标星数量已经过万，Fork数量也有3566。项目详细给出了一个100天的Python学习计划，每完成一个阶段都让你成
系统 2019-09-27 17:48:30 2338
本文实例为大家分享了python实现电子书翻页的具体代码，供大家参考，具体内容如下1.题目：电子书翻页：（1）自动翻页：每次默认读三行，读完之后睡两秒，直到把所有内容全部读出来（2）手动翻页：输入N阅读下一页，输错提示重新输入，直到把所有内容全部读出来2.效果：电子书为：file/a.txt自动翻页：每隔两秒出现三行直到a.txt里面的所有内容都显示出来手动翻页：输入N显示三行，输错则提示重新再输直到a.txt的所有内容全部显示出来3.思路：（1）先确定好
系统 2019-09-27 17:46:42 2338
关于django中的APPEND_SLASHAPPEND_SLASH它是啥？看变量名大概能知道做什么，就是添加斜线，用路由系统那里。路由文件,只写了路由关系代码......urlpatterns=[url(r'^test/$',views.test),]......APPEND_SLASH这个常量默认为True，就是假如你没有添加斜线，他会帮你添加上(总体是这样，具体得看源码怎么写的了)执行命名行代码启动django项目pythonmanage.pyrun
系统 2019-09-27 17:46:39 2338
特征重要性算法项目链接：https://github.com/Wchenguang/gglearn/blob/master/DecisionTree/李航机器学习讲解/FeatureImportance.ipynb信息增益法公式熵的定义：属性yyy的熵，表示特征的不确定性：P(Y=yj)=pj,i=1,2,⋯,nP\left(Y=y_{j}\right)=p_{j},\quadi=1,2,\cdots,nP(Y=yj)=pj,i=1,2,⋯,nH(Y)
系统 2019-09-27 17:46:24 2338
LRU：leastrecentlyused，最近最少使用算法。它的使用场景是：在有限的空间中存储对象时，当空间满时，会按一定的原则删除原有的对象，常用的原则（算法）有LRU，FIFO，LFU等。在计算机的Cache硬件，以及主存到虚拟内存的页面置换，还有Redis缓存系统中都用到了该算法。我在一次面试和一个笔试时，也遇到过这个问题。LRU的算法是比较简单的，当对key进行访问时（一般有查询，更新，增加，在get()和set()两个方法中实现即可）时，将该k
系统 2019-09-27 17:45:30 2338
开发工具：python3.4操作系统：win8主要功能：去指定小说网页爬小说目录，按章节保存到本地，并将爬过的网页保存到本地配置文件。被爬网站：http://www.cishuge.com/小说名称：灵棺夜行代码出处：本人亲自码的importurllib.requestimporthttp.cookiejarimportsocketimporttimeimportretimeout=20socket.setdefaulttimeout(timeout)sl
系统 2019-09-27 17:38:03 2338
setdefault()方法类似于get()方法，但会设置字典[键]=默认情况下，如果键不是已经在字典中。方法以下是setdefault()方法的语法：dict.setdefault(key,default=None)参数key--这是要被搜索的键default--这是没有找到键的情况下返回的值。返回值此方法返回字典可用的键值，如果给定键不可用，则它会返回所提供的默认值。例子下面的例子显示了setdefault()方法的使用。#!/usr/bin/pyth
系统 2019-09-27 17:37:59 2338
前言虽然同花顺之类的金融理财应用的数据足够好了，但还是有自己定制的冲动,数据自然不会不会比前者好很多，但是按照自己的想法来定制还是不错的。目标通过免费的数据接口获取数据，每日增量更新标的历史交易数据,然后通过Kibana做可视化及数据分析.其实自己通过echarts之类的可视化框架做可视化也是个不错的选择，不过前期成本太大。还有就是pandas+matplotlib已经足以应付大部分需求了，可是交互感太弱，所以借助一个可视化应用是很有必要的，这里选择的是k
系统 2019-09-27 17:55:43 2337
enumerate函数用于遍历序列中的元素以及它们的下标。enumerate函数说明：enumerate()是python的内置函数enumerate在字典上是枚举、列举的意思函数原型：enumerate(sequence,[start=0])功能：将可循环序列sequence以start开始分别列出序列数据和数据下标即对一个可遍历的数据对象(如列表、元组或字符串)，enumerate会将该数据对象组合为一个索引序列，同时列出数据和数据下标。举例说明：存在
系统 2019-09-27 17:53:23 2337
由于前边Python3.4实现远程控制电脑开关机写的远程操控电脑,使用的POP登陆有使用频率限制，导致非常被动，有时候邮件无法读取，下面改用POST网易邮箱的方法，获取邮件importurllib.requestasrequestimporthttp.cookiejarascookiejarimporturllib.parseimportreimportsmtplibfromemail.mime.textimportMIMETextimporttimeim
系统 2019-09-27 17:51:37 2337
大数据文摘出品作者：诗风悠存、蒋宝尚哄女朋友最高的境界是什么？除了用心之外，每天不重复的甜言蜜语必然是少不了的。虽然语文老师上学的时候也教了一些东西，但是日子长了必然“江郎才尽”。大家都是混科技圈的，借助自动化的手段能不能一次性的解决问题呢？嗯，显然是可以的。Github作为全球最大的同性交友网站，小伙伴们不仅可以在上面交流编程技巧，还能学到如何开发一个自动哄女友神器。先附上Github地址：https://github.com/sfyc23/Everyd
系统 2019-09-27 17:51:15 2337
目录一、数据库的配置二、DjangoORM语法1.模型之间的三种关系：一对一，一对多，多对多。2.模型常用的字段类型参数3.Field重要参数4.表(模型)的创建5.单表操作1.创建记录2.修改记录3.删除记录4.查询记录6.多表操作（多对多关系）7.聚合查询和分组查询8.F查询和Q查询9.QuerySet的惰性机制一、数据库的配置1django默认支持sqlite，mysql,oracle,postgresql数据库。<1>sqlitedjango默认使
系统 2019-09-27 17:50:13 2337
