用Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：复制代码代码如下:importurllib2url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"up=urllib2.urlopen(url)#打开目标页面，存入变量upcont=up.read()#从up中读入该HTML文件key1='ke
系统 2019-09-27 17:53:24 1916
前言在使用Python进行数据分析时，经常会遇到时间日期格式处理和转换，特别是分析和挖掘与时间相关的数据，比如量化交易就是从历史数据中寻找股价的变化规律。Python中自带的处理时间的模块有datetime，NumPy库也提供了相应的方法，Pandas作为Python环境下的数据分析库，更是提供了强大的日期数据处理的功能，是处理时间序列的利器。1、生成日期序列主要提供pd.data_range()和pd.period_range()两个方法，给定参数有起始
系统 2019-09-27 17:53:00 1916
MongoDB:非关系型数据库文件管理阶段：优点：可以长期保存存储大量数据使用简单缺点：数据一致性差数据大的时候，查找修改不便随着时间增长，冗余度大数据库管理阶段：优点：降低冗余度提高增删改查效率易扩展方便调用和自动化处理缺点：上手相对复杂数据：能够输入到计算机中，并被识别处理的信息集合数据结构：计算机存储、组织数据的方式；数据库：按照一定数据结构存储管理数据的仓库。在数据库管理系统管理和控制下，在一定介质上的数据集合数据库管理系统：管理数据库的软件，用于
系统 2019-09-27 17:52:59 1916
上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 1916
python是一门灵活的语言，也可以说python是一门胶水语言，顾名思义，就是其可以导入各类的包，python的包可以说是所有语言中最多的。当然导入包大部分是为了更快捷，更方便，效率更高。对于刚入门的python爱好者来说最初接触的应该是import直接导入包的方式，例如importtime，就是导入了python的time包，这个包中的方法可以处理大部分我们项目中遇到的关于时间的问题。下面我会详细介绍几种导入包的方式(在开发过程中绝对够用)以及怎样把其
系统 2019-09-27 17:52:19 1916
最简单的网页取源（不用模拟浏览器的情况）1importrequests2defgetHTML(url):3try:4r=requests.get(url,timeout=30)5r.raise_for_status()6r.encoding='utf-8'7returnr.text8except:9return""10url="http://baidu.com"11print(getHTML(url))
系统 2019-09-27 17:50:19 1916
一、操作系统中相关进程的知识Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的I
系统 2019-09-27 17:50:08 1916
下面先给大家介绍下Python3判断2个字典相同的方法，Python自带的数据结构dict非常好用，之前不知道怎么比较2个字典是否相同，做法是一个一个key比较过去。。。现在想到可以直接用==进行判断！！！a=dict(one=1,two=2,three=3)b={'one':1,'two':2,'three':3}c=dict(zip(['one','two','three'],[1,2,3]))d=dict([('two',2),('one',1),(
系统 2019-09-27 17:50:06 1916
python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理:本站Python教程会具体介绍。断言(Assertions):本站Python教程会具体介绍。python标准异常异常名称描述BaseException所有异常的基类SystemExit解释器请求退出KeyboardInterrupt用户中断执行(通常是输入^C)Exception常规错误的基类StopIteration迭代
系统 2019-09-27 17:49:55 1916
一、写在前面前几天在微信上看到这样一篇文章，链接为：https://mp.weixin.qq.com/s/rl6Sgv3uk_IpoFAx6cWa8w，在这篇文章中，有这样一段话，吸引了我的注意：在Linux中ls是一个使用频率非常高的命令了，可选的参数也有很多，算是一条不得不掌握的命令。Python作为一门简单易学的语言，被很多人认为是不需要认真学的，或者只是随便调个库就行了，那可就真是小瞧Python了。那这次我就要试着用Python来实现一下Linu
系统 2019-09-27 17:49:51 1916
