上面我们学习了RDD如何转换,即一个RDD转换成另外一个RDD,但是转换完成之后并没有立刻执行,仅仅是记住了数据集的逻辑操作,只有当执行了Action动作之后才会真正触发Spark作业,进行算子的计算执行操作有:reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2105
工厂模式,类似实际的制造车间中,根据订单的需求来生成/创建某个实例。1.应用场景:需要创建的实例不确定,由输入的数据决定;2.实现方法:实现一个独立的类,接收传入的需要创建实例的名称,在该类中实现创建某个具体实例。3.代码:#coding:utf-8classPerson(object):def__init__(self):self.name=Noneself.gender=NonedefgetName(self):returnself.namedefge
系统 2019-09-27 17:52:30 2105
前言学习一个库的最好的方式是了解这个库的源码和组成原理,有时候源码可能会略显生涩,这时候我们想通过查看文档来了解,所以我们可以通过输出库自带的描述文档来了解一个库。Numpy和Scipy模块numpy提供了数组对象,面向的任何使用者。scipy在numpy的基础上,面向科学家和工程师,提供了更为精准和广泛的函数。scipy几乎实现numpy的所有函数,一般而言,如果scipy和numpy都有这个函数的话,应该用scipy中的版本,因为scipy中的版本往往
系统 2019-09-27 17:52:27 2105
python的循环编写程序时经常有代码需要重复运行,python提供了while和for进行循环操作。一、while循环1、while循环可以根据条件进行判断,决定是否要循环执行语句块,语法如下:循环条件后面也是要使用冒号,然后缩进写循环操作语句,先判断条件是否成立,如果为true,则执行循环操作语句,如果为false,则跳出循环。示例代码如下:count=0while(count<5):count=count+1print(count)#结果>>>5变量
系统 2019-09-27 17:52:20 2105
3.5.2for循环hello大家好,不知道在上节中大家练习while循环练习得怎么样了,相信大家都已经熟悉while循环了吧,那么现在我在这里在向大家讲解一下for循环。大家肯定也很懵圈,怎么有个while循环,又有个for循环,for循环又是干嘛的?相信很多刚接触编程的朋友一定很懵圈,哈哈......因为我当时也很懵圈。好了,废话不多说,接下来就给大家将一下for循环和while循环的区别,以及for循环是什么东西。while循环的功能非常强大,它可以
系统 2019-09-27 17:52:18 2105
原文链接:https://mp.csdn.net/postedit/98402744学习Python您是否会面临以下问题?“网上充斥着大量的学习资源、书籍、视频教程和博客,但是大部分都是讲解基础知识,不够深入;也有的比较晦涩,难以理解”。CSDNPython学习社群将帮助您过滤网上的垃圾教程资源的技能,同时,您可以在社群内与其他有经验的程序员交流获取帮助。CSDNPython社群专属福利---7月公开课表如下:课程一《Python小白重难点解析》7月24日
系统 2019-09-27 17:51:47 2105
一、新建云端notebook打开https://colab.research.google.com网站,我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码,过去都是使用邮箱,繁琐费事。现在一键分享,这里我是给自己的邮箱里转发然后大邓打开自己的邮箱,wow,6666三、团队成员可以评论代码比如在一个团队中,有的人写错了代码,我们可以在远隔十万八千的另外一台电脑上做评论,提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 2105
一.if语句1.if语句作用:让程序根据条件选择性地执行某条语句或某些语句说明:if语句又叫条件语句,也叫分支语句语法:if真值表达式1:语句块1elif真值表达式2:语句块2...else:语句块4语法说明:elif子句可以有0个,1个或多个else子句可以有0个或1个且只能放在此if语句的最后要求:if语句内部的语句通常要以4个空格的缩进来表示包含关系,相同的缩进格式代表相同的所属级别示例:#输入一个数字,判断这个数是0,还是正数,还是负数n=int(
系统 2019-09-27 17:51:22 2105
打开excel文件读取数据data=xlrd.open_workbook("excelFile.xls")读取工作表table=data.sheets()[0]#通过索引顺序获取table=data.sheet_by_index(0)#通过索引顺序获取table=data.sheet_by_name(u'Sheet1')#通过名称获取获取整行和整列的值(数组)table.row_values(i)#获取整行值table.col_values(i)#获取整列
系统 2019-09-27 17:51:17 2105
文章目录摘要环境注意-Python>=3.7会导致编译失败编译方法摘要本文记述如何在windows10上编译mod_wsgi(Python3.5+Apache-2.4.39)环境win10Apache-2.4.39-https://www.apachelounge.com/download/Python-3.5VisualStudio2019(含c++开发组件)mod_wsgi-https://github.com/GrahamDumpleton/mod_
系统 2019-09-27 17:50:32 2105