通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2198
简单示例frommatplotlibimportpyplotaspltfromwordcloudimportWordCloudfilename="text.txt"#文本路径withopen(filename,encoding="utf-8")asf:data=f.read()font=r'C:\Windows\Fonts\FZSTK.TTF'wc=WordCloud(font_path=font,#如果是中文必须要添加字体background_color
系统 2019-09-27 17:50:12 2198
阅读目录一、三大编程范式编程范式即编程的方法论，标识一种编程风格：大家学习了基本的python语法后，大家可以写python代码了，然后每个人写代码的风格不同，这些不同的风格就代表了不同的流派；如果把python的基本语法比作武术的基本功，那么不同的编程风格就好比不同的武林门派。虽然大家风格不同，但是都可以完成你的编程需求，python是一门面向对象编程语言，但是目前为止，你从未接触面向对象编程，然而你已经可以解决很多问题了，在python中并没有人强制你
系统 2019-09-27 17:49:49 2198
在Python中也可以像gcc/gdb那样调试程序，只要在运行Python程序时引入pdb模块（假设要调试的程序名为d.py）：复制代码代码如下:$vid.py#!/usr/bin/pythondefmain():i,sum=1,0foriinxrange(100):sum=sum+iprintsumif__name__=='__main__':main()$python-mpdbd.py运行上面的命令后进入以下界面，可以输入类似gdb的命令来改变程序的执
系统 2019-09-27 17:48:42 2198
前言二级Python第10章《第三方库概览》中介绍了三个库：PyInstallerJiebaWordCloud其中，前两个库是必须掌握的，第三个库是可选学习。因此，编程题中肯定不会出现对于词云库WordCloud的考察要求。但是，从实际应用开发角度讲，这个库是学习时下Python大数据编程必须要掌握的——当然也是比较简单的。安装问题在安装WordCloud过程中遇到失败与成功，特别记录于下。家中机器上的失败安装遗憾的是，家中笔记本上安装的是WINDOWS7
系统 2019-09-27 17:48:29 2198
首先下载源tar包可利用linux自带下载工具wget下载，如下所示：wgethttp://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz下载完成后到下载目录下，解压tar-zxvfPython-2.7.3.tgz进入解压缩后的文件夹cdPython-2.7.3在编译前先在/usr/local建一个文件夹python27（作为python的安装路径，以免覆盖老的版本）mkdir/usr/local/pyth
系统 2019-09-27 17:48:01 2198
今天发现了一个好玩的小项目，做的就是坦克大战的，看到它的一瞬间让我想起了小时候泡在4399网站里面的时光了，我果断下载下来跑了起来，做的还是可以的，这里的可以就是说视觉效果上的可以，至于具体内容细节什么还是有一些bug的，比如我自己摧毁“老窝”的时候居然没有游戏结束，等等。既然项目别人已经做好了，我就不多做什么工作了，想着运行py脚本多麻烦，能够把游戏打包成为exe文件就好了，想到这里就开始着手进行游戏的打包工作，这里主要使用的是pyinstaller模块
系统 2019-09-27 17:47:08 2198
pythonselenium采坑系统环境：python2macos10.14.5正文:之前装了一个firefox就可以完美使用selenium了，但是在firefox上进行网页检查时不是很习惯。所以还是想使用chrome，但是由于selenium原生不支chrome，所以需要下载chromedriver并在生成selenium对象前把chromedriver和chrome放到应用程序路径下，或者再初始化webdriver.Chrome对象时设置chrome
系统 2019-09-27 17:46:26 2198
项目实现利用face++开发一个课堂签到的软件，实现面向摄像头即可完成记录学号、姓名和时间的签到工作。项目架构项目使用场景代码：流程代码，主文件#!usr/bin/#-*-coding:utf-8-*-importrequestsfromjsonimportJSONDecoderimportcsvimportcv2importtimeimporttkinterastksearch_url="https://api-cn.faceplusplus.com/f
系统 2019-09-27 17:45:37 2198
本文介绍一个将911袭击及后续影响相关新闻文章的主题可视化的项目。我将介绍我的出发点，实现的技术细节和我对一些结果的思考。简介近代美国历史上再没有比911袭击影响更深远的事件了，它的影响在未来还会持续。从事件发生到现在，成千上万主题各异的文章付梓。我们怎样能利用数据科学的工具来探索这些主题，并且追踪它们随着时间的变化呢？灵感首先提出这个问题的是一家叫做LocalProjects的公司，有人委任它们为纽约的国家911博物馆设置一个展览。他们的展览，Times
系统 2019-09-27 17:38:21 2198
