publicclassWordCountApp{//可以指定目录,目录下如果有二级目录的话,是不会执行的,只会执行一级目录.privatestaticfinalStringINPUT_PATH="hdfs://hadoop1:9000/abd";//输入路径privatestaticfinalStringOUT_PATH="hdfs://hadoop1:9000/out";//输出路径,reduce作业输出的结果是一个目录//_SUCCESS:在linux
系统 2019-08-12 09:26:47 2229
本文主要基于AnandRajaraman和JeffreyDavidUllman合著，王斌翻译的《大数据-互联网大规模数据挖掘与分布式处理》一书。KMeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的
系统 2019-08-12 01:32:45 2229
12.329orm单表查询importosif__name__=='__main__':#指定当前py脚本需要加载的Django项目配置信息os.environ.setdefault("DJANGO_SETTINGS_MODULE","orm_demo.settings")importdjangodjango.setup()#启动Django项目fromapp01importmodels#返回QuerySet对象的方法:ret=models.Book.ob
系统 2019-09-27 17:56:39 2228
本文简单讲述了python操作CouchDB的方法，分享给大家供大家参考。具体方法如下：1.安装pythoncouchDb库：https://pypi.python.org/pypi/CouchDB/0.102.连接服务器>>>importcouchdb>>>couch=couchdb.Server('http://example.com:5984/')3.创建数据库>>>db=couch.create('test')#新建数据库>>>db=couch['
系统 2019-09-27 17:55:43 2228
创建目录python3.6.5安装目录：mkdir/usr/local/python3.6.5进入安装目录：cd/usr/local/python3.6.5执行以下命令，下载python安装包wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz解压安装包tar-xzvfPython-3.6.5.tgz执行以下命令切换到解压目录：cdPython-3.6.5执行以下命令，安装gcc组件yum
系统 2019-09-27 17:55:38 2228
pythonredis之连接池的原理转载地址什么是连接池通常情况下,当我们需要做redis操作时,会创建一个连接,并基于这个连接进行redis操作,操作完成后,释放连接,一般情况下,这是没问题的,但当并发量比较高的时候,频繁的连接创建和释放对性能会有较高的影响于是,连接池就发挥作用了连接池的原理是,通过预先创建多个连接,当进行redis操作时,直接获取已经创建的连接进行操作,而且操作完成后,不会释放,用于后续的其他redis操作这样就达到了避免频繁的red
系统 2019-09-27 17:55:12 2228
踩了很多坑，记录一下这次试验，本次测试环境：Linuxcentos764位。pyenv是一个python版本管理工具，它能够进行全局的python版本切换，也可以为单个项目提供对应的python版本，使用pyenv以后，可以在服务器上安装多个不同的python版本，版本切换方便，能够更好的满足我们的需求。virtualenv是一个管理不同项目的工具，用以隔离不同项目的工作环境，在同一个python版本实现不同的环境需求。pyenv与virtualenv配合
系统 2019-09-27 17:54:23 2228
概述数据结构是组织数据的方式，以便能够更好的存储和获取数据。数据结构定义数据之间的关系和对这些数据的操作方式。数据结构屏蔽了数据存储和操作的细节，让程序员能更好的处理业务逻辑，同时拥有快速的数据存储和获取方式。在这篇文章中，你将了解到多种数据结构以及这些数据结构在Python中实现的方式。抽象数据类型和数据结构数据结构是抽象数据类型(ADT)的实现，通常，是通过编程语言提供的基本数据类型为基础，结合相应的代码来实现。通常来说，数据结构分为两类：原始数据结构
系统 2019-09-27 17:54:21 2228
目录一、方法一：通过正常方法（low）二、通过脚本的方式进行项目部署三、通过docker部署（完美的办法）一、方法一：通过正常方法（low）1、生成requirements文件，即项目依赖的包#cd到项目目录下pipfreeze>requirements.txt2、创建虚拟环境python-mvenvvenv(这个是虚拟环境名称)3、激活虚拟环境#进入venv虚拟环境下的bin目录，执行sourceactivate4、上传项目到服务器（复制，gitpull
系统 2019-09-27 17:53:51 2228
使用selenium浏览器自动化测试框架爬取网易云音乐电台专栏代码#!/usr/bin/envpython#-*-coding:utf-8-*-#@Time:2019/7/921:02#@Author:nick#@Site:http://www.isscollege.com/fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptions#实例化一个启动参数对象chr
系统 2019-09-27 17:53:26 2228
