编程技术 - 军军小站|张军博客
Hadoop

Hadoop 的 TotalOrderPartitioner

http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求:1)均衡负载,尽量的将工作均匀的分配给不同的reduce。2)效率,分配速度一定要快。Mapreduce提供的PartitionerMapreduce默认的

系统 2019-08-12 09:29:57 3044

Hive

Hive Metastore ObjectStore PersistenceManage

最近在测试HCatalog,由于Hcatalog本身就是一个独立JAR包,虽然它也可以运行service,但是其实这个service就是metastorethriftserver,我们在写基于Hcatalog的mapreducejob时候只要把hcatalogJAR包和对应的hive-site.xml文件加入libjars和HADOOP_CLASSPATH中就可以了。不过在测试的时候还是遇到了一些问题,hivemetastoreserver在运行了一段时间

系统 2019-08-12 01:52:10 3044

Python

[Python知识图谱] 二.哈工大pyltp词性标注、命名实体识别、依存

本系列文章主要结合Python语言实现知识图谱构建相关工程,具有一定创新性和实用性,非常希望各位博友交流讨论,相互促进成长。第一篇文章主要介绍哈工大pyltp工具,包括安装过程、中文分词等;第二篇文章主要讲解词性标注、实体识别、依存句法分析和语义角色标注。知识图谱系列文章:[知识图谱实战篇]一.数据抓取之Python3抓取JSON格式的电影实体[知识图谱实战篇]二.Json+Seaborn可视化展示电影实体[知识图谱实战篇]三.Python提取JSON数据

系统 2019-09-27 17:49:45 3043

ASP.NET

Spring.Net+NHibenate+Asp.Net mvc +ExtJs 系列

就以一个简单的DirectCenter项目开始介绍这个框架吧,DirectCenter主要分为用户管理,部门管理,公司管理三个模块。首先先搭建起解决方案DirectCenter:DirectCenter:DirectCenter.Model(类库项目)实体类库,其中包括hibernate映射文件(可以把映射文件放到DAL层,这样使Model也比较单纯,而DAL则只是Nhibernate的完整实现)DirectCenter.IDAL(类库项目)数据访问层接口

系统 2019-08-12 09:29:58 3043

Hadoop

配置RHadoop与运行WordCount例子

1、安装R语言环境su-c'rpm-Uvhhttp://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'su-c'yuminstallfoo'yumlistR-\*yuminstallR2、安装RStudioDesktop和ServerDesktop是rpm包,双击执行Server安装命令:yuminstallopenssl098e#Requiredonlyfor

系统 2019-08-12 09:27:34 3043

C++

C++转向C#的疑惑:难道C#中没有拷贝构造函数 ?

不可否认,C++在过去十年乃至现在一直都是windows平台上的主流开发语言,而来势凶猛的.NET势必开辟一个崭新的局面,从目前的种种迹象来看,.NET是大势所趋,而C#作为.NET平台上的第一开发语言自然备受关注,于是有很多程序员纷纷转向C#,这其中当然不乏C++程序员。情况往往是这样,从一种语言过渡到另一种语言,哪怕是比较相似的语言,程序员也经常无意识地陷入原开发语言的思维定势,这样的结果通常只有一个,那就是导致连程序员自己也始终想不通的错误。本文由某

系统 2019-08-29 22:37:25 3042

IOS

【一步一步学IOS5 】 定制UITableView表视图单

之前,我们已经创建了一个简单的表视图App,用来显示菜单列表和图片。下面,我们继续改进该App,是其效果更佳。1)实现不同的行显示不同的图片2)定制表视图单元格1.显示不同的缩略图:在修改代码之前,我们先回顾一下在数据行上显示缩略图的代码:-(UITableViewCell*)tableView:(UITableView*)tableViewcellForRowAtIndexPath:(NSIndexPath*)indexPath{staticNSStri

系统 2019-08-12 09:30:35 3042

PHP

PHPAnalysis中文分词类实用教程

PHPAnalysis是目前广泛使用的中文分词类,使用反向匹配模式分词,因此兼容编码更广泛,现将其变量与常用函数详解如下:一、比较重要的成员变量$resultType=1生成的分词结果数据类型(1为全部,2为词典词汇及单个中日韩简繁字符及英文,3为词典词汇及英文)这个变量一般用SetResultType($rstype)这方法进行设置。$notSplitLen=5切分句子最短长度$toLower=false把英文单词全部转小写$differMax=fals

系统 2019-08-12 09:27:00 3042

Hadoop

MongoDB: Hadoop Integerateion 1

HadoopandMongoDBUseCasesThefollowingaresomeexampledeploymentswithMongoDBandHadoop.Thegoalistoprovideahigh-leveldescriptionofhowMongoDBandHadoopcanfittogetherinatypicalBigDatastack.IneachofthefollowingexamplesMongoDBisusedasthe“ope

系统 2019-08-12 09:30:37 3041

Python

Python将多个png图片转为gif,超简单教程

最近遇到一个问题是,画了一个过程的图,为了更生动地展示出来,于是就想把这几张图合成一个gif图片,这样起来应该是不错的,于是在网上搜索了一些关于python如何将一些png图片转为gif的程序,自己实现更改如下。环境准备系统:win10python版本:3.6所需安装工具包:imageio(pipinstallimageio即可)程序实现如果你依然在编程的世界里迷茫,可以加入我们的Python学习扣qun:784758214,看看前辈们是如何学习的。交流经

系统 2019-09-27 17:51:54 3040

编程技术

57章:编辑和删除现有的二进制数据

英文原版及代码下载:http://www.asp.net/learn/dataaccess/tutorial57cs.aspx?tabid=6357章:编辑和删除现有的二进制数据导言:在前面的3章里我们为处理二进制数据添加了很多的功能。我们首先在表Categories里添加BrochurePath列,并更新了体系结构。同样,为了处理表Categorie里现有的Picture列,我们在数据访问层和业务逻辑层里增加了相应的方法。同时我们创建一个页面,在Grid

系统 2019-08-29 23:27:02 3040

IOS

XCode iOS project only shows “My Mac 64-bit

转载自:http://stackoverflow.com/questions/8377970/xcode-ios-project-only-shows-my-mac-64-bit-but-not-simulator-or-device问:2downvotefavorite1share[fb]share[tw]ThisjuststartedhappeningthatmyiOSprojectisonlyshowing"MyMac64-bit"rathertha

系统 2019-08-12 09:30:29 3040

C++

Kinect SDK C++ - 2. Kinect Depth Data

TodaywewilllearnhowtogetdepthdatafromakinectandwhattheformatofthedataiskinectcodekinectInitializationTogetthedepthdatafromthekinect,simplychangetheargumenttoNuiImageStreaOpen().TheFirstargumentisnowNUI_IMAGE_TYPE_DEPATH,tellingthe

系统 2019-08-12 01:33:19 3039

Hadoop

Hadoop 集群 傻瓜式搭建手记

关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf文件夹下,分别是:masters/slavers:配置masters和slavers的机器IPhadoop-env.sh:Hadoop运行时的环境变量,比如JAVA_HOME,LOG之类的core-site.xml:Hadoop的核心配置文件,对应并覆盖core-default.xml中的配置项hdfs-site.xml:HDFS的配置文件,对应并覆盖hdfs-de

系统 2019-08-29 23:51:04 3038

编程技术

基础算法-递推法

实用算法(基础算法-递推法-01)有一类试题,每相邻两项数之间的变化有一定的规律性,我们可将这种规律归纳成如下简捷的递推关系式:Fn=g(Fn-1)这就在数的序列中,建立起后项和前项之间的关系,然后从初始条件(或最终结果)入手,一步步地按递推关系递推,直至求出最终结果(或初始值)。很多程序就是按这样的方法逐步求解的。如果对一个试题,我们要是能找到后一项与前一项的关系并清楚其起始条件(最终结果),问题就好解决,让计算机一步步算就是了,让高速的计算机做这种重复

系统 2019-08-29 23:04:47 3038