Hadoop

使用Hadoop MapReduce 进行排序

本文转自:http://www.alidw.com/?p=1420在hadoop中的例子TeraSort,就是一个利用mapredue进行排序的例子。本文参考并简化了这个例子:排序的基本思想是利用了mapreduce的自动排序功能,在hadoop中,从map到reduce阶段,map出来的结构会按照各个key按照hash值分配到各个reduce中,其中,在reduce中所有的key都是有序的了。如果使用一个reduce,那么我们直接将他output出来就行

系统 2019-08-12 09:30:30 3489

Python

New Book - Programming in Python 3

Finallygotmyhandsonthebrandnew"ProgramminginPython3-ACompleteIntroductiontothePythonLanguage".AsfarasIknow,thisisthefirstprintbookcoveringPython3.0(Python3000).Aquickskimlookedpromising.NewBook-ProgramminginPython3

系统 2019-08-29 23:44:58 3488

Android

三星给中国电信定制的支持Android 2.0新机i899

三星正式对外发布了他们在中国地区的有一款Android手机——三星i899。据悉I899是三星在华发布的首款支持CDMA2000网络的Android产品。该机在硬件配置方面也颇为强大,3.2英寸AMOLED触摸屏幕、320×480分辨率、1440毫安电池以及300万像素摄像头。另外这款手机还只支持WiFi和WAPI网络的自由切换,另外三星自家的800MHz处理器以及512MB内存还是给这款手机提供了强大的性能保证。虽然官方并没有给出这款手机的Android

系统 2019-08-29 23:40:15 3488

Java

[Java] servlet实现带上传进度条文件上传

这个问题,我试了几天了,文件是上传了,但是一直不能显示进度条,后来我一边查阅资料,一边修改,终于解决了,希望大家帮我顶起来哦。需要两个JAR包文件下载地址:前两个是commons-fileupload-1.2.1.jar和commons-io-1.3.2.jar,这个两个是必须的。本帖隐藏的内容上传效果图:关于Java代码的下载地址:本帖隐藏的内容ajaxup.rar(4.98KB,下载次数:0)18分钟前上传下载次数:0关于web.xml的配置文件,请你

系统 2019-08-29 23:49:05 3487

编程技术

SIP Provider Examples

Contents[hide]1ExampleConfiguration2ProviderConfigurationPages3GatewayOverview3.1KeepingConnectionsAlive4SeeAlsoExampleConfigurationThefollowingisalistofphoneprovidersthathavebeensuccessfullytestedwiththeFreeSWITCHsoftware.Pleasen

系统 2019-08-29 23:33:37 3487

编程技术

Animation Types

3.1BasicAnimationCABasicAnimation3.2KeyframeAnimations我最近进行了一些关于关键桢动画方面的研究,感觉不错。关键桢动画其实是一个很酷的东西,因为它们会在你创建的层进行动作时给你提供更加精确的控制。基本动画在“开始”和“结束”点之间进行线性插值,在很多情况下,你都可以使用基本动画。但是有时候,如果你希望进行一些不一样或者更复杂的动画时,基本动画就不够用了。本文介绍的关键桢动画可以允许你在动画的过程中进行精确

系统 2019-08-12 09:29:51 3487

Hadoop

【Hadoop】利用MultipleOutputs,MultiOutputFor

这是小D第一篇博客,有什么错误还请各位指正。小D也是刚接触Hadoop,因为在淘宝实习,有很多算法要在分布式环境下实现,所以这几天一直在看Hadoop,边用边学。最近实现的一个算法需要reduce输出很多参数,每个参数的格式不一样,而且要做为下一次mapreduce的输入,大家都知道Hadoop的分布式操作系统HFS是以目录为节点读取文件的,每个reduce输出一个分片,所以必须把要输出的文件根据类型的不同输出到不同的目录中去。因为淘宝还在用Hadoop0

系统 2019-08-12 09:29:27 3487

Python

bat批处理执行python脚本

在执行python脚本时,需要不断地输入参数来测试实验代码,甚是繁琐(尤其是在给别人演示代码的时候)。想着是不是可以设计一个自动化一键执行的脚本bat执行python文件:@echooff::setINTERVAL=10::timeout%INTERVAL%::Againecholocal_capC:cd%~dp0startpythonwlocal_cap.pyrem使用ping命令暂停3s,这样可以看到调用python后的结果::ping-n10127.

系统 2019-09-27 17:52:19 3486

ASP.NET

跨入asp.net大门

跨入asp.net大门刚刚会C#,就按奈不住,试试asp.net。直冲asp.net大门,结果没走好,踢门槛上了……使用asp.net网站管理工具安全设置向导,定义了角色,创建新用户的时候,总提示“密码最短长度为7,其中必须包含以下非字母数字字符:1。”上网一查才发现,原来密码中需要有至少一位的非数字也非字母的字符(开始理解错了,以为微软说非字母的数字字符呢!而且还必须包括1。。。)改了密码,OK!创建成功。虽然走急了点,还好没摔倒,跨入asp.net大门

系统 2019-08-29 23:50:03 3486

redis

对redis数据持久化的一些想法

数据持久化通俗讲就是把数据保存到磁盘上,保证不会因为断电等因素丢失数据。redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式,一种是Snapshotting(快照)也是默认方式,另一种是Append-onlyfile(缩写aof)的方式。先介绍下这两种dump方式再讲讲自己遇到的一些现象和想法,前面的内容是从网上整理出来的。Snapshotting快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件

系统 2019-08-12 01:53:18 3486

编程技术

开源的数据库连接池 SQL Relay 介绍

开源的数据库连接池SQLRelay介绍author:heiyelurenblog:http://blog.csdn.net/heiyeshuwu概述:SQLRelay是个功能强大并且非常容易使用的持久数据库连接池系统,能够运行在Unix/Linux系统下,能够支持大部分主流的数据库系统和大部分的编程语言,有效的减轻服务器的负载和移植问题,是很多Web应用数据库连接池的一个选择。SQLRelay是适合于Unix/Linux下的一个持久数据库连接池,代理服务器

系统 2019-08-29 23:08:05 3485

编程技术

MapReduce详解

转载请出自出处:http://eksliang.iteye.com/blog/2228705一.Hadoop1.0中MapReduce的组成1.从功能模块角度客户端:提交MapReduce作业;JobTracker:1.作业调度:将一个作业(Job)分成若干个子任务分发到taskTraker中去执行2.任务监控:TaskTracker发送心跳给JobTracker报告自己的运行状态,以让JobTracker能够监控到他3.资源管理:每个任务向JobTrac

系统 2019-08-12 09:30:36 3485

编程技术

[cPAMIE] pywintypes.com_error问题

[cPAMIE]pywintypes.com_error问题VersionDateCreatorDescription1.0.0.12007-1-17郑昀草稿继续阅读之前,我们假设您熟悉以下知识:nPython[错误现象1]我们在使用如下代码启动IE浏览器:codeimportcPAMIEg_ie=cPAMIE.PAMIE()g_ie.showDebugging=Falseg_ie.frameName=None并把这个工作任务作为Windows计划任务。一

系统 2019-08-12 01:33:51 3485

C++

c++封装Word (比较全了)

小鱼儿C++处女作(vcword操作封装)本人先声明这个程序是参考了汪自军封装类来写的。如果程序对你有所帮助,我将感到很荣幸。。期末到了希望大家都不要挂科哦,反正我只有英语考了,貌似及格没有压力啊。。。。程序代码:#ifndefCMYWORD_H#defineCMYWORD_H#include"msword.h"#include//段落对齐的属性enumAlignment{wdAlignParagraphCenter=1,wdAlig

系统 2019-08-12 09:27:10 3484

编程技术

JVM Perm方法存储区,后面有一点跑题

在一个jvm实例的内部,类型信息被存储在一个称为方法区的内存逻辑区中。类型信息是由类加载器在类加载时从类文件中提取出来的。类(静态)变量也存储在方法区中如果上面写的是对的,那么在我们静态变量用多了的情况下,就会出现java.lang.OutOfMemoryError:PermGenspace所以那个permSize一直不释放是合理的,因为static变量JVM一般情况下是不会去回收。我刚才看了一下我们状态的所有JAR包也只有一百二十几M,但是为什么我们设年

系统 2019-08-12 09:29:29 3483