Hive的访问接口|Allen'sWorldHive的访问接口Hive提供了三种客户端访问接口：1）HiveCLI（HiveCommandLine，Hive命令行），客户端可以直接在命令行模式下进行操作。2）hwi（HiveWebInterface，HiveWeb接口），Hive提供了更直观的Web界面3）hiveserver，Hive提供了Thrift服务，Thrift客户端目前支持C++/Java/PHP/Python/Ruby。下面我们来分别尝试下这
系统 2019-08-12 01:32:58 2334
功能：将两个表中的同样的字段拼接到一起測试：createexternaltableIFNOTEXISTStemp_uniontest_ta(a1string,a2string)partitionedby(dtstring)rowformatdelimitedfieldsterminatedby'\t'storedastextfile;ALTERTABLEtemp_uniontest_taADDIFNOTEXISTSPARTITION(dt='2014-10
系统 2019-08-12 01:55:40 2206
hive中使用lzo1启动hive错误Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/conf/HiveConfatjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:247)atorg.apache.hadoop.util.RunJar.main(Run
系统 2019-08-12 09:27:08 2159
HiveDB|OpenSourceframeworkforhorizontallypartitioningMySQLsystemsHiveDBisanopensourceframeworkforhorizontallypartitioningMySQLsystems.BuildingscalableandhighperformanceMySQL-backedsystemsrequiresagooddealofexpertiseindesigningthes
系统 2019-08-12 01:31:50 2133
无意间在部门的svn看到以前老员工的Hive优化文档，看看了，写的挺详细的，结合hadoopInaction(陆)一书的内容在这里做个汇总1,列裁剪在读数据的时候，只读取查询中需要用到的列，而忽略其他列。例如，对于查询：1SELECTa,bFROMTWHEREe<10;其中，T包含5个列(a,b,c,d,e)，列c，d将会被忽略，只会读取a,b,e列这个选项默认为真：hive.optimize.cp=true2，分区裁剪在查询的过程中减少不必要的分区。例如
系统 2019-08-12 01:31:41 2063
在网上找了一圈。。也没有找到相关的资料。。一点都没有。。。还有有大米公开的代码供参考。。。赶紧把学习的成果记录下来。。CM_KEY_NODE的结构：+0x014SubKeyCounts:[2]Uint4B//SubKeyCounts[0]子键的个数+0x01cSubKeyLists:[2]Uint4B//SubKeyLists[0]子键列表相差本BIN的偏移这里的subKeyList是一个偏移。。指向CM_KEY_INDEX结构。。最复杂的也是这个结构。。
系统 2019-08-12 09:26:52 2022
昨天群上有人发个阿里的面试题，题目描述大概如下：数据源：用户登录表，只有俩个字段，uid和dt试用HQL抽取出连续登录了K天的用户uid第一个想法就是直接用一个UDF解决，按uid分组，把dt收集起来然后在UDF里面判断是否满足条件SELECTuid,isExist(collect_set(dt),k)flagFROMtable_nameGROUPBYuidHAVINGflag=1;其中isExist的逻辑是判断collect_set中是否存在k个连续的值
系统 2019-08-12 01:32:10 1999
HIVEregistryisusefulandeasytousefeature,toenableit,weneedfirstaddtheHIVEregistryfeaturefromCATALOGintotheOSDesignfile.thenaddregistryasfollowinglisted.ThefollowingisthesettinginmyplatformusingFLASHtostoretheregistry.There'resomedi
系统 2019-08-12 01:32:30 1951
目录：初始HiveHive安装与配置Hive内建操作符与函数开发HiveJDBChive参数Hive高级编程HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理配套视频课程第一部分：软件准备与环境规划Hadoop环境介绍•Hadoop安装路径•/home/test/Desktop/hadoop-1.0.0/•Hadoop元数据存放目录•/home/test/data/core/namenode•Hadoop数据存放路径•/hom
系统 2019-08-29 22:27:47 1940
hive实战-qiang.xu-博客园hive实战1.安装hive2.hive实战3.hive存储模型4.深入hql查询语言5.参考资料及代码下载<1>.安装hive下载hive，下载地址http://mirror.bjtu.edu.cn/apache//hive/，解压该文件：xuqiang@ubuntu:~/hadoop/src/hive$tarzxvfhive-0.7.0-bin.tar.gz设置环境变量：xuqiang@ubuntu:~/hadoo
系统 2019-08-12 01:32:58 1897
用户反馈数据库设置归档后，无法启动，并报如下错误：SQL>startupORA-16019:cannotuseLOG_ARCHIVE_DEST_1withLOG_ARCHIVE_DESTorLOG_ARCHIVE_DUPLEX_DEST这个错误很简单，主要是由于log_archive_dest与log_archive_dest_n这两个参数是不能够同时设置值、共存的。调整方法：>setORACLE_SID=orcl>sqlplus/nologSQL>con
系统 2019-08-12 09:26:41 1860
介绍hive的用户自定义聚合函数（UDAF）是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和groupby联合使用，hive的groupby对于每个分组，只能返回一条记录，这点和m
系统 2019-08-12 01:32:14 1851
一、上传hive0.11解压后的文件到linux1、用的版本是shark站点提供的，可能是针对shark修改了代码。2、追加mysql、oracle两个jdbc驱动包到lib目录下。二、配置相关文件1、.bash_profile文件exportHIVE_HOME=/home/kituser/bigdata/hive-0.11.0-binexportHIVE_CONF_DIR=$HIVE_HOME/confexportCLASSPATH=$CLASSPATH
系统 2019-08-12 09:27:02 1843
Hive是facebook贡献给apache的开源项目，是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工
系统 2019-08-12 09:27:29 1816
最近在测试HCatalog，由于Hcatalog本身就是一个独立JAR包，虽然它也可以运行service，但是其实这个service就是metastorethriftserver，我们在写基于Hcatalog的mapreducejob时候只要把hcatalogJAR包和对应的hive-site.xml文件加入libjars和HADOOP_CLASSPATH中就可以了。不过在测试的时候还是遇到了一些问题，hivemetastoreserver在运行了一段时间
系统 2019-08-12 01:52:10 1812
