Hive

Hive性能优化

无意间在部门的svn看到以前老员工的Hive优化文档,看看了,写的挺详细的,结合hadoopInaction(陆)一书的内容在这里做个汇总1,列裁剪在读数据的时候,只读取查询中需要用到的列,而忽略其他列。例如,对于查询:1SELECTa,bFROMTWHEREe<10;其中,T包含5个列(a,b,c,d,e),列c,d将会被忽略,只会读取a,b,e列这个选项默认为真:hive.optimize.cp=true2,分区裁剪在查询的过程中减少不必要的分区。例如

系统 2019-08-12 01:31:41 3558

PHP

PHP多线程批量采集下载图片

使用curl的多线程,另外curl可以设置请求时间,遇到很慢的url资源,可以果断的放弃,这样没有阻塞,另外有多线程请求,效率应该比较高,参考:《CURL的学习和应用[附多线程]》,我们再来测试一下;核心代码:/***curl多线程**@paramarray$array并行网址*@paramint$timeout超时时间*@returnmix*/publicfunctionCurl_http($array,$timeout='15'){$res=array

系统 2019-08-29 23:08:51 3557

redis

Redis集群环境安装指南

环境RHLinux-6.4-64-EN,红帽6.464位,英文正式公布版。Redis3.0.0redis2.x版本号还不支持集群,3.0版本号将会支持,如今3.0版本号还在开发中,如今是beta-3版本号(截止2014-5-8),但功能是可用的。下载Redis3.0.0beta-3版本号,点击这里下载。Redis3的安装能够參照之前的单机安装指南操作。创建Redis集群实例创建集群节点的目录,先创建cluster-test目录,再以port为名称创建子目录

系统 2019-08-12 01:54:12 3557

Java

《JAVA与模式》读后感4-装饰模式

装饰模式定义:以对客户端透明的方式扩展对象的功能,是继承关系的一个替代方案。装饰模式的构件包括抽象构件、具体构件、抽象装饰、具体装饰。对于透明的装饰模式,客户端面向抽象构件编程,所以是透明的(对所有的装饰视而不见)。对半透明的装饰模式,客户端面向具体装饰编程,因为要使用具体装饰的特殊方法(不在抽象构件和抽象装饰里面),无法实现完全透明。装饰模式的原理是逐层包裹并加入新功能。把地球结构想象成装饰模式,内核就是具体构件,外核、地幔等就是具体装饰。装饰模式的应用

系统 2019-08-29 22:31:04 3556

编程技术

No Dialect mapping for JDBC type 错误分析

当在hibernate中运用原始的sql语句进行操作的的时候,常常会报错,错误很多都是关于NoDialectmappingforJDBCtype类型的错误,经过分析和查找,问题常常发生在几个地方1、错误的配置了hibernate的方言2、就是你的数据库中的字段和java里面的类型不匹配的问题具体信息如:eg:Sessionsession=HibernateSessionFactory.getSession();Stringsql="SELECTDaymar

系统 2019-08-29 23:40:22 3555

C#

C# 制作Windows服务安装包

C#制作Windows服务安装包这两天公司要用C#写一个windows服务,做成安装安装包。制作的过程中遇到了一些问题,写完之后总结一下。如果以后在用到的话可以可以参考一下,而且由于原来没有做过,不知道这样做是对是不对,请各位看官如果发现有不当之处请指教。开始的时候我的开发工具VS2012,需要用InstallShield,没闹明白,时间紧迫没有搞,改用vs2010。首先创建一个windows服务:添加安装程序:设置服务的属性:这里面简单设置一下服务的属性

系统 2019-08-12 01:33:54 3555

Python

关于Python自动化测试项目部署到Jenkins构建时出现的中文乱码问题

首先只要遇到提示GBK、UTF-8或乱码显示字样等,这些肯定是编码问题。为了解决问题还特意了解了下UTF-8与GBK之间的区别和关系。修改file.encoding系统变量编码为UTF-8问题情景:python脚本已经调通过的自动化项目,部署到Jenkins上后,使用jenkins构建,控制台print输出报错,如下图:控制台输出:分析问题:我们知道,windows的控制台默认编码就是'GBK',而我们代码编码格式是utf-8,因为Jenkins会默认读取

系统 2019-09-27 17:51:23 3554

Android

Android开发视频教学下载地址

《Android开发视频教学》www.marsdroid.org/Android开发视频教程--更新腾讯微博项目课程[MP4][Android开发视频教学].01_01_Android平台一日游.mp4详情20.6MB[Android开发视频教学].01_02_搭建Android开发环境.mp4详情39.3MB[Android开发视频教学].01_03_say_hello_to_Android.mp4详情35.8MB[Android开发视频教学].01_0

系统 2019-08-29 22:53:56 3553

编程技术

创建基于约束的布局

在这一节将向我们演示如何在AdobeFlexBuilder中创建基于约束的布局。当用户调整程序窗口时,基于约束的布局保证我们用户界面中的组件进行自动调整。设置我们的工程在我们开始这一节之前,我们要先完成下面的任务:如果我们还没有创建工程,创建Lessons工程。确保打开了自动构建选项。了解Flex中的基于约束的布局当用户调整一个Flex程序窗口时,我们希望布局中的组件可以进行自动调整。当用户调整程序窗口时,一个约束的布局可以调整组件的尺寸和位置。为了创建一

系统 2019-08-29 23:34:02 3551

ASP.NET

深入剖析asp.net核心内容之URL重写

让我们花点时间来看一下网站上的一些URL。您是否发现一些类似于http://yoursite.com/info/dispEmployeeInfo.aspx?EmpID=459-099&type=summary的URL?或者,您可能将一系列网页从一个目录或网站移动到另一个目录或网站,结果导致已将旧URL用作书签的访问者断开链接。在本文中,我们将了解如何通过将http://yoursite.com/info/dispEmployeeInfo.aspx?EmpI

系统 2019-08-29 23:47:14 3550

Python

用Python将动态GIF图片倒放播放的方法

这次让我们一个用Python做一个小工具:将动态GIF图片倒序播放!GIF(GraphicsInterchangeFormat)是一种可以用来呈现动画效果的图片格式,原理就是保存很多帧(Frame)静态图像,然后连续呈现。很多简短的视频也会被转换成动态GIF呈现,压缩画质和去除声音之后可以有效地减小文件大小。网络上不计其数的搞笑动图,几乎承载了网友大半的欢乐,但是也有人发现,将正常的动画倒序播放往往可以获得更搞笑的效果,Reddit上甚至有一个专门的节点:

系统 2019-09-27 17:37:40 3549

编程技术

NetBeans 4.0创建J2ME手机RSS阅读器

作者:朱先忠文章来源:yesky本文将向你展示怎样用NetBeans4.0创建一个J2MEMIDPRSSReader应用程序。通过使用RSSReader,你可以用你的移动设备实现读取RSS回馈信息。这个应用程序的设计是与MIDP1.0一起工作的,因此它可以与一些旧设备相兼容。如果你是RSS的新手,那么告诉你它代表ReallySimpleSyndication(简易信息聚合)。RSS是一种轻量级的XML格式-为分享标题和另外如博客和新闻等信息而设计。下面是运

系统 2019-08-29 23:44:05 3549

Android

Android实现ListView的A-Z字母排序和过滤搜索功

转载请注明出处:http://blog.csdn.net/xiaanming/article/details/12684155前段时间因为换工作的缘故又恰巧碰到国庆节,所以有段时间自己没有更新博客了,过完国庆到新公司报道,感觉还不错,就是现在住的地方离新公司有点远,地铁20站,伤不起啊,我每天早上7点多就要起床,然后屁颠屁颠的去挤地铁上班,晚上下班还要挤地铁,先不说路程远,车费一天就要10几块,我的银子啊,有坐龙华线去上班的深圳程序员不?听说那条线上班高峰

系统 2019-08-12 09:29:34 3549

Jquery

jQuery ajax —— 一些细节以及主函数扩展出来

上一篇文章,讲解了jQuery.ajax函数。这篇文章将其他一些细节补充完。下一篇文章则开始讲解,jQuery是如何将script动态载入、XMLHttpRequest、JSONP一起包装进jQuery.ajax里的。jQuery.ajaxSetup我们可以从主函数看出,参数是通过jQuery.ajaxSetup产生的://通过jQuery.ajaxSetup改造参数对象s=jQuery.ajaxSetup({},options),那么jQuery.aja

系统 2019-08-12 01:33:23 3549