- 军军小站|张军博客
搜索到与相关的文章
Python

python高斯分布概率密度函数的使用详解

如下所示:importmatplotlib.pyplotaspltimportnumpyasnpfromscipyimportstatsfrommatplotlibimportstylestyle.use('fivethirtyeight')mu_params=[-1,0,1]sd_params=[0.5,1,1.5]x=np.linspace(-7,7,100)f,ax=plt.subplots(len(mu_params),len(sd_params)

系统 2019-09-27 17:56:00 3064

Hadoop

Hadoop中shuffle阶段流程分析

宏观上,Hadoop每个作业要经历两个阶段:Mapphase和reducephase。对于Mapphase,又主要包含四个子阶段:从磁盘上读数据-》执行map函数-》combine结果-》将结果写到本地磁盘上;对于reducephase,同样包含四个子阶段:从各个maptask上读相应的数据(shuffle)-》sort-》执行reduce函数-》将结果写到HDFS中。Hadoop处理流程中的两个子阶段严重降低了其性能。第一个是map阶段产生的中间结果要写

系统 2019-08-12 09:30:30 3064

Hadoop

Hadoop 的 TotalOrderPartitioner

http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求:1)均衡负载,尽量的将工作均匀的分配给不同的reduce。2)效率,分配速度一定要快。Mapreduce提供的PartitionerMapreduce默认的

系统 2019-08-12 09:29:57 3064

数据库相关

To_Date函数用法

spl>select*fromempwheredatesbetweento_date('2007-06-1210:00:00','yyyy-mm-ddhh24:mi:ss')andto_date('2007-06-1210:00:00','yyyy-mm-ddhh24:mi:ss')当省略HH、MI和SS对应的输入参数时,Oracle使用0作为DEFAULT值。如果输入的日期数据忽略时间部分,Oracle会将时、分、秒部分都置为0,也就是说会取整到日。同样

系统 2019-08-12 01:53:41 3064

Hadoop

Hadoop 集群 傻瓜式搭建手记

关于Hadoop的配置,按照我的理解,应该有六个文件需要修改,它们都在Hadoop的conf文件夹下,分别是:masters/slavers:配置masters和slavers的机器IPhadoop-env.sh:Hadoop运行时的环境变量,比如JAVA_HOME,LOG之类的core-site.xml:Hadoop的核心配置文件,对应并覆盖core-default.xml中的配置项hdfs-site.xml:HDFS的配置文件,对应并覆盖hdfs-de

系统 2019-08-29 23:51:04 3063

Linux

Linux下密码输入问题

刚才无意间看到了关于Linux下输入密码的问题,一寻思也是,以后可能得用到,了解一下。这里的方法是使用库curses.h中的函数,更多的了解请看:http://fanqiang.chinaunix.net/a4/b2/20020626/060200258.html安装Ncurses库:RHEL/Fedora/CentOSLinux下的方法:yuminstallncurses-develncursesDebian/UbuntuLinux下的方法:sudoap

系统 2019-08-29 22:22:04 3063

C++

Kinect SDK C++ - 2. Kinect Depth Data

TodaywewilllearnhowtogetdepthdatafromakinectandwhattheformatofthedataiskinectcodekinectInitializationTogetthedepthdatafromthekinect,simplychangetheargumenttoNuiImageStreaOpen().TheFirstargumentisnowNUI_IMAGE_TYPE_DEPATH,tellingthe

系统 2019-08-12 01:33:19 3063

Linux

Linux 下 Tomcat 内存大小配置

找到TOMCAT_NOME/bin/catalina.sh文件加入以下代码:JAVA_OPTS="-Xms256m-Xmx512m-Xss1024K-XX:PermSize=128m-XX:MaxPermSize=256m"具体位置如下图:参数解释:-Xms128mJVM初始分配的堆内存-Xmx512mJVM最大允许分配的堆内存,按需分配-XX:PermSize=64MJVM初始分配的非堆内存-XX:MaxPermSize=128MJVM最大允许分配的非堆

系统 2019-08-12 01:33:10 3063

VMware

在VMware上安装CentOS-6.5 minimal - 配置网络

CentOS的minimal版本默认不启动网络,所以安装完CentOS要自己配置网络。老伯的VMware虚拟机网络连接方式采用NAT方式(其他方式没试过)。1修改配置文件/etc/sysconfig/network-script/ifcfg-eth0修改下面两项:#是否依赖NetworkManager的控制,minimal没装这玩意,所以设为noNM_CONTROLLED="no"#开机启动,当然yesONBOOT="yes"2重启服务servicenet

系统 2019-08-12 01:31:58 3063

Python

《简明Python教程》知识点摘要笔记

如何退出解释器提示符?如果你使用的是Windows命令提示符,可以按下[ctrl+z]组合键并敲击[enter]键来退出。可选择的编辑器有哪几种?初学者可以以PyCharm开始,从而在此刻专注于学习Python而不是编辑器。而一名经验丰富的程序员,那你一定在用Vim或Emacs了。字符串的三种类型?单引号,双引号:工作机制完全相同三引号:指定多行字符串,在其中可自由地使用单引号与双引号针对C/C++程序员的提示:Python中没有单独的char数据类型。它

系统 2019-09-27 17:57:40 3062