ITeye博客

18901888895的博客

18901888895 · 共 9 篇文章

HDFS磁盘调度策略

callstack: FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long) OR FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->AvailableSpaceVolumeChoosingPolicy.chooseVolum…

2016-03-29 10:15 · hadoop · 评论(0)

Linux >/dev/null 2>&1,以及2>1 VS 2>&1

1. 标准输入stdin文件描述符为0,标准输出stdout文件描述符为1,标准错误stderr文件描述符为2 2. /dev/null 空设备,相当于垃圾桶 3. 重定向符号:> 3. 2>1 与 2>&1 的区别 2>1, 把标准错误stderr重定向到文件1中 2>&1,把标准错误stderr重定向到标准输出stdout 4. 举例: 假设有脚本test.sh,内容如下,t是一个不存在的命令,执行脚本进行下面测试。 # cat test.sh t date 标准输出重定向到log,错误信息输出到终端上,如下: # ./test.sh > log ./test.sh: line 1: t…

2015-06-03 16:46 · 评论(0)

Linux常用命令大全

文件系统操作命令: 1. cat:可以显示文件的内容(经常和more搭配使用),或将多个文件合并成一个文件。 2. chgrp:用来改变文件或目录所属的用户组,命令的参数以空格分开的要改变属组的文件列表,文件名支持通配符,如果用户不是该文件的所有者,则不能改变该文件的所属组。 3. chmod:用于改变文件或目录的访问权限,该命令有两种用法:一种是使用图形化的方法,另一种是数字设置法。 4. chown:用来将指定用户或组为特定的所有者。用户可以设置为用户名或用户ID,组可以是组名或组ID。特定的文件是以空格分开的可以改变权限的文件列表,文件名支持通配符。 5. clear:用来清除终端屏幕…

2015-06-03 14:26 · 评论(0)

Hbase写数据,存数据,读数据的详细过程

Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同时进行版本合并和数据删除 -> 当StoreFiles Compact后,逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后,触发Split操作,把当前Region Split成2个Region,Region会下线,新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer 上。 Hbase写数据和存…

2015-06-03 11:11 · 评论(0)

HBase查找一条数据的过程

HBase中的Client如何路由到正确的RegionServer 在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除, 查询 数据都需要先找到相应的 RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并 不知道哪个RegionServer管理哪个Region,那么它是如何找到相应的RegionServer的?本文就是在研究 源码 的基础上揭秘这个过程。 在前面的文章“HBase存储 架构 ”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个特…

2015-06-03 11:08 · 评论(0)

HIVE和HBASE区别(转载)

1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务。Hive被分区为表格,表格又被进一步分割为列簇。列簇必须使用schema定义,列簇将某一…

2015-06-03 11:05 · 评论(0)

Hadoop学习之Win7下 Hadoop-2.4.0 Eclipse插件编译实践

转载:http://blog.csdn.net/osg_yanglinping/article/details/25702333 一、准备工作 下载插件源码地址:https://github.com/winghc/hadoop2x-eclipse-plugin 下载ANT:http://www.apache.org/dist/ant/binaries/apache-ant-1.9.4-bin.zip 二、修改源码 1、修改ivy配置文件(hadoop2x-eclipse-plugin\src\ivy目录下) 2、修改ant 编译所用的buding.xml配置文件 将文件内容替换为: <?xm…

2015-03-24 15:29 · 评论(0)

Hadoop集群环境安装步骤

实验环境: 三台主机,IP地址和记住名称如下: IP:132.129.31.36 主机名:ossitsp3 用途:主节点(Master) IP:132.129.31.37 主机名:ossitsp4 用途:从节点(Slaver) IP:132.129.31.38 主机名: ossitsp5 用途:从节点(Slaver) 其中36主机作为主节点,37和38作为从节点。 Hadoop版本:hadoop-2.4.1 安装步骤概览 操作过程 检查前置软件JDK。 Hadoop是基于JVM的,因此安装前必须先安装JDK。检查linux主机是否已经安装JDK,如果没有,需要先安装JDK。安装步骤如下: …

2015-01-15 09:09 · 评论(0)

Linux操作系统下的JDK安装详细说明

卸载原有系统自带JDK 下载JDK版本 JDK 版本:jdk-7u71-linux-x64.tar.gz 解压安装 我准备把JDK安装到这个路径:/usr/local/java 如果没有这个目录(第一次当然没有),我们就新建一个目录 cd /usr/local mkdir java chmod 777 java 建立好了以后,我们来到刚才下载好的压缩包的目录,解压到我们刚才新建的文件夹里面去,并且修改好名字方便我们管理 tar xzvf ./jdk-7u71-linux-x64.tar.gz -C /usr/local/java cd /usr/local/java mv jdk1.7.0_…

2015-01-15 09:04 · 评论(0)