Hadoop和Hbase安装使用

Hadoop和Hbase安装使用

云计算实验——Hadoop和Hbase的安装使用

作者：中国云计算论坛

云计算_龙竹（aiken）

E-mail：

欢迎访问中国云计算：http://doc.guandang.net

Hadoop和Hbase安装使用

1 准备工作

1.1 安装VMware（网上可以下载，按照步骤一步一步地安装即可）； 1.2 安装SSH secure client

1.3 在虚拟机中启动打开Hadoop虚拟机文件，修改IP地址和Hostname，具体方法如下：

（1）在Linux操作系统启动后，右击鼠标，打开终端“open terminal”；

（2）配置ip地址，输入指令：“gedit /etc/sysconfig/network-scripts/ifcfg-eth0”； （3）按“回车键”，进入配置Ip的窗口。 （4）修改BOOTPRO,“BOOTPRO=static”； （5）设置ip地址：“IPADDR=192.168.10.152”(根据自己的需要配置)； （6）保存（ctrl+s），退出；

（7）配置Hostname，输入指令“gedit /etc/sysconfig/network”； （8）按“回车键”，进入配置Hostname的窗口。

（9）将Hostname修改为“sev152” (根据自己的需要配置)； （10）保存（ctrl+s），退出； （11）重启：输入指令“reboot”。 1.4检查IP和Hostname是否配置完好

（1）重新启动后，右击鼠标，打开终端“open terminal”； （2）检查IP ，输入指令：“ip addr show”；如图1.1所示显示，ip地址已经被修改。

图1 .1 IP地址检查

（3）检查Hostname ，使用指令“ping sev152” （sev152是刚刚自己配置的主机名）；如图1.2所示，主机名修改无误。

图1.2 检查Hostname

Hadoop和Hbase安装使用

（4）按“ctrl+c”快捷键，退出“ping”；

2 安装SSH

打开SSH Secure Shell,点击“Quick Connect”，会跳出如图2.1所示的窗口，在Host Name中输入刚刚所配置的Ip地址：“192.168.10.152”，然后单击“connect”。会出现一个提示输入密码的窗口，如图2.2所示，输入密码后单击“OK”。然后便可以在其中对sev152进行操作。

图2.1 connect窗口 图2.2输入密码窗口

打开SSH Secure File Transfer，点击“Quick Connect”，也会跳出一个和图2.1一样的窗口，同样在Host Name中输入刚刚配置好的Ip地址。然后单击“connect”也会出现一个如图2.2所示的提示输入密码的窗口，输入密码后，在状态栏会提示已经连接到主机。

通过File Transfer可以将windows操作系统下文件夹中的内容，传送到Linux操作系统中，如图2.3所示。我们将所需要的hadoop-0.19.2.tar.gz和hbase-0.19.3.tar.gz传送到Linux操作系统的根目录下。

图2.3 SSH传送文件

Hadoop和Hbase安装使用

3 Hadoop安装与使用

1) 解压

首先在sev152上执行解压缩命令：“tar xf hadoop-0.19.2.tar.gz”，具体做法如下:

其中指令用于“ls”是用于查看当前目录下所有的文件夹，通过指令执行前后，可以发现，文件家中多出了hadoop-0.19.2这个文件。

2) Hadoop配置

解压完成后，进入hadoop-0.19.2这个文件，并对hadoop进行配置。首先对JAVA_HOME变量进行设置。使用指令如下：

运行指令后会进入到如图3.1所示的窗口，在“insert”模式下进行编辑，进入insert模式只需要按键盘键“I”，退出保存的方法是，先按“Esc”，然后按“shift+；”输入指令“wq”进行保存退出。

图3.1编辑JAVA_HOME变量

配置完JAVA_HOME变量后，还需要编辑conf/hadoop-site.xml，对Hadoop节点进行相

Hadoop和Hbase安装使用

关配置，使用指令“vi conf/hadoop-site.xml”。运行指令后进入如图3.2所示的窗口，同样在“insert”模式下进行编辑，编辑后同样保存退出。

图3.2 编辑conf/hadoop-site.xml

编辑完conf/hadoop-site.xml后，还需要编辑conf/master，修改为master的主机名，同时需要编辑conf/slaves，加入所有slaves的主机名，在本次实验中均为：sev152。用到指令分别为：“vi conf/master”和“vi conf/slaves”。在编辑过程中同样需要在“insert”模式下进行，也同样需要保存退出，方法与前面相同。

3) SSH配置

该配置主要是为了实现在机器之间执行指令时不需要输入密码。

首先在sev152上生成密钥对，执行：，然后一直按“回车键”，就会按照默认的选项生成密钥对保存在.ssh/id_rsa文件中，如图3.3所示。

图3.3 将密钥对保存在.ssh/id_rsa文件中

进入.ssh目录，执行命令：

此后可以实现用SSH连接并不需要输入密码。

Hadoop和Hbase安装使用

4) Hadoop运行

Ⅰ 格式化分布式文件系统。使用如下命令:bin/hadoop namenode –format 执行后的结果如图3.4所示。

图3.4 格式化分布式文件系统

Ⅱ 启动Hadoop守护进程。成功执行后将会在本机上启动NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode五个 Java进程。启动进程指令为：“bin/start-all.sh”。

执行后的结果如图3.5所示。

图3.5 启动Hadoop守护进程

访问http://192.168.10.152:50070可以查看NameNode以及整个分布式文件系统的状态，浏览分布式文件系统的文件以及日志等，如图3.6所示。

访问http://192.168.10.152:50030可以查看JobTracker的运行状态，如图3.7所示。

Hadoop和Hbase安装使用

图3.6 NameNode

运行状态

图3.7 JobTracker运行状态

Ⅲ 在这些任务完成后使用指令“bin/stop-all.sh”，停止Hadoop守护进程。

Hadoop和Hbase安装使用

4 HBase安装

1) 解压

首先在Hadoop master即sev152上把hbase-0.19.3.tar.gz解压缩，由于此文件不可以直接解压，需要先将其转换格式，然后再用“tar xf hbase-0.19.3．gz”进行解压，具体操作如图4.1所示。其中hbase-0.19.3是新解压出来的文件。

图4.1 解压hbase-0.19.3.tar.gz

2) Hbase配置

解压完成后，进入hbase-0.19.3这个文件夹，并对hbase

进行配置。运用如下指令：

在“insert”模式下，把HBASE_CLASSPATH设置为HADOOP_COF_DIR，并且将JAVA_HOME变量设置为JAVA安装的根目录，如图4.2所示。

图4.2 编辑conf/hbase-env.sh

配置完conf/hbase-env.sh后，还需要编辑conf/hbase-site.xml，对Hadoop节点进行相关配置，使用指令“vi conf/hadoop-site.xml”。运行指令后进入如图4.3所示的窗口，同样在“inser”模式下进行编辑，编辑后同样保存退出。需要注意的是hbase．rootdir的端口号需要与hadoop保持一致。

图4.3 编辑conf/hbase-site.xml

编辑完conf/hbase-site.xml后，需要使用指令：

Hadoop和Hbase安装使用

将/conf/hadoop-site.xml复制到/conf目录下。然后再使用指令：vi conf/regionserers在“insert”模式下将其配置为：sev152，然后保存退出。

在以上操作完成后，还需要将/habase-0.19.3.jar复制到/hadoop/lib目录下，使用命令：

5 Hbase的执行

1) 启动Hadoop

命令如下：

2) 启动Hbase

命令如下：

结果如图如下：

这时通过地址http://192.168.10.152:50070可以看到，在HDFS上自动生成的/hbase目录，如图5.1所示。

图5.1

Hadoop和Hbase安装使用

以上是首届云计算培训班上课实验内容，如果有希望继续深入学习的同学，可以参考刘鹏教授主编的《云计算》这本书后面的实验步骤。如果上述文档出现谬误，欢迎指正，谢谢！

云计算_龙竹（aiken）

2010-8-24

南京信息工程大学 高性能网格与并行计算实验室