建设工作站服务器
部署Hadoop高性能集群
服务器概述
1 )什么是Hadoop
Hadoop是Lucene的创立者Doug Cutting根据谷歌的相关内容点击的分布式文件系统和用于分析计算大量数据的基本框架系统，包括MapReduce程序、hdfs系统等
Hadoop有两个主要核心：分布式存储系统和分布式计算系统。
2 )分布式存储
为什么数据需要存储在分布式系统的何处，不能存储在单个计算机上，也不能存储在当前数TB的硬盘上？ 其实，确实装不上。 例如，许多通信呼叫记录存储在许多服务器的许多硬盘上。 那么，要处理这么多数据，就必须从每台服务器分别读取和写入数据，很麻烦。 我们想要一个文件系统，它管辖许多服务器来存储数据。 用此文件系统保存数据时，不会感觉到是存储在其他服务器上。 读取数据时，不会感觉到是从不同的服务读取的。
3 )图：这就是分布式文件系统。
分布式文件系统管理服务器群集。 在此群集中，数据存储在群集的节点上，即群集中的服务器上，但此文件系统掩盖了服务器之间的差异。 现在，您可以像使用普通文件系统一样使用它，但数据分布在不同的服务器上。
4 )名称空间( namespace ) :
在分布式存储系统中，分布在不同节点上的数据可能属于同一文件。 为了组织许多文件，可以将文件放在不同的文件夹中，并一次包含一个文件夹。 这种组织形式称为“名称空间”( namespace )。 名称空间管理整个服务器群集中的所有文件。 名称空间的作用与存储实际数据的作用不同。 负责名称空间的节点称为主节点( master node )，负责保存实际数据的节点称为子节点( select node )。
5 )主从节点：
主节点管理文件系统的文件结构，从节点存储实际的数据，称为主从结构( master-slaves )。
用户操作时，必须与主节点进行交互，查询数据保存在哪个子节点上，然后从子节点读取。 主节点将整个命名空间信息放置在内存中，以加快用户的访问速度。 保存的文件越多，主节点就需要越多的内存空间。
)1)当从block )节点存储数据时，如果原始数据文件有大有小，且不同大小的文件不容易管理，则可以抽象出被称为块( block )的独立存储文件单位
)2)灾难恢复)数据存储在集群中，网络和服务器硬件可能导致访问失败。 通过复制( replication )机制同时将数据备份到多台服务器上，数据将变得安全，并且数据丢失或访问失败的概率将会降低。
)3)工作流程图：
6 )总结：
在以上主从结构中，主节点包含整个文件系统的不同目的的结构信息，因此非常重要。 此外，由于主节点在运行时将所有命名空间信息存储在内存中，因此保存的文件越多，主节点的内存就越多。
在hadoop中，分布式存储系统称为硬盘分布式文件系统( HDFS )。 在这里，将主节点称为名称节点( namenode )，将从节点称为数据节点( datanode )。
7 )分布式计算：
处理数据时，将数据读入内存进行处理。 处理大量数据(如数据大小为100GB )时，请统计文件中总共有多少个单词。 几乎不可能将数据全部加载到内存中，它被称为移动数据。
那么，可以把程序代码放在存储数据的服务器上吗？ 与原始数据相比，程序代码一般较小，几乎可以忽略，从而节省了原始数据传输的时间。 如果数据当前存储在分布式文件系统中，且许多服务器上可能存储有100GB的数据，则可以将程序代码分发到这些服务器上，以便在这些服务器上同时运行。 这意味着既可以并行计算，也可以分布式计算。 这将大大缩短程序的执行时间。 将程序代码移动到数据节点的机器上执行的计算方式称为移动计算。
分布式计算需要的是最终结果，而程序代码在许多计算机上并行运行会产生许多结果，因此需要将这些中间结果放在一起的代码。 Hadoop中的分布式计算一般分为两个阶段。 第一阶段读取各数据节点中的原始数据，进行初步处理，对各节点中的数据求出单词数。 然后，将处理结果传输到第二个阶段，汇总中间结果并生成最终结果，求出100GB的文件中总共有多少个单词。 请参照图。
在hadoop中，分布式计算的部分称为MapReduce。 MapReduce是一种用于1TB或更大数据集的并行运算的编程模型。 概念Map (映射)和Reduce )，以及它们的主要思想，是从函数型编程语言那里借来的，也有从矢量编程语言那里借来的特性。 这对于允许程序员在分布式系统上执行自己的程序而不需要进行分布式并行编程非常有用。
分布式计算具有以下作用：
将主节点作为作业节点，
从节点被称为任务节点( tasktracker )。
在任务节点中，执行阶段1的代码称为映射任务( map task )，执行阶段2的代码称为还原任务( reduce task )。 任务：任务，跟踪器
8 )关于hadoop的名词解释
(1) Hadoop:Apache开源分布式框架。
)2) HDFS:Hadoop的分布式文件系统。
)3) namenode ) HadoopHDFS元数据主服务器。 负责保存DataNode文件的元数据信息，该服务器是单点。
)4) JobTracker:Hadoop的Map/Reduce调度程序负责与TaskTracker的通信，分配计算任务，跟踪任务的进展。 这个服务器也是一个点。
)5) datanode :负责保存Hadoop数据节点、数据。
)6) tasktracker :负责启动和执行Hadoop调度程序、Map、Reduce任务。
注： Namenode记录每个文件中每个块所在的数据节点的位置信息
一)实验拓扑
二.实验目标
实站：构建Hadoop集群：
三.实验环境
Xue god 63.cn 192.168.1.63 NameNode
Xue god 64.cn 192.168.1.64 datanode 1
Xue god 62.cn 192.168.1.62 datanode 2
四：实验代码
1 :基本环境构成如下
1 )在三台机器上放置hosts文件。 如下。
[ root @ Xue god 63~~ ] # vim/etc/hosts
127.0.0.1 localhost localhost.local domain localhost4localhost4. local domain 4
:1localhost localhost.local domain localhost6localhost6. local domain 6
192.168.1.63 xuegod63.cn
192.168.1.64 xuegod64.cn
192.168.1.62 xuegod62.cn
将hosts复制到其他两台计算机：
[ root @ Xue god 63~] # scp/etc/hosts root @ 192.168.1.64:/etc /
[ root @ Xue god 63~] # scp/etc/hosts root @ 192.168.1.62:/etc /
注意：在/etc/hosts中，请勿同时将计算机名称与地址127.0.0.1相对应。 否则，数据节点将无法连接
namenode，错误如下。
org.Apache.Hadoop.IPC.client:retryingconnecttoserver:master/192.168.1.10:9000
2 )无私钥登录
放入xuegod63，无需ssh密码即可登录机器xuegod63、xuegod64、xuegod62，方便文件的后期复制和服务启动。 因为一旦namenode启动，它就会连接到datanode并启动相应的服务。
(1)生成公钥和私钥
[root@xuegod63 ~]# ssh-keygen
)2)将公钥导入其他datanode节点的认证文件
[ root @ Xue god 63~] # ssh-copy-id root @ 192.168.1.62
[ root @ Xue god 63~] # ssh-copy-id root @ 192.168.1.64
2 :在三台机器上配置安装Java环境的JDK :
1 ) Java运行时环境—安装和配置JDK。 已升级jdk的版本
[ root @ Xue god 63~] # rpm-ivhjdk-7u 71-Linux-x64.rpm
[ root @ Xue god 63~~ ]通过查看# rpm-pql/root/JDK-7u 71-Linux-x64.rpm # JDK中的信息，可以看到JDK的安装目录位于/usr/java中
[ root @ Xue god 63~~ ] # vim/etc/profile #在文件末尾添加以下内容：
export Java _ home=/usr/Java/JDK1.7.0_ 71
export Java _ bin=/usr/Java/JDK1.7.0_ 71/bin
export path=$ { Java _ home }/bin:$ path
export class path=. $ { Java _ home }/lib/dt.jar:$ { Java _ home }/lib/tools.jar
2 )启用配置文件
[ root @ Xue god 63~~ ] # source/etc/profile
3 )确认java运行时环境安装正常：
[root@xuegod63 ~]# java -version
java version 1.7.0_71
Java(TM ) seruntimeenvironment ( build1.7.0_ 71-b14 ) ) ) ) )。
JavaHotspot(TM ) 64-bitservervm ( build 24.71-b01，mixed mode ) ) ) ) ) ) )。
如果安装了相应的版本，则表示已成功安装了java运行时环境。
注：这里只是升级了jdk的版本。 因为我安装的系统已经安装了jdk。
4 )在其他两台机器上部署jdk :
[ root @ Xue god 63~] # scp JDK-7u 71-Linux-x64.rpm root @ 192.168.1.62:/root
[ root @ Xue god 63~] # scp JDK-7u 71-Linux-x64.rpm root @ 192.168.1.64:/root
[ root @ Xue god 63~] # scp/etc/profile 192.168.1.62:/etc/profile
[ root @ Xue god 63~] # scp/etc/profile 192.168.1.64:/etc/profile
5 )安装：
[ root @ Xue god 64~] # rpm-ivhjdk-7u 71-Linux-x64.rpm
[ root @ Xue god 62~] # rpm-ivhjdk-7u 71-Linux-x64.rpm
6 )重新加载java执行环境：
[ root @ Xue god 64~~ ] # source/etc/profile
[ root @ Xue god 62~~ ] # source/etc/profile
7 )测试：
[root@xuegod64~]# java -version
java version 1.7.0_71
Java(TM ) seruntimeenvironment ( build1.7.0_ 71-b14 ) ) ) ) )。
JavaHotspot(TM ) 64-bitservervm ( build 24.71-b01，mixed mode ) ) ) ) ) ) )。
[root@xuegod62 ~]# java -version
java version 1.7.0_71
Java(TM ) seruntimeenvironment ( build1.7.0_ 71-b14 ) ) ) ) )。
JavaHotspot(TM ) 64-bitservervm ( build 24.71-b01，mixed mode ) ) ) ) ) ) )。
3 )创建并运行hadoop用户帐户和hadoop目录。
[ root @ Xue god 63~~ ] # useradd-u 8000 Hadoop #创建时尽量增加UID，以使在其他服务器上创建的Hadoop用户ID匹配
[ root @ Xue god 63~] # echo 123456|passwdstdin Hadoop
[ root @ Xue god 64~~ ] # useradd-u 8000 Hadoop
[ root @ Xue god 64~] # echo 123456|passwdstdin Hadoop
[ root @ Xue god 62~~ ] # useradd-u 8000 Hadoop
[ root @ Xue god 62~] # echo 123456|passwdstdin Hadoop
注：创建用户hadoop时，不能使用-s /sbin/nologin参数。 稍后在su -hadoop中切换用户
4 )在xuegod63上安装Hadoop并将其配置为namenode主节点
Hadoop安装目录：/home/Hadoop/Hadoop-2.2.0使用root帐户将hadoop-2.2.0.tar.gz上载到服务器
1 )创建hadoop相关的工作目录：
[ root @ Xue god 63~] # cphadoop-2.2.0.tar.gz/home/Hadoop /
[ root @ Xue god 63~~ ] # chown-r Hadoop:Hadoop/home/Hadoop/Hadoop-2.2.0.tar.gz
[ root @ Xue god 63~~ ] # suHadoop
[ Hadoop @ Xue god 63~] $ mkdir-p/home/Hadoop/DFS/name/Hadoop/DFS/data/home/Hadoop/tmp
[ Hadoop @ Xue god 63~] $ tarzxvfhadoop-2.2.0.tar.gz
[hadoop@xuegod63 ~]$ ls
DFS Hadoop-2.2.0 Hadoop-2.2.0.tar.gz tmp
2 ) Hadoop配置：需要修改7个配置文件。
文件位置：/home/Hadoop/Hadoop-2.2.0/etc/Hadoop /
文件名： hadoop-env.sh、yarn-evn.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site
(1)配置文件hadoop-env.sh，指定hadoop的java执行环境
该文件是hadoop运行基环境的配置，需要更改的是java虚拟机的位置。
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/Hadoop-env.sh
修改： 27 export JAVA_HOME=${JAVA_HOME}
是export Java _ home=/usr/Java/JDK1.7.0_ 71
注意：指定java执行环境变量。 请注意，java版本是对应的
(2)指定yarn-env.sh配置文件和yarn框架的java执行环境
该文件是yarn框架运行时环境的配置，需要更改java虚拟机的位置。
Yarn :Hadoop的新地图框架Yarn是0.23.0版或更高版本的Hadoop的新地图框架( Yarn )的原理。
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/yarn-env.sh
修改： 26 JAVA_HOME=$JAVA_HOME
( 26 Java _ home=/usr/Java/JDK1.7.0_ 71
(3)指定配置文件slaves、datanode数据存储服务器
将所有DataNode的计算机名称写入此文件。 每个主机名一行，配置如下：
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/slaves
修改： localhost
如下所示。
xuegod64.cn
xuegod62.cn
(4)配置文件core-site.xml，指定hadoop web界面的访问路径
这是hadoop的核心配置文件，这里需要配置的只有这两个属性，fs.default.name构成Hadoop HDFS系统的命名，位置为主机的9000个端口； hadoop.tmp.dir构成Hadoop tmp目录的根位置。 这里使用的是文件系统中没有的位置，所以首先用mkdir命令新建。
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/core-site.XML
更改：
19配置
20 /配置
注：在configuration和/configuration之间插入红色和蓝色标记。
如下所示。
配置
属性
namefs.defaultFS/name
valuehdfs://Xue god 63.cn:9000/value
/property
属性
nameio.file.buffer.size/name
value131072/value
/property
属性
namehadoop.tmp.dir/name
value file:/home/Hadoop/tmp/value
descriptionabaseforothertemporarydirectories./description
/property
/configuration
注：属性财产
(5)配置文件hdfs-site.xml
这是hdfs的配置文件，dfs.http.address配置了hdfs的http访问位置。
dfs.replication构成文件块的副本数量，通常小于或等于从设备的数量。
[ root @ Xue god 63~~ ] # vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/HDFS-site.XML
修改： 19配置
20
21 /配置
注：在configuration和/configuration之间插入红色和蓝色标记。
如下所示。
配置
属性
named fs.NameNode.secondary.http-address/name
valuexuegod 63.cn:9001/value #通过web界面查看HDFS状态
/property
属性
namedfs.namenode.name.dir/na
value file:/home/Hadoop/DFS/name/value
/property
属性
namedfs.datanode.data.dir/name
value file:/home/Hadoop/DFS/data/value
/property
属性
namedfs.replication/name
value2/value#每个Block有两个备份。
/property
属性
namedfs.webhdfs.enabled/name
valuetrue/value
/property
/configuration
注：
属性
named fs.NameNode.secondary.http-address/name
valuexuegod 63.cn:9001/value #通过web界面查看HDFS状态
/property
属性
namedfs.replication/name
value2/value#每个Block有两个备份。
/property
(6)配置文件mapred-site.xml，
这是mapreduce任务的部署，因为hadoop2.x使用的是yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下将其作为yarn进行部署。 mapred.map.tasks和mapred.reduce.tasks分别是map和reduce的任务数，还指定Hadoop的历史服务器historyserver
Hadoop附带了历史服务器。 在历史服务器中，可以检查已运行的MapReduce作业的记录。 例如，使用了多少张地图、使用了多少reduce、作业提交时间、作业启动时间、作业完成时间等信息。 默认情况下，Hadoop历史服务器没有启动。 可以使用以下命令启动Hadoop历史服务器
$ sbin/Mr-job history-daemon.shstarthistoryserver
这样，就可以在相应计算机的19888端口上打开历史服务WEB UI界面。 您可以检查已运行作业的状态并生成mapred-site.xml。
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ CP/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/mapred-site.XML.templl
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/mapred-site.XML
修改： 19配置
20
21 /配置
注：在configuration和/configuration之间插入红色和蓝色标记。
如下所示。
配置
属性
name MapReduce.framework.name/name
valueyarn/value
/property
属性
name MapReduce.job history.address/name
valuexuegod63.cn:10020/value
/property
属性
name MapReduce.job history.web app.address/name
valuexuegod63:19888/value
/property
/configuration
(7)配置节点yarn-site.xml
该文件由yarn框架组成，主要是一些任务的启动位置
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ vim/home/Hadoop/Hadoop-2.2.0/etc/Hadoop/yarn-site.XML
配置的变更内容如下。
更改：
配置
！ sitespecificyarnconfigurationproperties
/configuration
注：在configuration和/configuration之间插入红色和蓝色标记。
如下所示。
配置
！ sitespecificyarnconfigurationproperties
属性
name yarn.node manager.aux-services/name
valuemapreduce_shuffle/value
/property
属性
name yarn.node manager.aux-services.MapReduce.shuffle.class/name
value org.Apache.Hadoop.mapred.shuffle handler/value
/property
属性
name yarn.resource manager.address/name
valuexuegod63.cn:8032/value
/property
属性
name yarn.resource manager.scheduler.address/name
valuexuegod63.cn:8030/value
/property
属性
name yarn.resource manager.resource-tracker.address/name
valuexuegod63.cn:8031/value
/property
属性
name yarn.resource manager.admin.address/name
valuexuegod63.cn:8033/value
/property
属性
name yarn.resource manager.web app.address/name
valuexuegod63.cn:8088/value
/property
/configuration
(8) xuegod64和xuegod62 (复制到其他datanode节点)
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ scp-r/home/Hadoop/Hadoop-2.2.0 Hadoop @ Xue god 62.cn:~
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ scp-r/home/Hadoop/Hadoop-2.2.0 Hadoop @ Xue god 64.cn:~
5 :格式
1 )在xuegod63上启动Hadoop切换到Hadoop用户
hadoop namenode的初始化只需要在最初的时候初始化，之后就不需要了
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $/home/Hadoop/Hadoop-2.2.0/bin/hdfsnamenode-format
15/08/0322:35:21 info common.storage:storage directory/home/Hadoop/DFS/namehasbeensuccessfullyformatted。
15/08/0322:35:21 info util.exit util:exitingwithstatus 0
15/08/0322:35:21 info NameNode.NameNode:shut down _ msg :
/* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *。
shut down _ msg:shuttingdownnamenodeatxuegod 63.cn/192.168.1.63
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *。
[ root @ Xue god 63 Hadoop-2.2.0 ] # echo $？
0
2 )格式化后查看生成的文件：
[ root @ Xue god 63 Hadoop ] # rpm-IVH/mnt/packages/tree-1.5.3-2.el6.x86 _ 64.rpm
[ Hadoop @ Xue god 63~~ ] $ tree/home/Hadoop/DFS /
/home/hadoop/dfs/
数据
(name
(目前
FSP _ w _ picpath _ 0000000000000
FSP _ w _ picpath _ 000000000000.MD5
seen_txid
(版本
生成不输入基于hadoop用户的密码的登录。 因为以后要使用hadoop用户启动datanode节点，必须直接登录相应的服务器并启动与datanode相关的服务。
3 )无私钥登录
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ ssh-keygen
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ ssh-copy-id 192.168.1.64
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ ssh-copy-id 192.168.1.62
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $ ssh-copy-id 192.168.1.63
6、启动hdfs:/sbin/start-dfs.sh，启动HDFS分布式存储
1 )启动start-dfs.sh
[ root @ Xue god 63 Hadoop-2.2.0 ] #/home/Hadoop/Hadoop-2.2.0/sbin/start-DFS.sh
startingnamenodeson [ Xue god 63.cn ]
xuegod63.cn: starting namenode，logging to/home/Hadoop/Hadoop-2.2.0/logs/Hadoop-root-NameNode-Xue god 63
xuegod64.cn: starting datanode，logging to/home/Hadoop/Hadoop-2.2.0/logs/Hadoop-root-datanode-Xue god 64
xuegod62.cn: starting datanode，logging to/home/Hadoop/Hadoop-2.2.0/logs/Hadoop-root-datanode-Xue god 62
startingsecondarynamenodes [ Xue god 63.cn ]
Xue god 63.cn:startingsecondarynamenode，logging to/home/Hadoop/Hadoop-2.2.0/logs/Hadoop-root-secondarynd
2 )注：如果报告错误，例如：
Xue god 64.cn:hostkeyverificationfailed。
解决方案：
[ Hadoop @ Xue god 63~] $ ssh 192.168.1.64 #验证是否可以直接连接到xuegod64而不输入密码
关机并重新启动：
[ root @ Xue god 63 Hadoop-2.2.0 ] #/home/Hadoop/Hadoop-2.2.0/sbin/stop-DFS.sh
[ root @ Xue god 63 Hadoop-2.2.0 ] #/home/Hadoop/Hadoop-2.2.0/sbin/start-DFS.sh
3 )查看流程
(1)在这种情况下，主控器有一个过程。 namenode和secondarynamenode进程：
[ root @ Xue god 63~] # PS-axu|grep NameNodecolor
Warning: bad syntax，PerhapsaBogus\\\&； quot； -\\&； quot； see/usr/share/doc/procps-3.2.8/FAQ
root 8214 4.1 9.5 1882176 110804？ sl17:390:17/usr/Java/JDK1.7.0_ 71/bin/Java-d proc _ NameNode-xmx 1000 m。
- d Hadoop.log.dir=/home/Hadoop/Hadoop-2.2.0/logs-d Hadoop.log.file=Hadoop-root-secondary NameNode
)2) xuegod64和xuegod62有进程： DataNode
[ root @ Xue god 64~] # PS-axu|grepdatanodecolor
Warning: bad syntax，PerhapsaBogus\\\&； quot； -\\&； quot； see/usr/share/doc/procps-3.2.8/FAQ
路线57498.85.2185195660656？ sl17:550:06/usr/Java/JDK1.7.0_ 71/bin/Java-d proc _ datanode-xmx 1000 m。
7、在xuegod63上启动yarn:/sbin/start-yarn.sh后，分布式计算就开始了
1 )启动start-yarn.sh
[ root @ Xue god 63 Hadoop-2.2.0 ] #/home/Hadoop/Hadoop-2.2.0/sbin/start-yarn.sh
开始燕子队
开始资源管理器，logging to/home/Hadoop/Hadoop-2.2.0/logs/yarn-root-resource manager-Xue god 63.com
Xue god 62.cn:startingnodemanager，logging to/home/Hadoop/Hadoop-2.2.0/logs/yarn-root-node manager-Xue ge
Xue god 64.cn:startingnodemanager，logging to/home/Hadoop/Hadoop-2.2.0/logs/yarn-root-node manager-Xue ge
2 )查看进程：
xuegod63的资源管理器进程，xuegod62和xuegod64进程：显示DataNode NodeManager
[ root @ Xue god 63~] # PS-axu|grepresourcemanagercolor
Warning: bad syntax，PerhapsaBogus\\\&； quot； -\\&； quot； see/usr/share/doc/procps-3.2.8/FAQ
root 96640.211.02044624128724 pts/3sl 17:580:27/usr/Java/JDK1.7.0_ 71/bin/Java-d proc _ resou rce manage
……。
[ root @ Xue god 62~] # PS-axu|grepnodemanagercolor
Warning: bad syntax，PerhapsaBogus\\\&； quot； -\\&； quot； see/usr/share/doc/procps-3.2.8/FAQ
hadoop 5486 31.8 7.8 1913012 91692？ s23:010:20/usr/Java/JDK1.7.0_ 71/bin/Java-d proc _ node manager-xmx 1000 m-d Hadoop.log.dir=/hommmmma-d
……
[ root @ Xue god 64~] # PS-axu|grepnodemanagercolor
Warning: bad syntax，PerhapsaBogus\\\&； quot； -\\&； quot； see/usr/share/doc/procps-3.2.8/FAQ
hadoop 2872 20.8 7.9 1913144 92860？ s21:420:15/usr/Java/JDK1.7.0_ 71/bin/Java-d proc _ node manager-xmx 1000 m
……
3 )注意： start-dfs.sh和start-yarn.sh这两个脚本可以用start-all.sh代替。
[ Hadoop @ Xue god 63~~ ] $/home/Hadoop/Hadoop-2.2.0/sbin/start-all.sh
关闭：
[ Hadoop @ Xue god 63~~ ] $/home/Hadoop/Hadoop-2.2.0/sbin/stop-all.sh
8、启动：查看作业历史服务器、mapreduce的运行状态
[ root @ Xue god 63 Hadoop-2.2.0 ] #/home/Hadoop/Hadoop-2.2.0/sbin/Mr-job history-daemon.shstarthistortortiortion
starting historyserver，logging to/home/Hadoop/Hadoop-2.2.0/logs/mapred-root-history server-Xue god 63.cn
9、查看HDFS分布式文件系统状态：
1 )启动HDFS DFS管理报告
[ Hadoop @ Xue god 63 Hadoop-2.2.0 ] $/home/Hadoop/Hadoop-2.2.0/bin/hdfsdfsadmin-report
ATAnodesavailable:1(1total，0 dead ) ) ) ) ) ) ) )。
Live datanodes :
name:192.168.1.62:50010 ( Xue god 62.cn ) )。
Hostname: xuegod62.cn
Decommission Status : Normal
已配置的容量： 10320982016 ( 9.61 GB ) )。
DFSused:24576(24kb ) ) )。
NONDFSused:4737789952(4.41GB ) )。
DFSremaining:5583167488(5.20GB ) )。
DFS Used%: 0.00%
DFS修复%:54.10 %
last contact:sunmay 3121:58:00 CST 2015
>Name: 192.168.1.64:50010 (xuegod64.cn)
Hostname: xuegod64.cn
Decommission Status : Normal
Configured Capacity: 10320982016 (9.61 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 5014945792 (4.67 GB)
DFS Remaining: 5306011648 (4.94 GB)
DFS Used%: 0.00%
DFS Remaining%: 51.41%
Last contact: Mon Aug 03 23:00:03 CST 2015
10：查看文件块组成：一个文件由哪些块组成
hadoop@xuegod63 ~]$ /home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks
Connecting to namenode via http://xuegod63.cn:50070
FSCK started by hadoop (auth:SIMPLE) from /192.168.1.63 for path / at Tue May 09 15:03:23 CST 2017
/ <dir>
/tmp <dir>
/tmp/hadoop-yarn <dir>
/tmp/hadoop-yarn/staging <dir>
/tmp/hadoop-yarn/staging/history <dir>
/tmp/hadoop-yarn/staging/history/done <dir>
/tmp/hadoop-yarn/staging/history/done_intermediate <dir>
Status: HEALTHY
Total size:0 B
Total dirs:7
Total files:0
Total symlinks:0
Total blocks (validated):0
Minimally replicated blocks:0
Over-replicated blocks:0
Under-replicated blocks:0
Mis-replicated blocks:0
Default replication factor:2
Average block replication:0.0
Corrupt blocks:0
Missing replicas:0
Number of data-nodes:1
Number of racks:1
FSCK ended at Tue May 09 15:03:23 CST 2017 in 17 milliseconds
The filesystem under path \\\’/\\\’ is HEALTHY
测试：
（1）Web查看HDFS: http://192.168.1.63:50070
（2）通过Web查看hadoop集群状态: http://192.168.1.63:8088
更多关于云服务器，域名注册，虚拟主机的问题，请访问西部数码官网：www.chenqinet.cn