建站服务器

一、首先说一下，Hadoop有三种运行模式。

第一个是独立（或本地)运行模式：无需运行任何守护进程，所有程序都在一个同一个虚拟机(Java虚拟机的缩写)上执行。

第二个是伪分布模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。

第三个是全分布模式，也就是通常所说的完全分布式模式：Hadoop守护进程运行在一个集群上。

下面简单介绍下完全分布式的配置：

首先准备三台机器，系统公共配置部分：

系统信息：

[root @ Hadoop 1 ~]# cat/etc/red hat-发布

CentOSrelease6.7(最终版)

[centos@hadoop1~]$uname-r

2.6.32-573.el6.x86_64

[root@hadoop1~]#uname-m

x86_64

公共操作用户：centos

摘录用户在/etc/sudoers中的公共配置：

[root @ Hadoop 1 ~]# grep centos/etc/sudoers

centosALL=(ALL)NOPASSWD:ALL

环境变量如下：

[root @ Hadoop 1 ~]# tail-16/etc/profile

#java

JAVA _ HOME=/HOME/centos/download/JDK

PATH=$JAVA_HOME/bin:$PATH

类路径=。$ JAVA _ HOME/lib/dt。jar:$ JAVA _ HOME/lib/tools。冲突

exportJAVA_HOME

exportCLASSPATH

#hadoop

HADOOP _ HOME=/HOME/centos/download/HADOOP

PATH=$ PATH:$ HADOOP _ HOME/bin:$ HADOOP _ HOME/sbin

导出路径

主机互联网协议(互联网协议)域名映射如下：

[root@hadoop1~]#cat/etc/hosts

hadoop1

10.0.0.102hadoop2

hadoop3

主节点互联网协议(互联网协议)为：

[root @ Hadoop 1 ~]# ifconfig | awk-F \ \ \ '[:]\ \ \ ' \ \ \ ' NR==2 { print $ 4 } \ \ \ '

10.0.0.101

从节点互联网协议(互联网协议)分别为：

[root @ Hadoop 2 ~]# ifconfig | awk-F \ \ \ '[:]\ \ \ ' \ \ \ ' NR==2 { print $ 4 } \ \ \ '

10.0.0.102

[root @ Hadoop 3 ~]# ifconfig | awk-F \ \ \ '[:]\ \ \ ' \ \ \ ' NR==2 { print $ 4 } \ \ \ '

10.0.0.103

Java 语言(一种计算机语言，尤用于创建网站)语言（一种计算机语言，尤用于创建网站)版本

[root @ Hadoop 1 ~]# Java-版本

Java 语言(一种计算机语言，尤用于创建网站)版本1.8.0_65

Java(TM)SERuntimeEnvironment(内部版本1。8 .0 _ 65-b17)

64位服务器虚拟机(建筑25.65-b01，混合模式)

Hadoop版本

[root@hadoop1~]#hadoopversion

Hadoop2.7.3

https://git-WIP-us。阿帕奇。org/repos/ASF/Hadoop。C1 c8 af 91 ccff

由rooton 2016-08-18t 01:41Z编译

compiledwithprotocol 2。5 .0

E4 ce 5 f 957 ea 4 db 193 BCE 3734 ff 29 ff 4

该命令运行/home/centos/download/Hadoop-2。7 .3/share/Hadoop/common/Hadoop-common-2。7 .3 .冲突

二、配置嘘

首先在三台机器上的家目录分别执行下述生成密钥对脚本，这样的话，三台机器的摘录之间就可以免密码登录、免密码传输文件等操作。

[centos @ Hadoop 1 ~]$ llcreatesh。嘘

-rwxr-xr-x1 centos centos s51 may 1411:05 createsh。嘘

[centos @ Hadoop 1 ~]$ cat createsh。嘘

#!/bin/sh

ssh-keygen-trsa-P\\\'\\\'-f~/.ssh/id_rsa

然后在三台机器上的家目录分别执行下述分发公钥

[centos@hadoop1~]$llfen.sh

-rwxr-xr-x1 centoscentos 142年5月1412日：14分。嘘

[centos@hadoop1~]$catfen.sh

#!/bin/sh

ssh-copy-id-i~/.ssh/id_rsa.pubcentos@hadoop1

ssh-copy-id-i~/.ssh/id_rsa.pubcentos@hadoop2

ssh-copy-id-i~/.ssh/id_rsa.pubcentos@hadoop3

#上述只是在执行的时候会输入是和系统用户密码，其他在执行的时候就不会再次输入密码了。执行嘘的目的是，比如在配置好完全分布式的时候，主节点会自动吊起从节点的日志并且往里面写入数据，此时嘘的密钥对就起作用了。

#经常碰到的坑，要配置三台机器家目录中。嘘的权限为700,而且要配置家目录中。嘘目录中的授权_密钥权限为644.

[centos@hadoop1~]$chmod700.ssh

[centos @ Hadoop 1 ~]$ chmod 644。ssh/授权密钥

三、重点的配置文件内容

#三台机器共同配置

[centos @ Hadoop 1 ~]$ grep Java _ home下载/Hadoop/etc/Hadoop/Hadoop-env。嘘

# theonlyrequiredenvironmentvariable是Java _ HOME .同种异体移植

# setJAVA _ HOMEinthisfile，sothatitiscorrectlydefinedon

导出JAVA _ HOME=/HOME/centos/download/JDK # JAVA环境变量要在这再配置一下

[centos @ Hadoop 1 ~]$ cat下载/Hadoop/etc/Hadoop/core-site。可扩展标记语言

？xmlversion=1.0？

配置

财产

namefs.defaultFS/name

valuehdfs://hadoop1/value

/属性

/配置

[centos @ Hadoop 1 ~]$ cat下载/Hadoop/etc/Hadoop/HDFS-site。可扩展标记语言

？xmlversion=1.0？

配置

财产

namedfs.replication/name

价值2/价值#副本数，对应从节点数

/属性

/配置

[centos @ Hadoop 1 ~]$ cat下载/Hadoop/etc/Hadoop/map red-site。可扩展标记语言

？xmlversion=1.0？

配置

财产

namemapreduce.framework.name/name

价值纱线/价值

/属性

/配置

[centos @ Hadoop 1 ~]$ cat下载/Hadoop/etc/Hadoop/yarn-site。可扩展标记语言

？xmlversion=1.0？

配置

财产

nameyarn.resourcemanager.hostname/name

valuehadoop1/value

/属性

财产

名纱。节点管理器。辅助服务/名称

valuemapreduce_shuffle/value

/属性

/配置

#注意这里只配置从节点的域名

[centos @ Hadoop 1 ~]$ cat下载/Hadoop/etc/Hadoop/slaves

hadoop2

hadoop3

四、启动hadoop

#下述命令只在主节点hadoop1中执行！

#首先执行格式化命令

[centos @ Hadoop 1 ~]$ Hadoop名称节点-格式

#然后启动hadoop

[centos@hadoop1~]$start-all.sh

#查看启动进程

#主节点执行，名称节点只会存在于主节点中，包括文件名称等内容。

[centos@hadoop1~]$jps

2736次要名称

2961Jps

2889资源经理

2539NameNode

#从节点执行，数据节点只会存在于从节点，是真正存放数据的地方。

[centos@hadoop2~]$jps

2322节点管理器

2234DataNode

2380Jps

[centos@hadoop3~]$jps

2481数据节点

2646Jps

2569节点管理器

#临时文件都生成在了根目录下的/tmp目录下

[centos@hadoop1~]$ll/tmp/

共计32

drwxrwxr-x3centoscentos 4096 may 1414:05 Hadoop-centos

-rw-rw-r-1 centos centos 1414年5月5日：06 Hadoop-centos-NameNode。PID

-rw-rw-r-1 centos centos 5 may 1414:06 Hadoop-centos-辅助名称节点。PID

drwxr-xr-x2 centos centos 4096年5月1414:06 sperfdata _ centos

drwxrwxr-x3centoscentos 4096 may 1414:06 jetty _ 0 _ 0 _ 0 _ 0 _ 50070 _ HDFS _ _ _ _ _ w2cu 08

drwxrwxr-x3centoscentos 4096 may 1414:06 jetty _ 0 _ 0 _ 0 _ 50090 _ secondary _ _ _ _ _ y6 aanv

drwxrwxr-x4centoscentos 4096 may 1414:06 jetty _ Hadoop 1 _ 8088 _ cluster _ _ _ _。jtly 5k

-rw-rw-r-1 centos centos 1414年5月5日：06纱线-centos-资源管理器。PID

更多关于云服务器，域名注册，虚拟主机的问题，请访问西部数码代理商官网：www.chenqinet.cn