CentOS7はHadoop3.0.0をインストールします

最近、ビッグデータについて学んでいるので、[Hadoop]（http://www.linuxidc.com/topicnews.aspx?tid=13）をインストールする必要があります。長い間解決して、ようやくうまくいきました。インターネット上にはHadoopのインストールに関する記事もたくさんありますが、常に問題が発生するため、Hadoop 3.0.0のインストールプロセス全体を[CentOS]（http://www.linuxidc.com/topicnews.aspx?tid=14）7に記録してください。問題がある場合は、メッセージを残して修正してください。

1.SSHパスワードなしのログイン####

1、パスワードなしでログインできるかどうかをテストします

　　　　　　# ssh localhost

The authenticity of host 'localhost (::1)' can't be established.

2、パスワードなしのログインを設定する

1)、 / etc / ssh / sshd_configの2行のコメントを削除し、そうでない場合は追加します。すべてのサーバーを設定する必要があります。

　　　　　　　　#RSAAuthentication yes  
　　　　　　　　#PubkeyAuthentication yes

2)、秘密鍵を生成します。

# ssh-keygen -t rsa

備考：コマンド入力後、4回入力してください

3)、公開鍵にコピーします。

# cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

4)、秘密鍵をターゲットサーバーにコピーします。

# ssh-copy-idターゲットサーバーIP

5)、テスト:(エラーは報告されず、ターゲットサーバーのユーザーパスワードを入力するプロンプトも表示されません。ユーザーはターゲットサーバーのユーザー名に正常に切り替わります）

# sshターゲットサーバーIP

備考：hadoop1からhadoop2へのパスワードなしのログインを構成した後、hadoop2からhadoop1へのパスワードなしのログインも構成する必要があります。hadoop2での操作は上記と同じです。

2つ目は、JDKをインストールする####

hadoop-3.0.0にはjdk1.8が必要です。ここではインストールプロセスが省略されており、オンラインが多数あり、プロセスは比較的単純です。

3、hadoopをインストールします####

1、 hadoopをダウンロードする：

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.0/

2、解凍してインストールします。

1）。[hadoop-3.0.0]（http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.6.0.tar.gz）.tar.gzを/ usr / hadoopディレクトリにコピーしてから、

　　#tar -xzvf hadoop-3.0.0.tar.gz

解凍後の解凍後のディレクトリは/usr/hadoop/hadoop-3.0.0で、解凍後はHadoopを使用できます。次のコマンドを入力して、Hadoopが使用可能かどうかを確認します。成功すると、Hadoopのバージョン情報が表示されます。

# cd /usr/hadoop/hadoop-3.0.0 
　　　　　　　　#./bin/hadoop version

2 ）、/ usr / hadoop /ディレクトリの下にtmpを作成します。

# mkdir /usr/hadoop/tmp

3)、環境変数を設定します。

# vi /etc/profile
　　　　　　　　# set hadoop path 
　　　　　　　　export HADOOP_HOME=/usr/hadoop/hadoop-3.0.0export PATH=$PATH:$HADOOP_HOME/bin

4)、環境変数を有効にするには、ターミナルで次のコマンドを実行します。

# source /etc/profile

5)、ハドゥープを設定します。

合計6つのメインファイルを構成する必要があります。

hadoop-3.0.0/etc/hadoop/hadoop-env.sh

hadoop-3.0.0/etc/hadoop/yarn-env.sh

hadoop-3.0.0/etc/hadoop/core-site.xml

hadoop-3.0.0/etc/hadoop/hdfs-site.xml

hadoop-3.0.0/etc/hadoop/mapred-site.xml *
hadoop-3.0.0/etc/hadoop/yarn-site.xml*
⑴、hadoop-env.shを構成します：*

　　　　　　　　　　# The java implementation to use.  
　　　　　　　　　　#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/usr/java/jdk1.8.0_152 //独自のjdkインストールディレクトリに従って構成します

⑵、* yarn-env.shを構成します：*

　　　　　　　　　　#The java implementation to usr  
　　　　　　　　　　export JAVA_HOME=/usr/java/jdk1.8.0_152 //独自のjdkインストールディレクトリに従って構成します

⑶、* core-site.xmlを構成します：*

<!- - HADOOPが使用するファイルシステムスキーマ（URI）、HDFSボス（NameNode）のアドレスを指定します--><configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value><description>HDFS URI、ファイルシステム://ネームノードの識別:ポート番号</description></property><property><name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value><description>namenodeのローカルhadoop一時フォルダ</description></property></configuration>

⑷、* hdfs-site.xmlを構成します：*

< configuration><!—hdfs-site.xml--><property><name>dfs.replication</name><value>1</value><description>コピー数、デフォルト構成は3です,データノードマシンの数より少なくする必要があります</description></property></configuration>

⑸、* mapred-site.xmlを構成します：*

<!- - 糸で実行するmrを指定します--><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

⑹、* yarn-site.xmlを構成します：*

<!- - YARNの上司の住所を指定する（ResourceManager）--><configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

　　　　　　　　　　　　　
　　　　　　　　　　　　　　yarn.nodemanager.aux-services
　　　　　　　　　　　　　　mapreduce_shuffle
　　　　　　　　　　　　　

< /configuration>

注：上記の構成は最も単純な構成であり、自分で追加できる構成が多数あります

6）/ usr / hadoopを他のサーバーにコピーします：*
scp -r /usr/hadoop [email protected]:/usr/hadoop*

7）、namenodeをフォーマットします。

　　#CD /usr/hadoop/hadoop-3.0.0
　　　　　　　　　　# ./bin/hdfs namenode -format

成功すると、「正常にフォーマットされました」と「ステータス0で終了します」というプロンプトが表示されます。「ステータス1で終了します」の場合は、エラーを意味します。

注：namenodeをフォーマットするだけでよく、datanodeをフォーマットする必要はありません（フォーマットされている場合は、* / usr / hadoop / tmpディレクトリ内のすべてのファイルを削除できます）。そのため、最初にインストールフォルダーを他のサーバーにコピーしてから、フォーマットします*。

4、テスト：*
1. HDFSを開始します：*

　　　　　　#CD /usr/hadoop/hadoop-3.0.0
　　　　　　# sbin/start-dfs.sh

実行中のスクリプトが次のエラーを報告した場合、

ERROR: Attempting to launch hdfs namenode as root
　　　　　　ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
　　　　　　Starting datanodes
　　　　　　ERROR: Attempting to launch hdfs datanode as root
　　　　　　ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
　　　　　　Starting secondary namenodes [localhost.localdomain]
　　　　　　ERROR: Attempting to launch hdfs secondarynamenode as root
　　　　　　ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.

解決

（ユーザー定義の欠如が原因）したがって、起動とシャットダウンを編集します

　　　　　　$ vim sbin/start-dfs.sh
　　　　　　$ vim sbin/stop-dfs.sh

上マージンに追加

　　　　　　HDFS_DATANODE_USER=root  
　　　　　　HADOOP_SECURE_DN_USER=hdfs  
　　　　　　HDFS_NAMENODE_USER=root  
　　　　　　HDFS_SECONDARYNAMENODE_USER=root

ResourceManagerとNodeManagerを起動します。

　　　　　　#CD /usr/hadoop/hadoop-3.0.0
　　　　　　#sbin/start-yarn.sh

起動時に次のエラーが報告された場合、

**　　　　　　Starting resourcemanager****　　　　　　ERROR: Attempting to launch yarn resourcemanager as root****　　　　　　ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch.**

解決

（ユーザー定義が不足しているため）

これはユーザー定義の欠如が原因であるため、開始スクリプトと終了スクリプトを別々に編集してください

　　　　　　$ vim sbin/start-yarn.sh 
　　　　　　$ vim sbin/stop-yarn.sh

トップブランクを追加

　　　　　　YARN_RESOURCEMANAGER_USER=root  
　　　　　　HADOOP_SECURE_DN_USER=yarn  
　　　　　　YARN_NODEMANAGER_USER=root

3)、検証を開始します。

jpsコマンドを実行すると、基本的に次の図が完成します。

注：次のコマンドを使用して、HDFS、ResourceManager、およびNodeManagerを同時に起動することもできます。

　　　　　　#CD /usr/hadoop/hadoop-3.0.0
　　　　　　#sbin/start-all.sh

Hadoop2.3-HA高可用性クラスター環境の構築[http://www.linuxidc.com/Linux/2017-03/142155.htm](https://www.linuxidc.com/Linux/2017-03/142155p2.htm）

HadoopプロジェクトのCentOS7に基づくCloudera5.10.1（CDH）のインストールと展開[http://www.linuxidc.com/Linux/2017-04/143095.htm]（https://www.linuxidc.com/Linux/2017-04/143095p2.htm）

Hadoop2.7.2クラスター構築の詳細な説明（高可用性）[http://www.linuxidc.com/Linux/2017-03/142052.htm]（https://www.linuxidc.com/Linux/2017-03/142052p2.htm）

Ambariを使用してHadoopクラスターをデプロイします（イントラネットHDPソースを構築します）[http://www.linuxidc.com/Linux/2017-03/142136.htm]（https://www.linuxidc.com/Linux/2017-03/142136p2.htm）

[ Ubuntu]（http://www.linuxidc.com/topicnews.aspx?tid=2）14.04でのHadoopクラスターのインストール[http://www.linuxidc.com/Linux/2017-02/140783.htm]（https://www.linuxidc.com/Linux/2017-02/140783p2.htm）

CentOS6.7インストールHadoop2.7.2 [http://www.linuxidc.com/Linux/2017-08/146232.htm](https://www.linuxidc.com/Linux/2017-08/146232.htm）

Ubuntu 16.04で分散Hadoop-2.7.3クラスターを構築します[http://www.linuxidc.com/Linux/2017-07/145503.htm](https://www.linuxidc.com/Linux/2017-07/145503.htm）

CentOS7でのHadoop2.6.4分散クラスター環境の構築[http://www.linuxidc.com/Linux/2017-06/144932.htm](https://www.linuxidc.com/Linux/2017-06/144932p2.htm）

Hadoop2.7.3 + Spark2.1.0完全分散クラスター構築プロセス[http://www.linuxidc.com/Linux/2017-06/144926.htm]（https://www.linuxidc.com/Linux/2017-06/144926p2.htm）

Hadoopの詳細については、[Hadoop]（https://www.linuxidc.com/topicnews.aspx?tid=13）トピックページ[http://www.linuxidc.com/topicnews.aspx?tid=13]（https://www.linuxidc.com/topicnews.aspx?tid=13）を参照してください。

この記事はリンクアドレスを恒久的に更新します：[http://www.linuxidc.com/Linux/2018-02/150812.htm]（https://www.linuxidc.com/Linux/2018-02/150812.htm）