Centos7.2にHDP2.6をインストールする方法

注意：高解像度のコード化されていない写真のセットを表示するには、携帯電話を使用して写真を開き、クリックして拡大してください。
フェイソンのgithub：[https://github.com/fayson/cdhproject]（https://github.com/fayson/cdhproject）
ヒント：コードブロックを表示するには、左右にスワイプできます

1. 文書作成の目的

このドキュメントでは、主にCENTOS7.2オペレーティングシステムにHDPを展開するプロセスについて説明します。

コンテンツの概要

オペレーティングシステムのインストール、ファイアウォールのオフ、サーバークロックの同期など、クラスターサーバーの構成。
外部データベースのインストール
Ambariマネージャーをインストールします。
HDPクラスターをインストールします。
HDFSファイルシステム、MapReduce、Hiveなどが正常に動作できるかどうかを含むクラスターの整合性チェック。

テスト環境

オペレーティングシステムのバージョン：CENTOS7.2
Ambariバージョン：ambari-2.6.1.5
HDPバージョン：HDP2.6.4
ルートを使用してクラスターをデプロイします

2. 準備

2.1. ホスト名とホストの構成

クラスタ内の各ノードは、静的IPアドレスを使用して相互に通信できます。 IPアドレスとホスト名は/ etc / hostsを介して構成され、ホスト名は/ etc / hostnameを介して構成されます。

例として、ambariノード（192.168.0.234）を取り上げます。

ホスト名の構成、/ etc / hostnameファイルは次のとおりです。

ip-192-168-0-234

（左右にスライドできます）

または、コマンドを変更してすぐに有効にすることもできます

[ root@ip-192-168-0-234~]# hostnamectl set-hostname ip-192-168-0-234

（左右にスライドできます）

注：ここでhostnameとREDHAT6の違いを変更してください

ホスト構成、/ etc / hostsファイルは次のとおりです。

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.234 ip-192-168-0-234192.168.0.235 ip-192-168-0-235192.168.0.236 ip-192-168-0-236192.168.0.237 ip-192-168-0-237

（左右にスライドできます）

上記の2つの手順では、それに応じてクラスター内の他のノードを構成します。

2.2. SELinuxを無効にする

すべてのノードでsetenforceコマンドを実行します。ここでは、バッチシェル実行を使用します。

[ root@ip-192-168-0-234~]$ sh batch_cmd.sh node.list "setenforce 0"

（左右にスライドできます）

クラスタ内のすべてのノードは、/ etc / selinux / configファイルを次のように変更します。

SELINUX=disabled
SELINUXTYPE=targeted

（左右にスライドできます）

2.3. ファイアウォールを無効にする

クラスタ内のすべてのノードがsudosystemctl stopコマンドを実行します。このコマンドは、次のようにシェルを介してバッチで実行されます。

[ root@ip-192-168-0-234~]$ sh  batch_cmd.sh node.list "systemctl stop firewalld"[root@ip-192-168-0-234~]$ sh batch_cmd.sh node.list "systemctl disable firewalld"[root@ip-192-168-0-234~]$ sh batch_cmd.sh node.list "systemctl status firewalld"

（左右にスライドできます）

2.4. 構成サーバーのパスワードなしのログイン

クラスタの各ノードでキーペアを生成し、コマンドを実行します

ssh-keygen -t rsa -P ""-f /root/.ssh/id_rsa

（左右にスライドできます）

バッチ実行スクリプトは次のとおりです。

192.168.0.234のパスワードなしのログインをクラスター内の他のすべてのノードに構成し、192.168.0.234ノードの公開キーをauthorized_keysファイルにインポートし、バッチスクリプトを使用して以下を実行します。

まず、192.168.0.234の公開鍵を他のすべてのノードの/ rootディレクトリにコピーします。

次に、/ root /id_rsa.pubをauthorized_keysファイルにインポートします。

パスワードなしのログインを確認します。

2.5. クラスタークロック同期

ntp時間同期を構成し、192.168.0.234マシンをローカルntpサーバーとして使用し、他の3台のマシンを構成フラグメントと同期させます。

1.192.168.0.234 次の構成を使用します

[ root@ip-192-268-0-234~]$ sudo vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

（左右にスライドできます）

クラスターの他のノード：コメントの下に次の構成を追加します。

[ root@ip-192-268-0-234~]$ sudo vim /etc/ntp.conf
server 192.168.0.234

（左右にスライドできます）

すべてのマシンのntpサービスを再起動します

[ root@ip-192-268-0-234~]$ sh batch_cmd.sh node.list "systemctl restart ntpd”

（左右にスライドできます）

クロックの同期を確認するには、すべてのノードでntpq -pコマンドを実行し、次のようにスクリプトをバッチで実行します。

2.6. オペレーティングシステムリポジトリを構成する

オペレーティングシステムのisoファイルをマウントします

[ root@ip-192-168-0-234~]$ mkdir /media/DVD1
[ root@ip-192-168-0-234~]$ mount -o loop CentOS-7-x86_64-DVD-1611.iso /media/DVD1/

（左右にスライドできます）

オペレーティングシステムリポジトリを構成する

[ root@ip-192-168-0-234~]$ vim /etc/yum.repos.d/local_os.repo
[ local_iso]
name=CentOS-$releasever - Media
baseurl=file:///media/DVD1
gpgcheck=0
enabled=1

（左右にスライドできます）

2.7. httpdサービスをインストールします

httpdサービスをインストールします

[ root@ip-192-168-0-234~]$ yum -y install httpd

（左右にスライドできます）

httpdサービスを開始します

[ root@ip-192-168-0-234~]$ systemctl start httpd

（左右にスライドできます）

httpdをインストールした後、オペレーティングシステムのリポジトリを作り直し、httpに置き換えて、他のサーバーがアクセスしやすくします。

[ root@ip-192-168-0-234~]$ mkdir /var/www/html/iso
[ root@ip-192-168-0-234~]$ scp -r /media/DVD1/* /var/www/html/iso/

（左右にスライドできます）

2.8. ** [ MySQL **]（https://cloud.tencent.com/product/cdb?from=10680）データベースをインストールします

mysqlデータベースを192.168.0.234ノードにインストールします。

データベースを起動して構成します。

[mariadb]（https://cloud.tencent.com/product/tdsql?from=10680）を開始し、systemctl startmariadbを実行します

mariadbを構成し、/ usr / bin / mysql_secure_installationコマンドを実行して、ルートパスワードを設定します。

ambariデータベースを作成し、コマンドcreate databaseambariを実行します。

ambariユーザーを作成し、パスワードと権限を設定します

MariaDB [ambari]> CREATE USER 'ambari'@'%' IDENTIFIED BY 'bigdata';
Query OK,0 rows affected(0.01 sec)
MariaDB [ambari]> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
Query OK,0 rows affected(0.00 sec)
MariaDB [ambari]> FLUSH PRIVILEGES;
Query OK,0 rows affected(0.00 sec)

（左右にスライドできます）

Hiveデータベースとユーザーを作成する

3. Ambariをインストール

3.1. AmbariおよびHDPローカルyumソースを構成します

ambariおよびHDPインストールパッケージを準備し、/ var / www / htmlディレクトリに解凍します。

リポジトリファイルを構成する

アンバリのレポ：

HDPリポジトリ：

HDP-UTILSリポジトリ：

HDP-GPLリポジトリ

ブラウザを使用して、yumソースが利用可能かどうかを確認します

3.2. Ambariをインストール

192.168.0.234ノードでyuminstall ambari-server-yコマンドを実行します。

**3.3. jdk **をインストールします

クライアント側にJDKをインストールする場合は、次の手順を実行する必要があります。サーバーが外部にアクセスしてJDKを自動的にインストールする場合は、次の手順をスキップできます。

jdkを192.168.0.234ノードの/ usr / java /ディレクトリにアップロードし、解凍します

tar -zxvf jdk-8u111-linux-x64.tar.gzコマンドを実行して、以下を解凍します。

解凍されたjdkを他のノードにコピーし、バッチ実行スクリプトを使用します

3.4. mysqlドライバーをインストールします

mysqlドライバーパッケージを/ usr / share / javaディレクトリにアップロードします

[ root@ip-192-168-0-234~]# ll /usr/share/java/
total 940-rw-r--r--.1 root root 960372 Nov  923:37 mysql-connector-java-5.1.34.jar
[ root@ip-192-168-0-234~]# cd /usr/share/java/[root@ip-192-168-0-234 java]# ll
total 940-rw-r--r--.1 root root 960372 Nov  923:37 mysql-connector-java-5.1.34.jar

（左右にスライドできます）

便宜上、mysqlドライバーを他のノードの同じディレクトリにコピーします

mysqlドライバーを設定し、次のコマンドを実行します。

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

（左右にスライドできます）

3.5. Ambariを初期化します

コマンドambari-serversetupを実行します

インターフェイスの黄色のマークは、操作する必要のある手順です。

1 ：Enterキーを押して続行します

2 ：Enterキーを押して続行します

4 ：番号3を入力し、jdkをインストールするクライアントを選択します。サーバーが外部ネットワークにアクセスできる場合は、1を選択して、jdk1.8を自動的にダウンロードします。デフォルトのダウンロードインストールディレクトリは/ usr / java / defaultです。

5 ：インストールされたjavaディレクトリを入力します。すべてのサーバーに一貫性があります

6 ：高度なデータベース構成の場合は「y」を入力します

7 ：「3」を入力し、mysql / mariadbデータベースを選択します

8 ：データベースの構成パラメーターを設定します：ホスト、ポート、データベース、ユーザー名、パスワード

9 ：Enterキーを押して続行します

上記の操作を実行すると、ambari-serverのセットアップが完了したことがわかります。

3.6. ambariデータベースを初期化します

ambariデータベースを初期化するには、192.168.0.234サーバーで次のコマンドを実行します。

[ root@ip-192-168-0-234~]# mysql -uroot -p -Dambari </var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

（左右にスライドできます）

初期化が完了したかどうかを確認します。

3.7. ambari-serverを起動します

ambari-serverstartコマンドを実行します。

3.8. ambariのWebインターフェイスにアクセス

ブラウザを使用してhttp://192.168.0.234:8080にアクセスします。デフォルトでは、ユーザー名とパスワードはどちらもadminです。

4. HDPをインストール

4.1. 「インストールウィザードの起動」をクリックします

4.2. クラスター名を入力し、[次へ]をクリックします

4.3. HDPバージョンを選択

ここではHDP2.6が使用され、HDPリポジトリが構成され、ローカルリポジトリはここで使用されます。

4.4. インストールされているホストを入力し、AmbariノードのSSH秘密鍵を入力します

4.5. ホストの確認

4.6. インストールが完了するのを待ってから、[次へ]をクリックします

ここで、ホストが正常に登録されると、ホストが事前にチェックされることに注意してください。警告がある場合は、必要に応じてチェックおよび変更する必要があります。

4.7. インストールするサービスを選択してください

インストールを高速化するために、一般的に使用されるいくつかのサービスのみが選択されています。

4.8. サービスマスターの役割を割り当てる

実際の展開は、計画と設計に従って割り当てる必要があります。

4.9. ジョブノードの役割の割り当て

4.10. サービスのデフォルト構成を変更する

4.11. サービスのインストールを表示

4.12. サービスインストールを入力

インストールプロセス中にlibtirpc-develパッケージが見つからない場合は、「5つのインストールの問題->問題1」を参照して解決してください。

4.13. インストールが完了しました

「完了」をクリックしてホームページに入ります。

5. コンポーネント機能の検証

5.1. HDFS機能検証

[ root@ip-192-168-0-234 test]# hdfs dfs -mkdir /test
mkdir: Permission denied: user=root, access=WRITE, inode="/test":hdfs:hdfs:drwxr-xr-x
[ root@ip-192-168-0-234 test]# sudo -u hdfs hdfs dfs -mkdir /test
[ root@ip-192-168-0-234 test]# sudo -u hdfs hdfs dfs -chown root:root /test
[ root@ip-192-168-0-234 test]# hdfs dfs -put a.txt /test
[ root@ip-192-168-0-234 test]# hdfs dfs -cat /test/a.txt

（左右にスライドできます）

5.2. ハイブ機能の検証

Hiveテーブルを作成してテストデータを挿入するには、次のコマンドを実行します。

CREATE TABLE table_date2(s1 STRING, s2 STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ",";
INSERT INTO TABLE table_date2 values('2015-10-26 16:23:00','test');

（左右にスライドできます）

5.3. MapReduceタスクの検証

hadoop jar /usr/hdp/2.6.4.0-91/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 55

（左右にスライドできます）

6. インストールの問題

問題1：libtirpc-develパッケージが見つからないため、サービスをインストールできません。

libtirpc-develとlibtirpcの2つのパッケージをダウンロードし、リンクをダウンロードします。

http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-0.2.4-0.10.el7.x86_64.rpm

http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm

次に、yumソースを作成し、2つのパッケージをアップグレードしてインストールします

createrepoコマンドを実行します。

リポジトリファイルを作成し、他のノードに配布します

libtirpcをアップグレードする

libtirpc-develをインストールします

ヒント：コードブロックを表示するには、左右にスワイプできます
天と地の心を築き、人々の生活を築き、神聖で最高の知識を受け継ぎ、すべての年齢の人々に平和を開いてください。
注意：高解像度のコード化されていない写真のセットを表示するには、携帯電話を使用して写真を開き、クリックして拡大してください。

Hadoopの実際の操作に注意を払い、最初はより多くのHadoop乾物を共有することをお勧めします。転送と共有へようこそ。

元の記事、再版を歓迎します、示してください：WeChatパブリックアカウントHadoopの実用的な操作から再版