Ubuntu18.04にHadoopシステム環境をインストールします

ubuntu-server system＃をインストールします

システムをインストールします##

システム言語の選択-英語

キーボード設定-中国語

操作の選択ubuntuのインストール

ネットワークを設定します（ここでデフォルトを選択します）

完了を選択

ファイルシステム設定-ディスク全体を使用することを選択します

ディスクを選択

完了を選択

[続行]を選択します

プロファイル設定

インストール

Reboot Now

ssh環境をインストールします＃

ルートユーザーパスワードを設定します##

rootユーザーの初期パスワードを変更する

sudo passwd

現在のユーザーを終了し、rootとしてシステムにログインします。

ファイアウォールをオフにします##

ファイアウォールをオフにする

systemctl stop firewalld.service

ファイアウォールは起動時に開始されません

systemctl disable firewalld.service

ファイアウォールのステータスを表示する

ufw status

非アクティブ状態はファイアウォールのオフ状態であり、アクティブ はオン状態です。

ルートユーザーのリモート接続を構成します##

（注：ssh-serverがインストールされています。インストールされていない場合は、最初にインストールしてください）

apt-get install openssh-server

sshd_configを変更します

vim /etc/ssh/sshd_config

現れる

# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes

への変更

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

次に、SSHサービスを再起動します。

再起動後、シェルを介して接続します。

sshlocalhostパスワードなしのログインを設定します##

ssh localhost
exit

マシンにログインおよびログアウトするためのパスワードを入力します

初めてログインした後、現在のホームディレクトリのユーザーの下に.sshフォルダーがあります。次のフォルダーを入力します。

cd ~/.ssh/

rsaアルゴリズムを使用して、秘密鍵と公開鍵のペアを生成します。

ssh-keygen -t rsa

実行後、Enterキーを最後まで押します。最初の方法は、秘密鍵と公開鍵のペアの保存場所を入力することです。デフォルトは次のとおりです。

. ssh/id_rsa

次に、公開キーを認証に追加します。

cat ./id_rsa.pub >>./authorized_keys

localhostを再度sshすると、パスワードなしでログインできます。

jdkをインストールします＃

jdkを解凍します##

javaフォルダーを作成し、ユーザーはJavaファイルを保存します

mkdir /usr/local/java

ダウンロードしたjdkインストールパッケージをftpツールを使用してjavaフォルダーにアップロードします。

解凍：

cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz

解凍が成功すると、現在のディレクトリに次のように表示されます。

jdk1.8.0_181フォルダー

次に、インストールパッケージを削除します。

rm jdk-8u181-linux-x64.tar.gz

jdkを構成します##

環境変数を設定します。

vim /etc/profile

最後に追加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

環境変数の構成ファイルを再ロードします。

source /etc/profile

検出：

java -version

Hadoopをインストールする＃

ハドゥープを解凍する##

hadoopフォルダーを作成し、ユーザーはhadoopファイルを保存します

mkdir /usr/local/hadoop

ダウンロードしたhadoopインストールパッケージをftpツールを使用してhadoopフォルダーにアップロードします。

解凍：

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解凍が完了しました：

hadoop-2.7.7ファイルの下のファイルを現在のディレクトリに移動します

mv ./hadoop-2.7.7/* ./

hadoop-2.7.7フォルダーを削除します

rm -rf ./hadoop-2.7.7

フォルダの所有者とユーザーグループを確認します。最も重要なことは、所有者が現在のユーザーであるかどうかです。

所有者が現在のユーザーでない場合は、現在のユーザーに変更します。

sudo chown -R現在のユーザー名./hadoop

hadoopを構成する##

環境変数を設定します。

vim /etc/profile

最後に追加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

環境変数の構成ファイルを再ロードします。

source /etc/profile

検出：

hadoop version

構成ファイルの変更##

core-site.xmlに追加します

<!- - HDFSボス（namenode）の通信アドレスを指定します--><property><name>fs.defaultFS</name><value>hdfs://0.0.0.0:9000</value></property><!--Hadoopの実行時に生成されるファイルのストレージパスを指定します--><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>

hdfs-site.xmlに追加します

< property><name>dfs.data.dir</name><value>/usr/local/hadoop/hdfs/data</value><description>データノード上のデータブロックの物理的な保存場所</description></property><!--hdfsコピーの数を設定します--><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>

hadoop-env.shのJAVA_HOMEを変更します

コメントアウト：

export JAVA_HOME=${JAVA_HOME}

追加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

テスト、開始##

namenodeをフォーマットします。

hadoop namenode -format

hdfsを開始します

start-all.sh

対応するプロセスを表示します。

jps

すべての 5プロセスが開始されていることを確認してください。

訪問テスト：

10.168.1.129:50070

起動設定＃

/ etc / init.d /ディレクトリに入ります

cd /etc/init.d/

ファイルhadoopを作成する

vim hadoop

起動に関連するスクリプトコンテンツを作成する

#! /bin/bash
#
# chkconfig:23458833
# description: Starts and stops Hadoop server

### BEGIN INIT INFO
# Required-Start:
# Required-Stop:
# Default-Start:2345
# Default-Stop:016
# Short-Description:    Starts and stops Hadoop server
# Description:          Starts and stops Hadoop server
### END INIT INFO

start(){
    #
 # Start Hadoop
    #
 /usr/local/hadoop/sbin/start-all.sh
} stop(){
    #
 # Stop Hadoop
    #
 /usr/local/hadoop/sbin/stop-all.sh
} case"$1"in
 start)
  start
  exit $?;;

 stop)
  stop
  exit $?;;

 restart)
        #
  # Restart Hadoop
        #
  stop
  sleep 5
  start
  exit $?;;*)
echo "Usage hadoop start/stop/restart"
exit 1;;
esac

ファイルのアクセス許可を設定する

chmod +x hadoop

サービスに追加

update-rc.d -f hadoop defaults

テスト

service hadoop start

サービスが正常に開始されたかどうかを確認します

jps