SparkUbuntu18にSparkスタンドアロン環境をインストールします

JDKをインストールします。手順は省略されています。

mjduan@mjduan-ubuntu:~$ java -version
java version "1.8.0_111"Java(TM) SE Runtime Environment(build 1.8.0_111-b14)
Java HotSpot(TM)64-Bit Server VM(build 25.111-b14, mixed mode)

Scalaをインストールします。[ダウンロードリンク](https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.tgz)

...

# scala
export SCALA_HOME=/opt/software/tool/scala2.12export PATH=$SCALA_HOME/bin:$PATH
mjduan@mjduan-ubuntu:~$ source ~/.bashrc 
mjduan@mjduan-ubuntu:~$ scala -version
Scala code runner version 2.12.8-- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

Sparkをインストールします。[ダウンロードリンク](https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz)

mjduan@mjduan-ubuntu:~$ tail -f ~/.bashrc 
......

# scala
export SCALA_HOME=/opt/software/tool/scala2.12export PATH=$SCALA_HOME/bin:$PATH

# spark
export SPARK_HOME=/opt/software/tool/spark
export PATH=$SPARK_HOME/bin:$PATH
mjduan@mjduan-ubuntu:~$ source ~/.bashrc 
mjduan@mjduan-ubuntu:~$ spark-shell 
2019- 03- 0818:02:36 WARN  Utils:66- Your hostname, mjduan-ubuntu resolves to a loopback address:127.0.1.1; using 192.168.43.214instead(on interfacewlp2s0)2019-03-0818:02:36 WARN  Utils:66- Set SPARK_LOCAL_IP if you need to bind to another address
2019- 03- 0818:02:37 WARN  NativeCodeLoader:62- Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://192.168.43.214:4040
Spark context available as'sc'(master = local[*], app id = local-1552039363367).
Spark session available as'spark'.
Welcome to
      ____              __
  / __/__  ___ _____//__
 _\ \ / _ \/ _ `/ __/  '_//___/.__/\_,_/_//_/\_\   version 2.4.0/_/
         
Using Scala version 2.11.12(Java HotSpot(TM)64-Bit Server VM, Java 1.8.0_111)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

ブラウザにhttp://192.168.43.214:4040と入力して、UIインターフェイスを表示します。

( adsbygoogle = window.adsbygoogle || []).push({});

Recommended Posts

SparkUbuntu18にSparkスタンドアロン環境をインストールします
docker ubuntu:14.04にpython-PIL-image環境をインストールします
Ubuntu18.04にHadoopシステム環境をインストールします
ubuntu18にvscodeをインストールします
UbuntuにRedisをインストールする
ubuntu20にR4をインストールします
Ubuntu18.04にnvtopをインストールします
Ubuntu18.04にpostgresql-10をインストールします
Ubuntuにdockerをインストールする
ubuntu18.04にDockerをインストールします
Ubuntu16にnodejs10をインストールします
UbuntuにDjangoをインストールします
Ubuntu16.04にPytorch + CUDAをインストールします
Centos7.4はスタンドアロンSparkをインストールします
Ubuntu14.04にPython3をインストールします
Ubuntu18にrJavaをインストールします
Ubuntu16.04にPython3をインストールします
Ubuntu16.04.2にKDEをインストールします
Ubuntu18にDockerをインストールする
UbuntuにPython3.7をインストールする
Ubuntuにflashplayerをインストールする
Dockerプラクティス(1):Ubuntu16.04にDockerをインストールします
仮想マシンにubuntuをインストールします
Ubuntu Server14.04にOpenSSL1.0.2をインストールします
Ubuntu16.04にQQロボットをインストールします
Ubuntu 18.04LTSにPython3.7をインストールします
ubuntu14.0464Ros環境インストールhalcon13.01
ubuntuにスクレイプフレームワークをインストールする
MysqlをUbuntuにオフラインでインストールする
UbuntuにOracleJava8をインストールする
Ubuntu16.04にOdoo11スタックをインストールします
Ubuntu16.04に一般的なソフトウェアをインストールする
ポータブルでないQQをubuntuにインストールする
オフラインでUbuntu18.04にDockerをインストールする
UbuntuサーバーにMono本番環境をインストールして構成します
Ubuntu20.04にRubyをインストールする方法
Ubuntu20.04にMemcachedをインストールする方法
Ubuntu20.04にJavaをインストールする方法
Ubuntu20.04にMySQLをインストールする方法
JobConverter + Ibreoffice環境をUbuntuにデプロイする
Ubuntu20.04にVirtualBoxをインストールする方法
Ubuntu20.04にElasticsearchをインストールする方法
UbuntuにTendau12ドライバーをインストールします
Ubuntu20.04にNginxをインストールする方法
Ubuntu20.04にApacheをインストールする方法
Ubuntu20.04にGitをインストールする方法
Ubuntu16.04にNode.jsをインストールする方法
Ubuntu20.04にMySQLをインストールする方法
UbuntuにMySQLをインストールして構成する
Ubuntu20.04にVagrantをインストールする方法
ubuntuにbotan2暗号化ライブラリをインストールします
Ubuntu16.04にPostgreSQLをインストールする方法
Ubuntu20.04にGitをインストールする方法
Ubuntu18.04にMemcachedをインストールする方法
Ubuntu16.04にJenkinsをインストールする方法
Ubuntu14.04にMemSQLをインストールする方法
Ubuntu16.04にMongoDBをインストールする方法
Ubuntu14.04にMailpileをインストールする方法
Ubuntu20.04にSkypeをインストールする方法
Ubuntu20.04にJenkinsをインストールする方法
Ubuntu18.04にPython3.8をインストールする方法