深層学習環境構成ガイド! (Windows、Mac、Ubuntuの完全な説明)

著者:ウー・チョウの時代、馬はヨーロッパにいた、チェン・シンアップ

入門的な深層学習では、多くの人々が入場から放棄までの悲しい旅を経験し、入場の最初のレベルである環境構成の問題に陥りました。言われているように、環境は正しくありません、涙の2つの行を学びます。

Windowsユーザー、Ubuntuユーザー、Appleの熱狂的なファンなど、環境の構成に苦労している場合は、この記事を参考にしてください。次に、Windows、Mac、Ubuntuのディープラーニング環境の構成について順番に説明します。

1.Windowsシステムの深層学習環境の構成

システム:Win1064ビットオペレーティングシステム

インストールの組み合わせ:Anaconda + PyTorch([GPU](https://cloud.tencent.com/product/gpu?from=10680)バージョン)+ GTX1060

オープンソースの貢献:Wu Tianzhou、Inner Mongolia Agricultural University

1.1 アナコンダプロンプトを開く

1、 conda create -n pytorch python = 3.7.0:pytorchという名前の仮想環境を作成し、その環境にpython = 3.7をインストールします。

2、 pytorchのアクティブ化:pytorchという名前の環境をアクティブ化します

1.2 ハードウェアでサポートされているCUDAバージョンを確認します

NVIDIAコントロールパネル-ヘルプ-システム情報-コンポーネント

2020 2015年5月19日の16:46:31に、グラフィックカードドライバーを更新したところ、cudaがサポートしているのが11未満であることがわかりました。

1.3 pytorchバージョン、torchvisionバージョンを決定する

pytorchの公式ウェブサイトにアクセスしてください:https://pytorch.org/get-started/locally/

公式ソースは遅すぎるため、Tsinghuaソースを使用してここからダウンロードしてください

1.4 対応するインストールパッケージをミラーにダウンロードします

清華ミラー:

https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/

pytorch:

torchvision:

1.5 ローカルインストール

次に、最初のステップはpytorch環境にインストールし、次のコマンドを順番に入力することです。

次に、仮想環境が配置されているディレクトリに戻り、conda install anacondaを使用して、環境に必要な基本パッケージをインストールします。

1.6 テスト

コード1:

from future import print_function
import torch
x = torch.rand(5,3)print(x)

出力は次のテンソルに似ています。

コード2:

import torch
torch.cuda.is_available()

出力:True

上記の2つのコードの異常な出力がない場合は、環境が正常にセットアップされていることを示しています。

1.7 発生した問題

conda create -n py37_torch131 python=3.7

[解決策] https://blog.csdn.net/weixin_42329133/article/details/102640763

環境はAnacondaディレクトリの下のenvsフォルダに保存されます

【解決】:

https://www.cnblogs.com/hellojiaojiao/p/10790273.html

[解決策] https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

清華NBと呼んでいます!

cudaの過去のバージョンをダウンロードする:https://developer.nvidia.com/cuda-toolkit-archive

CUDAのバージョンがサポートするNVIDIAのコンポーネントによって異なります。私は1060グラフィックカードなので、バージョン10.0のcudaを使用しています。

公式サイトには私の組み合わせがありません、私は疑問符でいっぱいです

ここに直接います(最初に新しく作成された環境に入るのを忘れないでください)

conda install pytorch torchvision cudatoolkit=10.0-c pytorch

python -m ipykernel install--name仮想環境名

  1. Anacondaプロンプトを開き、conda env listと入力して、既存の環境を表示します

  2. アクティブ化名を入力します(名前は切り替えたい環境です)

  3. conda installipykernel必要なプラグインをインストールします

  4. python -m ipykernel install --name Nameは、環境をJyputerに追加します(Nameは、Jyputerに表示されるこの環境の名前であり、カスタマイズ可能です)

カーネルを削除する

jupyterkernelspecはカーネル名を削除します

エラーを報告する[Errono13]

[ Errno 13] Permission denied: ‘/usr/local/share/jupyter’

これを行うには、-userオプションを追加して、このアカウントのホームディレクトリに構成ファイルを生成する必要があります。

python -m ipykernel install --user --name py27-caffe-notebook

この時点で、カーネルの追加は完了です。既存のカーネルを表示します。

jupyter kernelspec list

既存のカーネルを削除します

jupyter kernelspec remove kernelname

上記のコマンドdeleteは構成ファイルのみであり、対応する仮想環境のipykernelをアンインストールしないため、対応するpython仮想環境のカーネルを再度インストールする場合は、仮想環境をアクティブ化してから、

python -m ipykernel install --name kernelname

ファイルをローカルにダウンロードし、ファイルのディレクトリを入力してから、コマンドを使用します

conda install --オフラインパッケージ名

2.Macの深層学習環境の構成

インストールの組み合わせ:Anaconda + PyTorch(GPUバージョン)

オープンソースの貢献:ロンドン大学Ma Zengou

2.1 Anacondaをインストールします

Anacondaをインストールする方法は2つありますが、これは最も直感的なmacOSグラフィカルインストールの1つにすぎません。

https://www.anaconda.com/products/individualのAnacondaインストーラーの場所で、Python 3.7の下の「64ビットグラフィカルインストーラー(442)」を選択します。良いダウンロード

pkgがパッケージをインストールしたら、クリックして入力し、[次へ]をクリックしてインストールを完了します。デフォルトのインストール場所は〜/ optです。コマンドラインインストールを使用する場合は、自分で参照してください:https://docs.anaconda.com/anaconda/install/mac-os/

2.2 ダウンロードステータスの確認

Macのターミナルで、

python --version

インストールされているPythonが3.xバージョンであることを確認してください。ターミナルに入る

jupyter notebook

Webページがポップアップし、ノートブックに入ることができます。

Webページの右上隅にある[終了]をクリックするか、ターミナルに戻り、コマンド+ cを押してノートブックを終了します。

2.2.1 一般的な問題

複数のAnacondaがコンピューターにダウンロードされると、実行時に競合が発生する可能性があります。ターミナルに入る

cd ~

ホームディレクトリに戻り、次のように入力します

cat .bash_profile

アナコンダのバージョンが1つしか表示されない場合は、問題ありません。複数ある場合は、パッケージをダウンロードすることが可能です

特定の競合を引き起こします。 vim、nano、またはその他のテキストエディタを使用して、古いバージョンのAnacondaを変更します

export PATH=...

削除します。

2.3 仮想環境とパッケージのダウンロード

condaを使用して仮想環境を作成し、対応するパッケージをダウンロードするのは非常に簡単です。

2.3.1 Graphic

Anaconda-Navigatorをクリックすると、ダウンロードしたアプリケーションが表示されます。左上隅の[Applications on]は[base(root)]を指し、左側の[Environments]をクリックすると、作成した仮想環境と対応するパッケージが表示されます。アップ。左下隅にある[作成]をクリックして、新しい仮想環境を作成します。

環境名とPythonバージョンを入力し、[作成]をクリックして作成します。

次に、ホームページで、左上隅が作成した環境の名前を指していることを確認します。この環境にjupyterノートブックをインストールします。最初にインストールしたノートブックはベースにあり、普遍的に使用できないことに注意してください。

環境に戻ると、この環境のすべてのパッケージが表示され、左上の[すべて]を選択して、ダウンロードするパッケージの名前を入力します。

次に、ダウンロードすることを選択します

2.3.2 Command Line

上記の操作をコマンドラインで完了することも非常に簡潔です。今回はPytorchを例に取ってみましょう。ターミナルに入る

conda create --name env_name

「env_name」という仮想環境を作成できます。入る

conda env list

作成されたすべての仮想環境を確認できます。*でマークされているのは現在の環境です。入る

conda activate env_name

環境に入る

conda deactivate

現在の仮想環境を終了し、ベースに入ります。

2.3.3 Pytorchをダウンロード

一般的に、MacはCUDAをサポートしていません。 https://pytorch.org/と入力して確認してください

pytorchの公式Webサイトには、現在のデバイスが使用する必要のあるダウンロードステートメントが表示されます。この場合、私のものは

conda install pytorch torchvision -c pytorch

コピーしてターミナルに貼り付け、実行してダウンロードを開始します。

ダウンロードが完了したら、ターミナルに入力します

python3

次に、ダウンロードした2つのパッケージをインポートし、ダウンロードが完了したことを確認します

import torch
import torchvision

print(torch.__version__)print(torchvision.__version__)

インポートと出力が正常であれば、構成は完了です。入る

quit()

大丈夫です。

2.4 余分な状況

中国でcondaを使用して直接ダウンロードすると、非常に時間がかかる場合があります。加速のためにダウンロードソースを変更できます。ソースの置換方法については、次の資料のLinuxセクションを参照してください:https://zhuanlan.zhihu.com/p/87123943。

「環境の解決:失敗...」の問題は、condaのダウンロードでよく発生します。仮想環境が正常に作成されていれば、この問題は問題ありません。それでも発生する場合は、別の仮想環境を作成できます。

コンダには大きなコミュニティがあります。基本的に、発生した問題は発生して回答される可能性があります。Googleが優れたソリューションになります。

3、Ubuntu深層学習環境の構成

インストールの組み合わせ:Anaconda + PyTorch(CPUバージョン)またはPyTorch(GPUバージョン)

オープンソースの貢献:中国北部電力大学のChen Xinda

3.1 Anacondのインストール

AnacondaとPythonのバージョンは対応しているため、対応するPython2.7バージョンまたはPython3.7バージョンまたはその他のバージョンをインストールすることを選択し、必要に応じて適切なインストールパッケージをダウンロードする必要があります。

ダウンロードリンク:https://www.anaconda.com/download/#linux

以下の64ビット(x86)インストーラー(522 MB)をクリックして、64ビットバージョンをダウンロードします。

ダウンロード後のファイル名はAnaconda3-2020.02-Linux-x86_64.shです。

Anaconda3-2020.02-Linux-x86_64.shが配置されているディレクトリにcdします。

bash Anaconda3-2020.02-Linux-x86_64.shを実行して、インストールを開始します。

次のインターフェイスまでEnterキーを押し続けてから、yesと入力します。

ここでEnterキーを押してデフォルトのパスにインストールするか、>>>の後にカスタムパスを入力します

インストールの進行状況バーが終了するのを待つと、次のプロンプトが表示されます。yesは環境変数を追加することを意味し、noは環境変数を追加しないことを意味します。ここでは例としてnoを取り上げます。

次に、環境変数を手動で追加します。最初にcdを〜に追加してから、.bashrcファイルを編集します。sudovim.bashrc

下部に次の行を追加します(。の後にスペースがあることに注意してください)。

# anacondapythonとシステム組み込みpythonを区別する
alias python3="/usr/bin/python3.5"
alias python2="/usr/bin/python2.7"./home/cxd/anaconda3/etc/profile.d/conda.sh

次に、esc +:+ wq!を押して保存します

source.bashrcと入力して、新しく変更された初期化ドキュメントを実行します

以下にcondaenvリストを入力して、環境変数が正常に設定されているかどうかをテストします。

組み込みのpythonを使用するように設定したコマンドpython2、python3を試してください

これが終わったら、パッケージをインストールするときに誰もが間違いなく苦しむでしょう〜ここでアナコンダのソースを変更する必要があります(Tsinghuaソースを追加):

次に、pytorchという仮想環境を作成し、次のエラーが報告されていることを確認しました。

その理由は、前回のインストールで残ったソースをクリアしなかったためです。sudovim.condarcと入力し、ファイルの内容を変更します(デフォルトの行を削除することを忘れないでください)。

次に、source .condarcと入力して、仮想環境を再度作成します。

3.2 pytorchcpuバージョンのインストール

pytorchの公式ウェブサイトを開く:https://pytorch.org/

作成した仮想環境をアクティブ化します。condaactivatepytorchインストール前に次のソースを追加します。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

次に、次のコードを入力します。

conda install pytorch torchvision cpuonly -c pytorch

インストールが完了したら、インストールが完了したかどうかをテストします。

import torch
print(torch.__version__)

出力は次のとおりです。インストールは成功しました。

3.3 pytorch-gpuのインストール

3.3.1 GPUドライバーのインストール

次のコマンドを実行します:「ubuntu-driversdevices」

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0==
modalias : pci:v000010DEd00001C8Dsv00001028sd0000086Fbc03sc02i00
vendor   : NVIDIA Corporation
model    : GP107M [GeForce GTX 1050 Mobile]
driver   : nvidia-driver-390- distro non-free
driver   : nvidia-driver-435- distro non-free
driver   : nvidia-driver-440- distro non-free recommended
driver   : xserver-xorg-video-nouveau - distro free builtin

== /sys/devices/pci0000:00/0000:00:14.3==
modalias : pci:v00008086d0000A370sv00008086sd000042A4bc02sc80i00
vendor   : Intel Corporation
model    : Wireless-AC 9560[Jefferson Peak]
manual_install: True
driver   : backport-iwlwifi-dkms - distro free

ご覧のとおり、ここにGTX1050デバイスがあります。推奨されるドライバーは440です。

推奨されるすべてのドライバーをインストールします

sudo ubuntu-drivers autoinstall

ドライバーをインストールする

sudo apt install nvidia-440

**3.3.2 cuda **をインストールします##

CUDAのインストールは、適切なグラフィックスドライバーに対応している必要があります。以下は、ドライバーとcudaのバージョン対応です。

Table 1. CUDA Toolkit and Compatible Driver Versions
CUDA Toolkit    Linux x86_64 Driver Version Windows x86_64 Driver Version
CUDA 10.2.89>=440.33>=441.22
CUDA 10.1(10.1.105 general release, and updates)>=418.39>=418.96
CUDA 10.0.130>=410.48>=411.31
CUDA 9.2(9.2.148 Update 1)>=396.37>=398.26
CUDA 9.2(9.2.88)>=396.26>=397.44
CUDA 9.1(9.1.85)>=390.46>=391.29
CUDA 9.0(9.0.76)>=384.81>=385.54
CUDA 8.0(8.0.61 GA2)>=375.26>=376.51
CUDA 8.0(8.0.44)>=367.48>=369.30
CUDA 7.5(7.5.16)>=352.31>=353.66
CUDA 7.0(7.0.28)>=346.46>=347.62

cudaダウンロードリンク:http://suo.im/6dY8rL

インストーラータイプは、最初または2番目を選択できます。ただし、cudaファイルを取得した後、最初にgccバージョンを確認してください。例として、最初のrunfile(ローカル)インストール方法を取り上げます。

Linuxには通常gccが付属しています。まず、システムのgccバージョンを確認しましょう。

gcc --version

cudaのgcc依存バージョンは、公式ドキュメントのインストールガイドに記載されています。

バージョンがcudaのgccへの依存関係に対応していない場合は、cudaに必要なバージョンをインストールしてください

sudo apt-get install gcc-7.0
sudo apt-get install g++-7.0

インストールが完了したら、システムのgccバージョンを変更する必要があります

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-750
sudo update-alternatives --install /usr/bin/g++ g++/usr/bin/g++-750

必要なバージョンを選択してください

sudo update-alternatives --config gcc

 パス優先ステータスを選択
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - *0 /usr/bin/gcc-950自動モード
 1 /usr/bin/g++-950手動モード
 2 /usr/bin/gcc-750手動モード

上記の番号を入力するだけです。

sudo sh cuda_あなたのバージョン_linux.run

sudo vim ~/.bashrc

次のコマンドをにコピーします

export PATH=/usr/local/cuda-10.2/bin${PATH:+:$PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

インストールが成功したかどうかを確認します

nvcc -V

**3.3.3 cudnn **をインストールします##

https://developer.nvidia.com/cudnncudaに対応するバージョンを選択します

次に、cudnnをcudaに解凍した後、includeフォルダーとlib64フォルダーをコピーします。

sudo cp cuda/include/cudnn.h    /usr/local/cuda-10.2/include    #解凍されたフォルダ名はcudaです-10.2  
sudo cp cuda/lib64/libcudnn*/usr/local/cuda-10.2/lib64
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h   /usr/local/cuda-10.2/lib64/libcudnn*

**3.3.4 pytorch-gpu **をインストールします##

condaのインストール:

# 独自のバージョンのcudaを選択してください
conda install pytorch torchvision cudatoolkit=10.2

ピップのインストール:

pip install torch torchvision -i  https://pypi.mirrors.ustc.edu.cn/simple

第四に、最後に書く

これで、直面している環境構成の問題を解決することを期待して、すべての深層学習環境インストールガイドは終了です。

Recommended Posts

深層学習環境構成ガイド! (Windows、Mac、Ubuntuの完全な説明)
KerasとそのUbuntuへの依存関係をインストールするための深い学習
Ubuntu19.1のインストールと構成中国の環境
Ubuntu 16.04にJDKをインストールし、環境変数を構成します
EthereumクライアントMistをWindowsとubuntuにインストールします
VMware上のWindowsとUbuntu間のファイル転送方法
UbuntuサーバーにMono本番環境をインストールして構成します
Ubuntu構成開発環境
Ubuntu開発環境の構成
Ubuntu16.04のインストールと簡単な構成
Ubuntu16.04のインストールとSVNの構成
UbuntuPostgreSQLのインストールと構成
Ubuntu環境でのSSHのインストールと使用の詳細な説明