著者:ウー・チョウの時代、馬はヨーロッパにいた、チェン・シンアップ
入門的な深層学習では、多くの人々が入場から放棄までの悲しい旅を経験し、入場の最初のレベルである環境構成の問題に陥りました。言われているように、環境は正しくありません、涙の2つの行を学びます。
Windowsユーザー、Ubuntuユーザー、Appleの熱狂的なファンなど、環境の構成に苦労している場合は、この記事を参考にしてください。次に、Windows、Mac、Ubuntuのディープラーニング環境の構成について順番に説明します。
1.Windowsシステムの深層学習環境の構成
システム:Win1064ビットオペレーティングシステム
インストールの組み合わせ:Anaconda + PyTorch([GPU](https://cloud.tencent.com/product/gpu?from=10680)バージョン)+ GTX1060
オープンソースの貢献:Wu Tianzhou、Inner Mongolia Agricultural University
1、 conda create -n pytorch python = 3.7.0:pytorchという名前の仮想環境を作成し、その環境にpython = 3.7をインストールします。
2、 pytorchのアクティブ化:pytorchという名前の環境をアクティブ化します
1.2 ハードウェアでサポートされているCUDAバージョンを確認します
NVIDIAコントロールパネル-ヘルプ-システム情報-コンポーネント
2020 2015年5月19日の16:46:31に、グラフィックカードドライバーを更新したところ、cudaがサポートしているのが11未満であることがわかりました。
1.3 pytorchバージョン、torchvisionバージョンを決定する
pytorchの公式ウェブサイトにアクセスしてください:https://pytorch.org/get-started/locally/
公式ソースは遅すぎるため、Tsinghuaソースを使用してここからダウンロードしてください
1.4 対応するインストールパッケージをミラーにダウンロードします
清華ミラー:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/
pytorch:
torchvision:
1.5 ローカルインストール
次に、最初のステップはpytorch環境にインストールし、次のコマンドを順番に入力することです。
次に、仮想環境が配置されているディレクトリに戻り、conda install anacondaを使用して、環境に必要な基本パッケージをインストールします。
1.6 テスト
コード1:
from future import print_function
import torch
x = torch.rand(5,3)print(x)
出力は次のテンソルに似ています。
コード2:
import torch
torch.cuda.is_available()
出力:True
上記の2つのコードの異常な出力がない場合は、環境が正常にセットアップされていることを示しています。
1.7 発生した問題
conda create -n py37_torch131 python=3.7
[解決策] https://blog.csdn.net/weixin_42329133/article/details/102640763
環境はAnacondaディレクトリの下のenvsフォルダに保存されます
【解決】:
https://www.cnblogs.com/hellojiaojiao/p/10790273.html
[解決策] https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
清華NBと呼んでいます!
cudaの過去のバージョンをダウンロードする:https://developer.nvidia.com/cuda-toolkit-archive
CUDAのバージョンがサポートするNVIDIAのコンポーネントによって異なります。私は1060グラフィックカードなので、バージョン10.0のcudaを使用しています。
公式サイトには私の組み合わせがありません、私は疑問符でいっぱいです
ここに直接います(最初に新しく作成された環境に入るのを忘れないでください)
conda install pytorch torchvision cudatoolkit=10.0-c pytorch
python -m ipykernel install--name仮想環境名
Anacondaプロンプトを開き、conda env listと入力して、既存の環境を表示します
アクティブ化名を入力します(名前は切り替えたい環境です)
conda installipykernel必要なプラグインをインストールします
python -m ipykernel install --name Nameは、環境をJyputerに追加します(Nameは、Jyputerに表示されるこの環境の名前であり、カスタマイズ可能です)
カーネルを削除する
jupyterkernelspecはカーネル名を削除します
エラーを報告する[Errono13]
[ Errno 13] Permission denied: ‘/usr/local/share/jupyter’
これを行うには、-userオプションを追加して、このアカウントのホームディレクトリに構成ファイルを生成する必要があります。
python -m ipykernel install --user --name py27-caffe-notebook
この時点で、カーネルの追加は完了です。既存のカーネルを表示します。
jupyter kernelspec list
既存のカーネルを削除します
jupyter kernelspec remove kernelname
上記のコマンドdeleteは構成ファイルのみであり、対応する仮想環境のipykernelをアンインストールしないため、対応するpython仮想環境のカーネルを再度インストールする場合は、仮想環境をアクティブ化してから、
python -m ipykernel install --name kernelname
ファイルをローカルにダウンロードし、ファイルのディレクトリを入力してから、コマンドを使用します
conda install --オフラインパッケージ名
2.Macの深層学習環境の構成
インストールの組み合わせ:Anaconda + PyTorch(GPUバージョン)
オープンソースの貢献:ロンドン大学Ma Zengou
2.1 Anacondaをインストールします
Anacondaをインストールする方法は2つありますが、これは最も直感的なmacOSグラフィカルインストールの1つにすぎません。
https://www.anaconda.com/products/individualのAnacondaインストーラーの場所で、Python 3.7の下の「64ビットグラフィカルインストーラー(442)」を選択します。良いダウンロード
pkgがパッケージをインストールしたら、クリックして入力し、[次へ]をクリックしてインストールを完了します。デフォルトのインストール場所は〜/ optです。コマンドラインインストールを使用する場合は、自分で参照してください:https://docs.anaconda.com/anaconda/install/mac-os/
2.2 ダウンロードステータスの確認
Macのターミナルで、
python --version
インストールされているPythonが3.xバージョンであることを確認してください。ターミナルに入る
jupyter notebook
Webページがポップアップし、ノートブックに入ることができます。
Webページの右上隅にある[終了]をクリックするか、ターミナルに戻り、コマンド+ cを押してノートブックを終了します。
2.2.1 一般的な問題
複数のAnacondaがコンピューターにダウンロードされると、実行時に競合が発生する可能性があります。ターミナルに入る
cd ~
ホームディレクトリに戻り、次のように入力します
cat .bash_profile
アナコンダのバージョンが1つしか表示されない場合は、問題ありません。複数ある場合は、パッケージをダウンロードすることが可能です
特定の競合を引き起こします。 vim、nano、またはその他のテキストエディタを使用して、古いバージョンのAnacondaを変更します
export PATH=...
削除します。
2.3 仮想環境とパッケージのダウンロード
condaを使用して仮想環境を作成し、対応するパッケージをダウンロードするのは非常に簡単です。
2.3.1 Graphic
Anaconda-Navigatorをクリックすると、ダウンロードしたアプリケーションが表示されます。左上隅の[Applications on]は[base(root)]を指し、左側の[Environments]をクリックすると、作成した仮想環境と対応するパッケージが表示されます。アップ。左下隅にある[作成]をクリックして、新しい仮想環境を作成します。
環境名とPythonバージョンを入力し、[作成]をクリックして作成します。
次に、ホームページで、左上隅が作成した環境の名前を指していることを確認します。この環境にjupyterノートブックをインストールします。最初にインストールしたノートブックはベースにあり、普遍的に使用できないことに注意してください。
環境に戻ると、この環境のすべてのパッケージが表示され、左上の[すべて]を選択して、ダウンロードするパッケージの名前を入力します。
次に、ダウンロードすることを選択します
2.3.2 Command Line
上記の操作をコマンドラインで完了することも非常に簡潔です。今回はPytorchを例に取ってみましょう。ターミナルに入る
conda create --name env_name
「env_name」という仮想環境を作成できます。入る
conda env list
作成されたすべての仮想環境を確認できます。*でマークされているのは現在の環境です。入る
conda activate env_name
環境に入る
conda deactivate
現在の仮想環境を終了し、ベースに入ります。
2.3.3 Pytorchをダウンロード
一般的に、MacはCUDAをサポートしていません。 https://pytorch.org/と入力して確認してください
pytorchの公式Webサイトには、現在のデバイスが使用する必要のあるダウンロードステートメントが表示されます。この場合、私のものは
conda install pytorch torchvision -c pytorch
コピーしてターミナルに貼り付け、実行してダウンロードを開始します。
ダウンロードが完了したら、ターミナルに入力します
python3
次に、ダウンロードした2つのパッケージをインポートし、ダウンロードが完了したことを確認します
import torch
import torchvision
print(torch.__version__)print(torchvision.__version__)
インポートと出力が正常であれば、構成は完了です。入る
quit()
大丈夫です。
2.4 余分な状況
中国でcondaを使用して直接ダウンロードすると、非常に時間がかかる場合があります。加速のためにダウンロードソースを変更できます。ソースの置換方法については、次の資料のLinuxセクションを参照してください:https://zhuanlan.zhihu.com/p/87123943。
「環境の解決:失敗...」の問題は、condaのダウンロードでよく発生します。仮想環境が正常に作成されていれば、この問題は問題ありません。それでも発生する場合は、別の仮想環境を作成できます。
コンダには大きなコミュニティがあります。基本的に、発生した問題は発生して回答される可能性があります。Googleが優れたソリューションになります。
3、Ubuntu深層学習環境の構成
インストールの組み合わせ:Anaconda + PyTorch(CPUバージョン)またはPyTorch(GPUバージョン)
オープンソースの貢献:中国北部電力大学のChen Xinda
3.1 Anacondのインストール
AnacondaとPythonのバージョンは対応しているため、対応するPython2.7バージョンまたはPython3.7バージョンまたはその他のバージョンをインストールすることを選択し、必要に応じて適切なインストールパッケージをダウンロードする必要があります。
ダウンロードリンク:https://www.anaconda.com/download/#linux
以下の64ビット(x86)インストーラー(522 MB)をクリックして、64ビットバージョンをダウンロードします。
ダウンロード後のファイル名はAnaconda3-2020.02-Linux-x86_64.shです。
Anaconda3-2020.02-Linux-x86_64.shが配置されているディレクトリにcdします。
bash Anaconda3-2020.02-Linux-x86_64.shを実行して、インストールを開始します。
次のインターフェイスまでEnterキーを押し続けてから、yesと入力します。
ここでEnterキーを押してデフォルトのパスにインストールするか、>>>の後にカスタムパスを入力します
インストールの進行状況バーが終了するのを待つと、次のプロンプトが表示されます。yesは環境変数を追加することを意味し、noは環境変数を追加しないことを意味します。ここでは例としてnoを取り上げます。
次に、環境変数を手動で追加します。最初にcdを〜に追加してから、.bashrcファイルを編集します。sudovim.bashrc
下部に次の行を追加します(。の後にスペースがあることに注意してください)。
# anacondapythonとシステム組み込みpythonを区別する
alias python3="/usr/bin/python3.5"
alias python2="/usr/bin/python2.7"./home/cxd/anaconda3/etc/profile.d/conda.sh
次に、esc +:+ wq!を押して保存します
source.bashrcと入力して、新しく変更された初期化ドキュメントを実行します
以下にcondaenvリストを入力して、環境変数が正常に設定されているかどうかをテストします。
組み込みのpythonを使用するように設定したコマンドpython2、python3を試してください
これが終わったら、パッケージをインストールするときに誰もが間違いなく苦しむでしょう〜ここでアナコンダのソースを変更する必要があります(Tsinghuaソースを追加):
次に、pytorchという仮想環境を作成し、次のエラーが報告されていることを確認しました。
その理由は、前回のインストールで残ったソースをクリアしなかったためです。sudovim.condarcと入力し、ファイルの内容を変更します(デフォルトの行を削除することを忘れないでください)。
次に、source .condarcと入力して、仮想環境を再度作成します。
pytorchの公式ウェブサイトを開く:https://pytorch.org/
作成した仮想環境をアクティブ化します。condaactivatepytorchインストール前に次のソースを追加します。
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
次に、次のコードを入力します。
conda install pytorch torchvision cpuonly -c pytorch
インストールが完了したら、インストールが完了したかどうかをテストします。
import torch
print(torch.__version__)
出力は次のとおりです。インストールは成功しました。
次のコマンドを実行します:「ubuntu-driversdevices」
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0==
modalias : pci:v000010DEd00001C8Dsv00001028sd0000086Fbc03sc02i00
vendor : NVIDIA Corporation
model : GP107M [GeForce GTX 1050 Mobile]
driver : nvidia-driver-390- distro non-free
driver : nvidia-driver-435- distro non-free
driver : nvidia-driver-440- distro non-free recommended
driver : xserver-xorg-video-nouveau - distro free builtin
== /sys/devices/pci0000:00/0000:00:14.3==
modalias : pci:v00008086d0000A370sv00008086sd000042A4bc02sc80i00
vendor : Intel Corporation
model : Wireless-AC 9560[Jefferson Peak]
manual_install: True
driver : backport-iwlwifi-dkms - distro free
ご覧のとおり、ここにGTX1050デバイスがあります。推奨されるドライバーは440です。
推奨されるすべてのドライバーをインストールします
sudo ubuntu-drivers autoinstall
ドライバーをインストールする
sudo apt install nvidia-440
CUDAのインストールは、適切なグラフィックスドライバーに対応している必要があります。以下は、ドライバーとcudaのバージョン対応です。
Table 1. CUDA Toolkit and Compatible Driver Versions
CUDA Toolkit Linux x86_64 Driver Version Windows x86_64 Driver Version
CUDA 10.2.89>=440.33>=441.22
CUDA 10.1(10.1.105 general release, and updates)>=418.39>=418.96
CUDA 10.0.130>=410.48>=411.31
CUDA 9.2(9.2.148 Update 1)>=396.37>=398.26
CUDA 9.2(9.2.88)>=396.26>=397.44
CUDA 9.1(9.1.85)>=390.46>=391.29
CUDA 9.0(9.0.76)>=384.81>=385.54
CUDA 8.0(8.0.61 GA2)>=375.26>=376.51
CUDA 8.0(8.0.44)>=367.48>=369.30
CUDA 7.5(7.5.16)>=352.31>=353.66
CUDA 7.0(7.0.28)>=346.46>=347.62
cudaダウンロードリンク:http://suo.im/6dY8rL
インストーラータイプは、最初または2番目を選択できます。ただし、cudaファイルを取得した後、最初にgccバージョンを確認してください。例として、最初のrunfile(ローカル)インストール方法を取り上げます。
Linuxには通常gccが付属しています。まず、システムのgccバージョンを確認しましょう。
gcc --version
cudaのgcc依存バージョンは、公式ドキュメントのインストールガイドに記載されています。
バージョンがcudaのgccへの依存関係に対応していない場合は、cudaに必要なバージョンをインストールしてください
sudo apt-get install gcc-7.0
sudo apt-get install g++-7.0
インストールが完了したら、システムのgccバージョンを変更する必要があります
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-750
sudo update-alternatives --install /usr/bin/g++ g++/usr/bin/g++-750
必要なバージョンを選択してください
sudo update-alternatives --config gcc
パス優先ステータスを選択
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - *0 /usr/bin/gcc-950自動モード
1 /usr/bin/g++-950手動モード
2 /usr/bin/gcc-750手動モード
上記の番号を入力するだけです。
sudo sh cuda_あなたのバージョン_linux.run
sudo vim ~/.bashrc
次のコマンドをにコピーします
export PATH=/usr/local/cuda-10.2/bin${PATH:+:$PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
インストールが成功したかどうかを確認します
nvcc -V
https://developer.nvidia.com/cudnncudaに対応するバージョンを選択します
次に、cudnnをcudaに解凍した後、includeフォルダーとlib64フォルダーをコピーします。
sudo cp cuda/include/cudnn.h /usr/local/cuda-10.2/include #解凍されたフォルダ名はcudaです-10.2
sudo cp cuda/lib64/libcudnn*/usr/local/cuda-10.2/lib64
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h /usr/local/cuda-10.2/lib64/libcudnn*
condaのインストール:
# 独自のバージョンのcudaを選択してください
conda install pytorch torchvision cudatoolkit=10.2
ピップのインストール:
pip install torch torchvision -i https://pypi.mirrors.ustc.edu.cn/simple
第四に、最後に書く
これで、直面している環境構成の問題を解決することを期待して、すべての深層学習環境インストールガイドは終了です。
Recommended Posts