Scrapyをインストールする方法はたくさんあり、Python2.7以降またはPython3.3以降をサポートしています。
Scrapyには多くの依存ライブラリがあり、プラットフォームはそれぞれ異なります。ここでは、debian / ubuntuでscrapyをインストールする方法と、発生した問題のいくつかを紹介します。WindowsユーザーはBaiduを自分で持っています、ハハ（怠惰な）
Ubuntu->18.04,
python->3.4.3,
pip-> 18.0、インストール：
最初に必要な依存関係をインストールします
頼る
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
スクレイプをインストールする
pip3 install Scrapy
速度が比較的遅い場合は、ピップのソースを変更できます
vim ~/pip/pip.conf
[ global]
index-url = http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com
Could not find a version that satisfies the requirement PyHamcrest>=1.9.0(from Twisted>=13.1.0->scrapy)(from versions:)
No matching distribution found for PyHamcrest>=1.9.0(from Twisted>=13.1.0->scrapy)
大まかな意味は、PyHamcrestをインストールせず、pipのインストールバージョンが間違っているのではないかと心配してバージョンも指定したので、対応するバージョンのパッケージをダウンロードしてローカルにインストールしました。
[ここ]（https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted）PyHamcrest-> 1.9.0バージョンのパッケージをローカルにダウンロードして、ディレクトリに入る
pip3 install ./PyHamcrest-1.9.0-py2.py3-none-any.whl
次に、再入力します。
pip3 install Scrapy
ちょっと待って〜
Recommended Posts