セントス環境でのPythonとスクレイプ展開
1 オペレーティング・システム＃＃
Centos 6.564ビット以上
2 ソフトウェア環境##
ヒント：（1）使用するソフトウェア;（2）動作環境（3）開発キット。
- Python：Python-2.7.6.tgz
- Scrapy：Scrapy-1.0.3.tar.gz
- Selenium：selenium (2.48.0)
- Phantomjs：phantomjs-1.9.8-linux-x86_64.tar.bz2
- MySQL-python：MySQL-python-1.2.5.zip
- MySQL：MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
3 インストール手順##
1. 依存ライブラリをインストールする###
yum install zlib-devel bzip2-devel ncurses-devel sqlite-devel readline-devel tk-devel mysql-devel gcc libxslt-devel libxml2-devel libffi-devel openssl-devel python-devel
# yum install zlib-devel
# yum install bzip2-devel
# yum install openssl-devel
# yum install ncurses-devel
# yum install sqlite-devel
# yum install readline-devel
# yum install tk-devel
# yum install mysql-devel
# yum install gcc
# yum install make(セントスには独自のものがある場合があり、インストールする必要はありません)
Scrapyをインストールする必要があります：
# yum install libxslt-devel
# yum install libxml2-devel
# yum install libffi-devel
2. Python ###をアップグレードする
（ダウンロードアドレス：[https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz]（https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz））
Centos6.5システムにはpython2.6.6が付属しており、Python2.7にアップグレードする必要があります
ライブラリファイルをインストールします： yum install zlib-devel openssl-devel sqlite-devel
ダウンロード：wget [https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz]（https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz）
解凍： tar zxvf Python-2.7.6.tgz
インストール：
cd Python-2.7.6./configure --prefix=/usr/local/python
make
make install
ソフトリンクを作成します： ln -sf /usr/local/python/bin/python2.7 / usr / bin / python
yumを修正：ファイル/ usr / bin / yumの最初の行を変更します（＃！/ usr / bin / pythonは＃！/ usr / bin / python2.6に変更されます）
3. setuptoolsとpip ###をインストールします
pipを使用してpythonモジュールをインストールすると、エラーが発生します。setuptoolsとpipを更新して削除することをお勧めします。
ダウンロードリンク：[https://pypi.python.org/packages/source/s/setuptools/setuptools-18.4.tar.gz]（https://pypi.python.org/packages/source/s/setuptools/setuptools-18.4.tar.gz）
解凍後にインストール：python setup.py install（またはpip install -upgrade setuptools）
ダウンロードリンク：[https://pypi.python.org/packages/source/p/pip/pip-7.1.2.tar.gz]（https://pypi.python.org/packages/source/p/pip/pip-7.1.2.tar.gz）
解凍後にインストール：python setup.py install（またはpip install -upgrade pip）
4. scarp + selenium + phantomjsをインストールします###
ダウンロードリンク：[https://pypi.python.org/packages/source/S/Scrapy/Scrapy-1.0.3.tar.gz]（https://pypi.python.org/packages/source/S/Scrapy/Scrapy-1.0.3.tar.gz）
解凍後にインストールします： python setup.py install（ pip installscrapyコマンドを使用してインストールすることもできます）
注：「pipinstallscrapy」を使用してインストールする場合、ネットワークが異常であるか、他の依存ライブラリをダウンロードしてインストールすると、エラーが発生する可能性があります。依存ライブラリを個別にダウンロードしてインストールできます。
selenium + phantomjsはオンデマンドでインストールされます。phantomjsブラウザーを使用してjsを解析する場合は、次のようにインストールします。
ダウンロードリンク：[https://pypi.python.org/packages/source/s/selenium/selenium-2.48.0.tar.gz]（https://pypi.python.org/packages/source/s/selenium/selenium-2.48.0.tar.gz）
解凍後にインストールします： python setup.py install（ pip install seleniumコマンドを使用してインストールすることもできます）
ダウンロードリンク：
https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.8-linux-i686.tar.bz2
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.8-linux-i686.tar.bz2
tar jxvf phantomjs-1.9.8-linux-i686.tar.bz2
mv phantomjs-1.9.8-linux-i686 /usr/local/src/phantomjs
ln -sf /usr/local/src/phantomjs/bin/phantomjs /usr/local/bin/phantomjs
chmod a+x phantomjs
5. MySQLをインストールします-python
PythonはMySQLデータベースを使用しており、このモジュールをインストールする必要があります。
ダウンロードリンク：
https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip
解凍後にインストール： python setup.py install
pip install mysql-python
6. MySQL ###をインストールします
ダウンロードリンク：
http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
解凍後にインストールし、rpmコマンドを使用してインストールします
rpm MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm
rpm MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpm
rpm MySQL-devel-5.6.27-1.linux_glibc2.5.x86_64.rpm
rpm MySQL-shared-5.6.27-1.linux_glibc2.5.x86_64.rpm
4 展開に関する注意事項##
1、 環境変数を変更することを忘れないでください
2、 MySQLをインストールした後、デフォルトの文字セットをutf8に変更する必要があります
Recommended Posts