Centos7ビルドpython3.8.5 + scrapy + gerapy

環境：CentOS Linuxリリース7.6.1810（コア）ミニ

Centos7yumソースを更新する

yum -y install epel-release

コンパイル環境をインストールします

yum groupinstall -y "Development tools"

bashとopensslの脆弱性と基本的なソフトウェアを更新します

yum install -y bash openssl* ntp vim wget telnet nscd

サーバー時間を更新する

ntpdate ntp1.aliyun.com

python3をインストールすると依存関係が使用される場合があります

yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel zlib zlib-devel libffi-devel

yum install -y readline-devel.x86_64（必ずこのパッケージをインストールしてください。そうしないと、アップグレードの完了後にバックスペースキーの削除が機能しないことがわかります）

pythonの最新バージョンをダウンロードする

cd /opt/

wget https://www.python.org/ftp/python/3.8.5/Python-3.8.5.tgz

python3.8.5をコンパイルしてインストールします

tar zxvf Python-3.8.5.tgz -C /usr/src/

cd /usr/src/Python-3.8.5

注：-with-sslを指定する必要があります。指定しない場合、pip3インストールパッケージを使用しているときにsslリンクにアクセスすると、TLS / SSLエラーが報告されます。

. /configure --with-ssl --prefix=/usr/local/python38

make && make install

次のメッセージが表示され、インストールが成功したことを示します

Installing collected packages: setuptools, pip

WARNING: The script easy_install-3.8 is installed in '/usr/local/python38/bin' which is not on PATH.

Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.

WARNING: The scripts pip3 and pip3.8 are installed in '/usr/local/python38/bin' which is not on PATH.

Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.

Successfully installed pip-20.1.1 setuptools-47.1.0

システム環境変数にpython38を追加します

vim /etc/profile

最後の行に追加

export PATH=$PATH:/usr/local/python38/bin

環境変数をロードする

source /etc/profile

ソフトリンクを追加

ln -s /usr/local/python38/bin/python3.8 /usr/bin/python38

ln -s /usr/local/python38/bin/pip3.8 /usr/bin/pip38

アップグレードピップ

/usr/local/python38/bin/python3.8 -m pip install --upgrade pip

pythonバージョンを表示

python38 -V

次の情報を出力します。

Python 3.8.5

gerapyをインストールする

pip38 install gerapy

次のメッセージが表示され、インストールが成功したことを示します

Successfully installed Automat-20.2.0 MarkupSafe-1.1.1 PyDispatcher-2.0.5 PyHamcrest-2.0.2 Twisted-20.3.0 appdirs-1.4.4 apscheduler-3.5.1 attrs-20.1.0 beautifulsoup4-4.9.1 certifi-2020.6.20 cffi-1.14.2 chardet-3.0.4 constantly-15.1.0 cryptography-3.1 cssselect-1.1.0 django-1.11.29 django-apscheduler-0.3.0 django-cors-headers-3.2.0 djangorestframework-3.9.2 furl-2.1.0 gerapy-0.9.6 gevent-20.6.2 greenlet-0.4.16 hyperlink-20.0.1 idna-2.10 incremental-17.5.0 jinja2-2.10.1 lxml-4.5.2 orderedmultidict-1.0.1 parsel-1.6.0 protego-0.1.16 pyOpenSSL-19.1.0 pyasn1-0.4.8 pyasn1-modules-0.2.8 pycparser-2.20 pyee-7.0.2 pymongo-3.11.0 pymysql-0.10.0 pyppeteer-0.2.2 pyquery-1.4.1 python-scrapyd-api-2.1.2 pytz-2020.1 queuelib-1.5.0 redis-3.5.3 requests-2.24.0 scrapy-1.8.0 scrapy-redis-0.6.8 scrapy-splash-0.7.2 service-identity-18.1.0 six-1.15.0 soupsieve-2.0.1 tqdm-4.48.2 tzlocal-2.1 urllib3-1.25.10 w3lib-1.22.0 websocket-0.2.1 websockets-8.1 zope.event-4.4 zope.interface-5.1.0

作業ディレクトリを作成する

mkdir /data/gerapy_scrapy

gerapy初期化ディレクトリ

[ root@localhost data]# gerapy init /data/gerapy_scrapy/

Initialized workspace /data/gerapy_scrapy/

gerapy初期化データベース

cd /data/gerapy_scrapy

[ root@localhost gerapy_scrapy]# gerapy migrate

Operations to perform:

Apply all migrations: admin, auth, authtoken, contenttypes, core, django_apscheduler, sessions

Running migrations:

Applying contenttypes.0001_initial... OK

Applying auth.0001_initial... OK

Applying admin.0001_initial... OK

Applying admin.0002_logentry_remove_auto_add... OK

Applying contenttypes.0002_remove_content_type_name... OK

Applying auth.0002_alter_permission_name_max_length... OK

Applying auth.0003_alter_user_email_max_length... OK

Applying auth.0004_alter_user_username_opts... OK

Applying auth.0005_alter_user_last_login_null... OK

Applying auth.0006_require_contenttypes_0002... OK

Applying auth.0007_alter_validators_add_error_messages... OK

Applying auth.0008_alter_user_username_max_length... OK

Applying authtoken.0001_initial... OK

Applying authtoken.0002_auto_20160226_1747... OK

Applying core.0001_initial... OK

Applying core.0002_auto_20180119_1210... OK

Applying core.0003_auto_20180123_2304... OK

Applying core.0004_auto_20180124_0032... OK

Applying core.0005_auto_20180131_1210... OK

Applying core.0006_auto_20180131_1235... OK

Applying core.0007_task_trigger... OK

Applying core.0008_auto_20180703_2305... OK

Applying core.0009_auto_20180711_2332... OK

Applying core.0010_auto_20191027_2040... OK

Applying django_apscheduler.0001_initial... OK

Applying django_apscheduler.0002_auto_20180412_0758... OK

Applying sessions.0001_initial... OK

管理者ユーザーを作成します。パスワードは複雑さに対応する必要があります

[ root@localhost gerapy_scrapy]# gerapy createsuperuser

Username (leave blank to use 'root'): admin

Email address: [email protected]

Password:

Password (again):

Superuser created successfully.

selinuxのステータスを表示する

[ root@localhost gerapy_scrapy]# sestatus

SELinux status:                 enabled

SELinuxfs mount:                /sys/fs/selinux

SELinux root directory:         /etc/selinux

Loaded policy name:             targeted

Current mode:                   enforcing

Mode from config file:          enforcing

Policy MLS status:              enabled

Policy deny_unknown status:     allowed

Max kernel policy version:      31

selinuxを閉じ、再起動して有効にします

vim /etc/selinux/config

SELINUX=disabled

一時的に有効

setenforce 0

iptables戦略の直接クリアを容易にするため

iptables -F

gerapyを実行する

gerapy runserver 0.0.0.0:8000

gerapyにアクセス：ipアドレス+ポート

http://192.168.18.131:8000/#/login

DjangoバックグラウンドログインURL（アカウントパスワードは変更可能）

http://192.168.18.131:8000/admin/login/