python学習ルート

爬虫類

  1. 基本的な知識:ウェブサイト、html、python、マルチプロセス/マルチスレッド/ coroutineなどの基本原則(学ぶ必要があります)

  2. HTMLファウンデーション、ネットワークリクエストモジュール:リクエスト(学習する必要があります)、urllib(理解できます)

  3. いくつかの一般的なアンチクライミング戦略と対応するソリューションを理解する必要があります。一般的なものには、IP周波数制限、ユーザーエージェント、リファラー、Origen検証、Cookie制限、動的ロードおよび検証コードなどが含まれます。

対応する処理方法には、IPプロキシプール、偽造ヘッダー、Cookieの保存と処理(基本高度)が含まれます。

  1. Webページ分析の抽出:Beautifulsoup&Xpath(1つ選択)、正規表現(学習する必要があります)

  2. JS、js暗号化、Selenium、OCR認識またはコーディングプラットフォームの動的実行(オプション)

  3. データストレージ(ファイルの読み取りと書き込み、データベース、Excel / CSVモジュールなど)(必須)

  4. ネットワークパケットキャプチャ分析(オプション)

  5. クローラーフレームワーク:Scrapy(オプション)、pyspider(オプション)

  6. 分散クローラー(オプション)

データの分析と処理

  1. 基本的な知識:python(関数、モジュール、オブジェクト指向)、正規表現、JSON(学習する必要があります)

  2. 上記のクローラーに関連して:

・基本的な知識:ウェブサイト、html、python、マルチプロセス/マルチスレッド/ coroutineなどの基本原則(必須)

・HTMLベース、ネットワークリクエストモジュール:リクエスト(学習する必要があります)、urllib(理解できます)

・いくつかの一般的なアンチクライミング戦略と対応するソリューションを理解する必要があります:一般的なIP周波数制限、ユーザーエージェント、リファー、オリゲン検証、Cookie制限、動的ロードおよび検証コードなど。

対応する処理方法には、IPプロキシプール、偽造ヘッダー、Cookieの保存と処理(基本高度)が含まれます。

・Webページの分析と抽出:Beautifulsoup&Xpath(1つ選択)、通常の表現(学習する必要があります)

・JS、js暗号化およびSelenium、OCR認識またはコーディングプラットフォームの動的実行(オプション)

・データストレージ(ファイルの読み取りと書き込み、データベース、Excel / CSVモジュールなど)(必須)

  1. データ分析関連ライブラリ:Pandas、Numpy、Scipy、スタッター分析など(必須)

  2. チャートの描画と視覚化:Matplotlip、ワードクラウド(学習する必要があります)

ビッグデータ(データマイニング、機械学習)

  1. 基本的な知識:python(基本+上級)(学ぶ必要があります)

  2. 財務、統計、経済学、投資(必須)

  3. データストレージ(ファイルの読み取りと書き込み、データベース、Excel / CSVモジュールなど)(必須)

  4. データ分析関連のライブラリ:Pandas、Numpy、Scipy、スタマーワードセグメンテーション(学習する必要があります)

  5. チャートの描画と視覚化:Matplotlipなど(必須)

  6. 機械学習関連のモデル知識:ナイーブベイズ、意思決定ツリー、ロジスティック回帰、線形回帰、KNNアルゴリズム、SVM、

ブースティング、クラスタリング、推奨システム、pLSA、LDA、GDBT、正規化、異常検出、EMアルゴリズム、Apriori、

FPグロース等(必須)

  1. 機械学習関連ライブラリ:sklearn(必須)、keras、statsmodels、tensorflow(オプション)

Recommended Posts

python学習ルート
パイソンリスト学習
Pythonエントリー学習教材
Four.mdを学習するPython3エントリ
Python関数の基礎学習
python_クローラーの基本的な学習
python_正規式学習
three.mdを学習するPython3エントリ
Python3.mdの使用を開始する
two.mdを学習するPython3エントリ
Python正規表現クイックラーニング
PythonプログラミングPycharm高速学習
はじめにpython学習手順
Pythonマジック関数eval()学習
Pythonの正規表現学習の小さな例
Pythonの3日目の1行関数の学習
パイソンクローラー開発の学習パス
Python学習OSモジュールと使用法
Pythonマルチスレッド
Python CookBook
Python FAQ
Python3辞書
python(you-get)
Python文字列
Pythonの基本
Python記述子
Pythonの基本2
Python exec
Pythonノート
Python3タプル
CentOS + Python3.6 +
Pythonの基礎を学ぶ2日間
Python Advanced(1)
Pythonデコレータ
Python IO
Pythonマルチスレッド
Pythonツールチェーン
Python3リスト
Pythonマルチタスク-日常
Pythonの概要
pythonの紹介
Pythonアナリティック
Pythonの基本
07.Python3関数
Pythonの基本3
Pythonマルチタスクスレッド
Python関数
python sys.stdout
python演算子
Pythonエントリ-3
Centos 7.5 python3.6
Python文字列
pythonキューキュー
Pythonの基本4
Pythonの基本5
Pythonを学ぶためのいくつかのウェブサイトの推奨事項
27歳でパイソンを学ぶのはどうですか?