Pythonで一般的に使用されるサードパーティライブラリの大規模なインベントリ

Python言語には、情報技術のほぼすべての領域をカバーする120,000を超えるサードパーティライブラリがあります。ここでは、Webクロール、自動化、データ分析と視覚化、WEB開発、機械学習、およびその他の一般的に使用されるサードパーティライブラリの簡単な紹介を示します。興味のあるライブラリがある場合は、その機能を試してみてください。

1、 Webクローラー

• リクエスト-HTTPプロトコルを高度にカプセル化し、非常に豊富なリンクアクセス機能をサポートします。
• **PySpider **-強力なWebUIを備えた中国人によって書かれた強力なWebクローラーシステム。
• **bs4 **-HTMLおよびXMLを解析および処理するためのbeautifulsoup4ライブラリ。
• **Scrapy-**は、Webサイトをクロールし、ページから構造化データを抽出するための非常に強力なクローラーフレームワークです。データマイニングからモニタリング、自動テストまで、さまざまな目的に使用できます
• **Crawley **-対応するWebサイトのコンテンツの高速クロール、リレーショナルおよび非リレーショナルデータベースのサポート、データはJSON、XMLなどとしてエクスポートできます。
• **Portia -Webコンテンツを視覚的にクロールする• cola **-分散型クローラーフレームワーク
• 新聞-ニュース、記事、コンテンツ分析を抽出
• **lxml **-lxmlはpythonの解析ライブラリであり、このライブラリはHTMLとxmlの解析をサポートし、XPathの解析メソッドをサポートします

2、 自動化

•** xlsxWriter -Excelワークシートのテキスト、数値、式、グラフなどを操作します• win32com -Windowsシステム操作、Office（Word、Excelなど）ファイルの読み取りおよび書き込みなどのための包括的なアプリケーションライブラリ• pymysql -[MySQL]（https://cloud.tencent.com/product/cdb?from=10680）データベースを操作します• pymongo -[MongoDB]（https://cloud.tencent.com/product/mongodb?from=10680）にデータを書き込みます• smtplib -電子メールモジュールを送信します• selenium-参照するための呼び出しブラウザのドライバは、このライブラリを介して、ブラウザを直接呼び出して、ブラウザの自動化によく使用される確認コードの入力など、特定の操作を完了することができます。 • pdfminer -PDFドキュメントからあらゆる種類の情報を抽出できるサードパーティのライブラリ。他のPDF関連ツールとは異なり、PDFテキストデータを完全に取得して分析できます• PyPDF2 -PDFページを分割、マージ、変換できるライブラリ。 • openpyxl ** – Microsoft Excelドキュメントを処理するためのPythonサードパーティライブラリ。Excelのxls、xlsx、xlsm、xltx、xltmの読み取りと書き込みをサポートします。 •** python-docx ** – Microsoft Wordドキュメントを処理するためのPythonサードパーティライブラリ。doc、docx、およびその他の形式のファイルの読み取り、クエリ、および変更をサポートし、Wordの一般的なスタイルをプログラムできます。

3、 データ分析と視覚化

• **matplotlib **-Matplotlibは、パブリケーションの品質に使用できるさまざまなハードコピー形式とクロスプラットフォームのインタラクティブ環境データを生成できるPython2Dプロットライブラリです。 Matplotlibは、Pythonスクリプト、PythonおよびIPythonシェル（MATLABやMathematicaなど）、Webアプリケーションサーバー、およびさまざまなグラフィカルユーザーインターフェイスツールキットに使用できます。 「」
• **numpy **-NumPyは、Pythonを使用した科学コンピューティングに必要な基本パッケージです。マトリックス操作、ベクトル処理、N次元データ変換などの大きなマトリックスを格納および処理するために使用されます。
• **pyecharts **-Echartsチャートを生成するためのクラスライブラリ
• **pandas **-numpy拡張に基づいて構造化データを分析するための強力なツールセットは、標準データモデルのバッチと、データを処理するための多数の便利な関数とメソッドを提供します。
• **Scipy **：Pythonに基づくMatlabの実装。matlabのすべての機能を実現することを目的としており、numpyライブラリに基づいて数学、科学、工学の計算で一般的に使用される多数のライブラリ関数を追加します。
• **Plotly **-Plotlyが提供するグラフィックライブラリは、オンラインのWEBインタラクションを可能にし、出版品質のグラフィックを提供し、ライングラフ、スキャッタグラフ、エリアグラフ、バーグラフ、エラーバー、ブロックダイアグラム、ヒストグラム、ヒートマップ、およびサブをサポートします。グラフ、多軸、極座標グラフ、バブルグラフ、ローズグラフ、ヒートグラフ、ファンネルグラフ、その他多くのグラフ
• **wordcloud **-ワードクラウドジェネレーター
• •** ieba **-中国語の単語セグメンテーションモジュール

4、 ウェブ開発 ＃＃

• Django -Pythonで記述されたオープンソースのWebアプリケーションフレームワーク。これは、Pythonエコシステムで最も人気のあるオープンソースのWebアプリケーションフレームワークです。Djangoは、MTVモードと呼ばれるモデル、テンプレート、およびビュー書き込みモードを使用します。
• **Pyramid **は、汎用のオープンソースPythonWebアプリケーション開発フレームワークです。その主な目的は、Python開発者がWebアプリケーションを簡単に作成できるようにすることです。Djangoと比較すると、Pyramidは比較的小さく、高速で、柔軟なオープンソースのPythonWebフレームワークです。
• **Tornado **-Webサーバーソフトウェアのオープンソースバージョン。 Tornadoは、現在の主流のWebサーバーフレームワーク（ほとんどのPythonフレームワークを含む）とは明らかに異なります。非ブロッキングサーバーであり、非常に高速です。
• **Flask **は軽量のWebアプリケーションフレームワークです。DjangoやPyramidと比較して、マイクロフレームワークとも呼ばれます。 Flaskを使用してWebアプリケーションを開発すると非常に便利で、数行のコードでも小さなWebサイトを構築できます。 Flaskのコアは非常に単純で、データベースアクセスなどの抽象アクセス層を直接含みませんが、拡張モジュールの形式でサポートされます。

5、 機械学習

• **NLTK **-NLPの分野で一般的に使用される、自然言語処理用のサードパーティライブラリは、ワードバッグモデル（ワードカウント）を構築し、ワード頻度分析（ワードオカレンス）、パターン認識、関連分析、感情分析（ワード頻度分析+測定）をサポートできます。指標）、視覚化（+分析グラフのmatploylib）など。
• **TensorFlow **-Googleの第2世代機械学習システムは、数値計算にデータフローグラフを使用するオープンソースのソフトウェアライブラリです。
• **Keras **-Pythonで記述された高レベルのニューラルネットワークAPIであり、TensorFlow、CNTK、またはTheano上で実行できます。これは、迅速な実験を実現し、アイデアを最小限の遅延で結果に変えることを目的としています。これは、研究を行うための鍵です。
• **Caffe **-主にコンピュータービジョンに使用される深い学習フレームワークであり、画像認識の分類に優れたアプリケーション効果をもたらします。
• **theano-**ディープラーニングライブラリ。 Numpyと緊密に統合され、[GPU]（https://cloud.tencent.com/product/gpu?from=10680）計算、ユニットテスト、および自己検証をサポートします。深層学習で大規模なニューラルネットワークアルゴリズムを実行するように設計されており、多次元アレイの処理に優れています。
• Scikit-learn -は、NumPy、SciPy、およびmatplotlibに基づくシンプルで効率的なデータマイニングおよびデータ分析ツールです。 Scikit-learnの基本機能には、主に6つの部分が含まれます。分類、回帰、クラスタリング、データの次元数の削減、モデルの選択、およびデータの前処理です。 Scikit-learnはsklearnとも呼ばれます。

6、 その他の一般的に使用される

• **IPython **-Pythonベースのインタラクティブシェルで、デフォルトのPythonシェルよりもはるかに使いやすく、変数の自動補完、自動インデント、インタラクティブヘルプ、マジックコマンド、システムコマンドなどをサポートし、多くの便利な機能が組み込まれています。そして機能
• **PTVS **-VisualStudioのPythonツール
• **pydub **-サウンドファイルの複数の形式をサポートし、複数の信号処理、信号生成、サウンドエフェクトの登録、ミュート処理などを実行できます。
• **TimeSide **-オーディオ分析、イメージング、トランスコーディング、ストリーミング、ラベル処理が可能なPythonフレームワーク
• **dnspython **-DNSツールキット
• **pygame-**ビデオゲーム用に特別に設計されたモジュール
• **PyQt5 **-pyqt5は、Pythonスクリプトを作成するためのアプリケーションインターフェイスであるQt5アプリケーションフレームワークのPythonサードパーティライブラリです。
• PIL（Pillow）-PILライブラリは、画像処理におけるPython言語の重要なサードパーティライブラリです。画像の保存、表示、処理をサポートします。ほぼすべての画像形式を処理でき、画像のスケーリングとトリミングを完了できます。 、線、画像、テキストを重ね合わせて画像に追加します。
• **OpenCV **-画像およびビデオ作業ライブラリ
• **Py2exe **：pythonスクリプトを、Windowsで独立して実行できる実行可能なプログラムに変換します。
• WeRoBot は、 WeChat公式アカウント開発フレームワークであり、WeChatロボットフレームワークとも呼ばれます。 WeRoBotは、WeChatサーバーから送信されたメッセージを解析し、メッセージをメッセージタイプまたはイベントタイプに変換できます。