python_クローラーの基本的な学習

-王玉陽—moocコースの概要に基づいてメモを取ります（Code_boy）

リクエストライブラリ：HTMLページへの自動クロール、ネットワークリクエストの自動送信

robots.txt：Webクローラーの除外基準

美しいスープライブラリ：HTMLページを解析します（pycharmにbs4をインストールします）

再正規表現：HTMLデータ分析の選択

requests.get(url[,params = None,**kwargs])

url：ウェブページのURLリンクを取得します

params：url、辞書、またはバイトストリーム形式の追加パラメーター、オプション

**kwargs：アクセスを制御する12のパラメーター

Responseオブジェクトのプロパティ{0.0.py}

例：

1 r = requests.get("http://www.baidu.com")2print(r.status_code)        #ステータスコードを返します（コンテンツ値は「200」で、アクセスが成功したことを示します）
 3 # 結果：2004print(r.text)   #応答コンテンツの文字列形式を返します
 5 # 結果：[すなわち-baiduホームページのソースコードコンテンツ（文字化け）]
 6 print(r.encoding)   #HTTPヘッダーから推測される応答コンテンツのエンコード方法
 7 # 結果：ISO-8859-1 baiduページのコーディング基準（方法）
 8 print(r.apparent_encoding)  #コンテンツから分析された応答コンテンツのコーディング方法[代替エンコーディング]9 #結果：utf-810print(r.content)    #コンテンツのバイナリ形式
11 # 結果：とにかくわかりません
1213 r.encoding ='utf-8'    #(utf-8はrです.apparent_エンコード結果)14print(r.text)15 #結果として、人間が読める応答コンテンツは主にrを介して行われます.エンコーディングの再定義タイプ、およびr.テキストは、エンコードのエンコード方法を指します

一般的なクローラーコードフレームワーク：

1 def getHTMLText(url):2try:3         r = requests.get(url,timeout =30)4         r.raise_for_status() #ステータスが200でない場合、例外がスローされます：リクエスト.HTTPError(r.status_code)5         r.encoding = r.apparent_encoding
 6 return r.text
 7  except:8return"例外を生成します"910if __name__ =="__main__":11     url ='http://www.baidu.com'12print(getHTMLText(url))

ライブラリの例外を要求します

一般的なコードフレームワークの例：

1 def getHTMLText(url):2try:3         r = requests.get(url,timeout =30)4         r.raise_for_status() #ステータスが200でない場合、例外がスローされます：リクエスト.HTTPError(r.status_code)5         r.encoding = r.apparent_encoding
 6 return r.text
 7  except:8return"例外を生成します"910if __name__ =="__main__":11     url ='http://www.baidu.com'12print(getHTMLText(url))

Requestsライブラリの7つの主なメソッド

HTTPプロトコル：

HTTP、ハイパーテキスト転送プロトコル、ハイパーテキスト転送プロトコル

HTTPは、「要求と応答」モデルに基づくステートレスアプリケーション層プロトコルです。

HTTPはURLを使用してネットワークリソースIDを検索します

URL形式：http：// host [：port] [path]

ホスト：正当なインターネットホストドメイン名またはIPアドレス

ポート：ポート番号（デフォルトのポートは80）

パス：要求されたリソースのパス

リソースに対するHTTPプロトコル操作：

PATCHとPUTの違いを理解する

URLの場所に、UserIDやUserNameなどの20個のフィールドを含む一連のデータUserInfoがあるとします。

要件：ユーザーが変更したユーザー名、その他は変更されません

• PATCHを使用して、UserNameの部分的な更新要求のみをURLに送信します[追加]

• PUTでは、20個のフィールドすべてを一緒にURLに送信する必要があり、送信されていないフィールドは削除されます[上書きおよび追加]

1 # リクエストライブラリの責任者()メソッド（URLロケーションリソースの応答情報レポートを取得する要求、つまり、リソースのヘッダー情報を取得する要求)2 r = requests.head('http://httpbin.org/get')3print(r.headers)4'''
 5 結果：
 6{' Connection':'keep-alive','Server':'gunicorn/19.9.0',7'Date':'Thu, 22 Nov 2018 03:52:22 GMT','Content-Type':8'application/json','Content-Length':'268',9'Access-Control-Allow-Origin':'*',10'Access-Control-Allow-Credentials':'true','Via':'1.1 vegur'}11'''
12 # ライブラリの投稿をリクエスト()メソッド（URLの場所にあるリソースに新しいデータを追加する要求）
13 payload ={'key1':'value1','key2':'value2'}14 r = requests.post('http://httpbin.org/post',data = payload)15 #辞書をURLにPOSTし、unform（フォーム）を自動的にエンコードします
16 print(r.text)17'''
18 結果：
19{20" args":{},21"data":"",22"files":{},23"form":{24"key1":"value1",25"key2":"value2"26},27"headers":{28"Accept":"*/*",29"Accept-Encoding":"gzip, deflate",30"Connection":"close",31"Content-Length":"23",32"Content-Type":"application/x-www-form-urlencoded",33"Host":"httpbin.org",34"User-Agent":"python-requests/2.20.1"35},36"json":null,37"origin":"106.111.147.213",38"url":"http://httpbin.org/post"39}40'''
41 r = requests.post('http://httpbin.org/post',data ='abc')42 #データとして自動的にエンコードされたURLに文字列をPOSTします
43 print(r.text)44'''
45 結果：
46{47" args":{},48"data":"abc",49"files":{},50"form":{},51"headers":{52"Accept":"*/*",53"Accept-Encoding":"gzip, deflate",54"Connection":"close",55"Content-Length":"3",56"Host":"httpbin.org",57"User-Agent":"python-requests/2.20.1"58},59"json":null,60"origin":"106.111.147.213",61"url":"http://httpbin.org/post"62}63'''
64 # リクエストライブラリのプット()メソッド（リソースをURLの場所に保存し、元のURLの場所でリソースを上書きするように要求する）
65 payload ={'key1':'value1','key2':'value2'}66 r = requests.put('http://httpbin.org/put',data = payload)67 #辞書をURLに入れて、unform（フォーム）を自動的にエンコードします[投稿との違いは、元のコンテンツが上書きされることです]68print(r.text)69'''
70 結果:71{72"args":{},73"data":"",74"files":{},75"form":{76"key1":"value1",77"key2":"value2"78},79"headers":{80"Accept":"*/*",81"Accept-Encoding":"gzip, deflate",82"Connection":"close",83"Content-Length":"23",84"Content-Type":"application/x-www-form-urlencoded",85"Host":"httpbin.org",86"User-Agent":"python-requests/2.20.1"87},88"json":null,89"origin":"106.111.147.213",90"url":"http://httpbin.org/put"91}92'''

メソッド関数とリクエストライブラリの使用：

requests.request(method,url,**kwargs)

メソッド：リクエストメソッド、get / put / postなどの7つのメソッドに対応

r = requests.request(‘GET’,url,**kwargs)

r = requests.request(‘HEAD,’url,**kwargs)

r = requests.request(‘POST’,url,**kwargs)

r = requests.request(‘PUT’,url,**kwargs)

r = requests.request(‘PATCH’,url,**kwargs)

r = requests.request(‘delete’,url,**kwargs)

r = requests.request（ 'OPTIONS'、url、** kwargs）＃サービスから関連するパラメーターを取得する

url：取得するページのurlリンク

**kwargs：アクセスを制御するためのパラメーター、合計13（オプション）

params：辞書またはバイトシーケンス。パラメータとしてURLに追加されます（リンクパーツシステムは '？' を追加します）

データ：リクエストの内容としての辞書、バイトシーケンス、またはファイルオブジェクト

json：リクエストのコンテンツとしてのjson形式のデータ

ヘッダー：辞書、HTTPカスタムヘッダー

クッキー：辞書またはCookieJar、リクエスト内のクッキー*

auth：tuple、HTTP認証機能をサポート*

ファイル：辞書タイプ、転送ファイル

タイムアウト：タイムアウト時間を設定します。単位：秒（時間が返されると、例外が返されます）

プロキシ：辞書タイプ、アクセスプロキシサーバーの設定、ログイン認証を増やすことができます

pxs={'http':'http://user:[email protected]:1234'}
r = requests.request('GET','http://www.baidu.com',proxies = pxs)

allow_redirects：True / False、デフォルトはTrue、リダイレクトスイッチ

ストリーム：True / False、デフォルトはTrue、コンテンツはすぐにダウンロードされます

検証：SSL証明書スイッチを検証するためのTrue / False、デフォルトはTrue

cert：ローカルSSL証明書パス

*requests.get(url,params=None,kwargs)

url：ページのURLリンク

params：url、辞書、またはバイトストリーム形式の追加パラメーター、オプション

**kwargs：アクセスを制御する12のパラメーター

**requests.head(url,kwargs)

url：ページのURLリンク

**kwargs：アクセスを制御するための13のパラメーター

**requests.post(url,data=None,json=None,kwargs)

url：ページのURLリンク

データ：辞書、バイトシーケンスまたはファイル、リクエストの内容

json：JSON形式のデータ、リクエストの内容

**kwargs：11の制御アクセスパラメータ（dataとjsonが使用されています）

**requests.put(url,data=None,kwargs)

url：ページのURLリンク

データ：辞書、バイトシーケンスまたはファイル、リクエストの内容

**kwargs：アクセスを制御する12のパラメーター

**requests.patch(url,data=None,kwargs)

url：ページのURLリンク

データ：辞書、バイトシーケンスまたはファイル、リクエストの内容

**kwargs：アクセスを制御する12のパラメーター

**requests.delete(url,kwargs)

url：ページのurlリンクを削除します

**kwargs：アクセスを制御するための13のパラメーター

Webクローラーのサイズ：

Webクローラーによる嫌がらせ：

クローラーは高速機能を使用してWebサーバーにアクセスし、サーバーが高速クローラーに適したリソースを提供することは困難です。

レベルを書く目的に限定して、WebクローラーはWebサーバーに莫大なリソースオーバーヘッドをもたらします

Webクローラーの法的リスク：

サーバー上のデータにはプロパティの所有権があります

Webクローラーによって取得されたデータが法的リスクをもたらす後の利益

Webクローラー== "クロールにも正しい方法があります"

クローラーの条件を制限します。

ソースレビュー：制限するユーザーエージェントの判断

・訪問しているHTTPプロトコルヘッダーのUser-Agentドメインを確認し、ブラウザーまたはフレンドリクローラーの訪問にのみ応答します。

発表：ロボット協定*****

ロボット除外基準Webクローラー除外基準

役割：すべてのクローラーにWebサイトのクロール戦略を通知し、クローラーに準拠するように要求します

形式：Webサイトのルートディレクトリにあるrobots.txtファイル

JDロボット契約：（https://www.jd.com/robots.txt）

Robotsプロトコルの基本構文：

クローラーの基本的な1つの例:(コード+要約）{0.1.py}

1 # 例：Jingdong商品のクロール
 2 import requests
 3 import os
 4'''
 5 r = requests.get('https://item.jd.com/36826348085.html?jd_pop=14982c1c-64d9-4bab-ac5c-e40af7ce62a2&abt=0')6print(r.status_code)7print(r.encoding)8print(r.text[:1000])9 #例：Amazonのクロール
1011 kv ={'User-Agent':'mozilla/5.0'}   #アクセスヘッダーを作成します（ブラウザーのふりをします）
12 r=requests.get('https://www.amazon.cn/dp/B073LJR2JF/ref=cngwdyfloorv2_recs_0/459-8865541-1481366?pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-2&pf_rd_r=AT12APC0BDJ216Y55VSR&pf_rd_r=AT12APC0BDJ216Y55VSR&pf_rd_t=36701&pf_rd_p=d2aa3428-dc2b-4cfe-bca6-5e3a33f2342e&pf_rd_p=d2aa3428-dc2b-4cfe-bca6-5e3a33f2342e&pf_rd_i=desktop',headers=kv)13print(r.status_code)14print(r.text[:1000])15print(r.request.headers)16'''
17 # 例：Baidu検索
18 # Baidu検索検索URL：http://www.baidu.com/s?wd:{コンテンツを検索}19'''
20 keyword ='python'21try:22     kv ={'wd':keyword}23     r = requests.get('http://www.baidu.com/s',params = kv)24print(r.request.url)25     r.raise_for_status()26print(len(r.text))27 except:28print("クロールに失敗しました")29'''
30 # ケース：Webイメージのクロールとストレージ
31'''
32 url ="http://img0.dili360.com/pic/2018/09/21/5ba4a6af2af103q29157813_t.jpg"33 rot ="E://"34 path = rot + url.split('/')[-1] #urlアドレス（url）のサフィックスとして画像保存名を指定します
35 try:36if not os.path.exists(rot): #rotディレクトリがあるかどうかを確認し、ない場合は作成します
37   os.mkdir(rot)       #腐敗ディレクトリを作成します
38 if not os.path.exists(path):    #パスディレクトリにパスファイルがあるかどうかを確認します
39   r = requests.get(url)   #リンクURLアドレス
40   # withopen(path,'wb')as f:  #ファイルを開いて保存する別の方法(？？？)41         f =open(path,'wb') #ファイルを開く
42   f.write(r.content)  #r.content応答URLのバイナリコンテンツ
43   f.close()44print("正常に保存")45else:46print("ファイルが既に存在します")47 except:48print("クロールに失敗しました")49'''
50 # 1つのビデオをクロールする
51'''
52 url ="http://video.pearvideo.com/mp4/adshort/20181121/cont-1480150-13269168_adpkg-ad_hd.mp4"53 rot ="E://"54 path = rot + url.split('/')[-1] #urlアドレスにビデオ保存名（url）のサフィックス名を指定します
55 try:56if not os.path.exists(rot): #rotディレクトリがあるかどうかを確認し、ない場合は作成します
57   os.mkdir(rot)       #腐敗ディレクトリを作成します
58 if not os.path.exists(path):    #パスディレクトリにパスファイルがあるかどうかを確認します
59   r = requests.get(url)   #リンクURLアドレス
60   # withopen(path,'wb')as f:  #ファイルを開いて保存する別の方法(？？？)61         f =open(path,'wb') #ファイルを開く
62   f.write(r.content)  #r.content応答URLのバイナリコンテンツ
63   f.close()64print("正常に保存")65else:66print("ファイルが既に存在します")67 except:68print("クロールに失敗しました")69'''
70 # IPアドレス属性の自動クエリ
71 # IP168クエリリンクURL：http://ip138.com/ips138.asp?ip=123.125.6.1&action=272 #上記から：IPクエリURL：http://ip138.com/ips138.asp?ip=IPアドレス
7374 url ="http://ip138.com/ips138.asp"75 ip ={"ip":"106.111.147.213"}76try:77     r = requests.get(url,params=ip)78     r.raise_for_status()79print(r)80     #print(r.status_code)81     r.encoding = r.apparent_encoding
82 print(r.text)83 except:84print("クロールに失敗しました")

簡単な要約：

例から、検索を容易にするためにurlインターフェイスをマスターする必要があることがわかります（検索して使用します）：params（）関数は、URLの後に新しいコンテンツを追加するために中央で使用されます。関数が呼び出されると、urlは両方になりますジャンクションに「？」記号を追加します

Webクロールに関しては、r.text []形式の外観も確認されています。これは、Webページのソースコードの文字数をクロールする必要があることを意味します。

この例では、写真やビデオのクロールを見て、バイナリ形式で保存しました。

美しいスープライブラリ :( pycharmにbs4をインストール）{0.2 bs.py}

ライブラリの使用：

1 form bs4 import BeautifulSoup
23 soup =BeautifulSoup( ‘ <p>data</p> ‘ , ‘ html.parser ‘ )

Beautiful Soupライブラリの理解：「タグツリー」を解析、トラバース、および維持するための機能ライブラリ

• BeautifulSoup4またはbs4とも呼ばれるBeautifulSoupライブラリ

現在一般的に使用されている引用方法：bs4重要なtBeautifulスープ用

美しいスープクラス<<<同等>>>タグツリー<<<同等>>> HTML <&gt;

同等性が形成されるため、タグツリーはBeautifulSoupクラスを通じて変数を形成します。

簡単な例え：BeautifulSoupはHTML / XMLドキュメントのコンテンツ全体に対応します

美しいスープライブラリパーサー：

美しいスープライブラリの基本要素：

美しいスープライブラリ関数:(表内ラベルを参照）

コード例（+説明）

1 r = requests.get('http://python123.io/ws/demo.html')2print(r.text)3 demo = r.text   #demo ==urlウェブページコード
 4 soup =BeautifulSoup(demo,'html.parser')5print(soup.prettify())6 r = requests.get('http://python123.io/ws/demo.html')7 demo = r.text
 8 soup =BeautifulSoup(demo,"html.parser")9print(soup.title)   #タイトルタグを探す
10 print(soup.a.string)  #タグの文字列の内容を印刷します
11 print(soup.a.name)  #ラベルの名前を印刷する
12 print(soup.a.parent.name)   #ラベルaの親ラベル（上部ラベル）を印刷します
13 print(soup.a.parent.parent.name)    #ラベルaの親ラベルの上部ラベルを印刷します
14 tag = soup.a    #soup:ラベルを見つける
15 print(soup.a.attrs)    #ラベル属性を印刷する
16 print(tag.attrs['class'])  #ラベル属性に「クラス」の内容を出力します
17 print(tag.attrs['href'])   #ラベルプロパティの「href」の内容を出力します
18 print(tag)  #タグの内容を印刷する

HTMLトラバーサル：

下向きのトラバーサル：

上向きのトラバーサル：

並列トラバーサル：

bs4ライブラリに基づくHTML形式の出力：

prettify（）関数：ラベルの印刷（HTML形式での印刷）

1 r = requests.get('http://python123.io/ws/demo.html')2 demo = r.text
 3 soup =BeautifulSoup(demo,'html.parser')4print(soup.a.prettify())    #タグを出力する（HTML形式）
 5'''
 6< a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">7  Basic Python
 8< /a>9'''
10 soup =BeautifulSoup('<p>中国語</p>','html.parser')11print(soup.p.string)    #に[入手します<tag>属性のない文字列/コメント]出力ラベル
12'''
13 中国語
14'''
15 print(soup.p.prettify())    #タグをHTML形式で出力する
16'''
17< p>18中国語
19< /p>20'''

情報の整理と抽出：{0.3.py}

情報マーク：

マークされた情報は、情報組織構造を形成し、情報の次元を増やすことができます

マークされた情報は通信に使用できます

保存または表示

マークの構造は情報と同じくらい重要です

マークされた情報は、プログラムの理解と適用をより助長します

HTML情報マーク：

HTML（Hyper Text Markup Language）：Hypertext Markup Language;これは、ハイパーテキストを使用して音声、画像、およびビデオをテキストに埋め込むためのWWW（World Wide Web）の情報編成方法です。

HTMLは事前定義された<> ..を渡します</>さまざまな種類の情報をタブで整理する

情報マークの3つの形式：（XML \ JSON \ YAML）

XML（eXtensible Markup Language）：Extensible Markup Language（HTMLに基づく）

JSON（JavsScript Object Notation）：型付きキーと値のペア（キー：値）式

YAML（YAMLはマークアップ言語ではありません）：再帰的な定義;型指定されていないキーと値のペアキー：値

3つの情報マーキング方法の比較:(例）

情報抽出の一般的な方法：

方法1：マークされた形式の情報を完全に分析してから、重要な情報を抽出します。

XML JSON YAML_には、タグパーサーが必要です。例：bs4ライブラリのタグツリートラバーサル

利点：正確な情報分析

短所：抽出プロセスは面倒で時間がかかります

方法2：マークアップフォームを無視して、重要な情報を直接検索します。

テキスト検索機能で情報を検索する

利点：抽出プロセスはシンプルで高速です

短所：抽出結果の精度は情報の内容に関連しています（不足）

融合方法：フォーム分析と検索方法を組み合わせて重要な情報を抽出します

XML JSON YAML +検索>>>マークアップパーサーとテキスト検索機能が必要

例：

1 import requests
 2 from bs4 import BeautifulSoup
 3'''# HTMLですべてのURLリンクを抽出します
 41、 すべて検索<a>タグ（タグの内容はURLです）
 52、 解析<a>タグ形式、hrefが抽出された後のリンクコンテンツ
 6'''
 789 r = requests.get('http://python123.io/ws/demo.html')10 demo = r.text
11 soup =BeautifulSoup(demo,'html.parser')12for link in soup.find_all('a'): #デモで見つける<a>ラベル
13 print(link.get('href')) #に<a>タグで「href」関数を見つけます
141516'''
17 結果:18   http://www.icourse163.org/course/BIT-26800119   http://www.icourse163.org/course/BIT-100187000120'''

美しいスープライブラリメソッド：

**bs4.element.Tag：タグタイプ; **

名前インスタンス：

1 r = requests.get('http://python123.io/ws/demo.html')2 demo = r.text
 3 soup =BeautifulSoup(demo,"html.parser")4print(soup.find_all('a'))   #リストフォームは、スープ（テキスト）でラベル文字列を返します（ラベルを取得します）
 5 print(soup.find_all(['a','b']))6for tag in soup.find_all(True):     #スープのすべてのラベルをトラバースします
 7 print(tag.name) #すべてのラベルの名前を印刷（取得）してください！ ！
 8'''
 9[< a class="py1" href="http://www.icourse163.org/course/BIT-268001"10 id="link1">Basic Python</a>,<a class="py2" href="http://www.icourse163.org
11 /course/BIT-1001870001" id="link2">Advanced Python</a>]12[<b>The demo python introduces several python courses.</b>,<a class="py1"13  href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic
14 Python</a>,<a class="py2" href="http://www.icourse163.org/course/15  BIT-1001870001" id="link2">Advanced Python</a>]16 html
17 head
18 title
19 body
20 p
21 b
22 p
23 a
24 a
25'''# 結果

属性の例：

1 r = requests.get('http://python123.io/ws/demo.html')2 demo = r.text
 3 soup =BeautifulSoup(demo,'html.parser')4print(soup.find_all('p','course'))  #コース属性を持つPタグを返します
 5 print(soup.find_all(id='link1')) #ID属性を返す==link1の内容
 67 ‘’’
 89[< p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:1011<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>]1213[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>]1415 ‘’’

再帰インスタンス：

1 r = requests.get('http://python123.io/ws/demo.html')2 demo = r.text
3 soup =BeautifulSoup(demo,'html.parser')4print(soup.find_all('a'))   #タグを取得する
5 print(soup.find_all('a',recursive=False))#空のリストを返します。これは、aの下位ノードにラベルがないことを示します（Falseでは1つのレイヤー（sonレイヤー）のみが取得されます）

文字列インスタンス：

1 r = requests.get('http://python123.io/ws/demo.html')2 demo = r.text
3 soup =BeautifulSoup(demo,'html.parser')4print(soup) #パーサーによって解析された完全なHTMLコードを出力します
5 print(soup.find_all(string ='Basic Python'))   #リストは取得した文字列情報を返します

中国の大学ランキング{0.4bs.py}の方向性クローラーの事例

1 import requests
 2 import bs4
 3 from bs4 import BeautifulSoup
 4 # soup =BeautifulSoup(demo,'html.parser')5 def getHTML(url):#標準フレームワーク
 6 try:7         r = requests.get(url)8         r.raise_for_status()9         r.encoding = r.apparent_encoding
10 return(r.text)11     except:12print("リンクのクロールに失敗しました")1314 def uitHTML(ulist,demo):15     soup =BeautifulSoup(demo,'html.parser')16for tr in soup.find('tbody').children:1718 #.find(..)検索タグの結果が返されました.子供たちは同時に息子（下層）ノードを横断します
19 ifisinstance(tr,bs4.element.Tag):2021 #trのタイプを検出します。タグタイプでない場合は、フィルター（文字列コンテンツへのトラバースを回避するため）がインスタンスであり、変数タイプを判別します。
22    tds =tr('td') #trに相当.find(...)>>>tdタグを見つけます（返されるオブジェクトはリストです）
23    # print(tds)         #テストと使用：tdsコンテンツの表示
24    # tdsは、urlのHTML内のtr内のすべてのtdタグのHTML形式を取得するようになりました（リスト形式で返されます）
25    ulist.append([tds[0].string, tds[1].string, tds[3].string])26             #tdsで必要なデータ(抽出のみ.string>>文字列領域)ulistリストに保存
2728 def uitUlist(ulist,num):29print("{:^16}\t{:^16}\t{:^16}".format("ランク","学校名","総得点"))30for i inrange(num):31         u = ulist[i]32print("{:^16}\t{:^16}\t{:^16}".format(u[0],u[1],u[2]))3334 def main():35     ulist =[]36     url ="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"37     demo =getHTML(url)38uitHTML(ulist,demo)39uitUlist(ulist,20)4041main()

[ 通常の表現：ライブラリについて：（https://www.cnblogs.com/wangyuyang1016/p/10034868.html）]（https://www.cnblogs.com/wangyuyang1016/p/10034868.html）

一般的に使用される正規式の演算子

reライブラリの主な機能

詳細な機能機能：

re.compile（）：オブジェクト指向の使用法（操作）：

Matchオブジェクトのプロパティ

マッチオブジェクトメソッド

例：

1 import re
 2 match = re.search(r'[1-9]\d{5}','BIT 100081')3 #Matchオブジェクトのプロパティ
 4 print(match.string) #照合時に照合する文字列を返します
 5 print(match.re)     #マッチング時に再式を返す
 6 print(match.pos)    #一致した検索テキストの開始位置を返します
 7 print(match.endpos) #一致した検索テキストが終了する位置を返します
 8 # マッチオブジェクトメソッド
 9 print(match.group(0))   #一致した文字列を返します（最初の一致結果）
10 print(match.start())    #元の文字列と一致する
11 print(match.end())      #元の文字列の終わりに一致する
12 print(match.span())     #タプルとして戻る.start()と.end()

reライブラリの貪欲なマッチングと最小のマッチング

1 match = re.search(r'PY.*N','PYANBNCNDN') #貪欲なマッチング（ライブラリのデフォルトの貪欲なマッチング、つまり、最長の出力サブストリングマッチング）
2 print(match.group(0))3 match = re.search(r'PY.*?N','PYANBNCNDN') #最小一致
4 print(match.group(0))

最小マッチング演算子