Pythonはスキンのフルセットをクロールします
著者：toofelix
出典：http：//suo.im/6pj3Zp
1.クロールする必要のあるWebサイトを分析します
①、栄光の公式壁紙サイトを開く###
- ウェブサイトアドレス：https：//pvp.qq.com/web201605/wallpaper.shtml
②ショートカットキーF12、コンソールを呼び出してパケットキャプチャ###
③、正しいリンクを見つけて分析する###
④。返されたデータ形式を表示する###
⑤、URLリンクを解決する###
⑥URLの内容が目的の画像かどうかを確認し、実際にはサムネイルであることがわかります###
∥次に、ウェブサイトを分析し、壁紙をクリックするだけで、指定された形式でリンクを表示します###
⑧、目的の住所を探す###
⑨、ターゲットリンクとサムネイルの違いを分析する###
- サムネイル：http：//shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/200
- ターゲットマップ：http：//shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/0
- ご存知のように、指定したフォーマットのサムネイルアドレスの後の200を0に置き換えることがターゲットの実際の画像です
2、クローラーコード＃
①この時点でクローラー分析は完了しており、完全なクローラーコードは次のとおりです###
#! /usr/bin/env python
# encoding: utf-8'''
#-------------------------------------------------------------------
# CONFIDENTIAL --- CUSTOM STUDIOS
#-------------------------------------------------------------------
#
# @ Project Name :キングオブグローリー壁紙ダウンロード
#
# @ File Name : main.py
#
# @ Programmer : Felix
#
# @ Start Date :2020/7/3014:42
#
# @ Last Update :2020/7/3014:42
#
#-------------------------------------------------------------------'''
import os, time, requests, json, re
from retrying import retry
from urllib import parse
classHonorOfKings:'''
This is a main Class, the file contains all documents.
One document contains paragraphs that have several sentences
It loads the original file and converts the original file to newcontent
Then the newcontent will be saved by thisclass'''
def __init__(self, save_path='./heros'):
self.save_path = save_path
self.time =str(time.time()).split('.')
self.url ='https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=%s'% self.time[0]
def hello(self):'''
This is a welcome speech
: return: self
'''
print("*"*50)print(' '*18+'キングオブグローリー壁紙ダウンロード')print(' '*5+'著者: Felix Date: 2020-05-20 13:14')print("*"*50)return self
def run(self):'''
The program entry
'''
print('↓'*20+'フォーマットの選択: '+'↓'*20)print('1.サムネイル2.1024x768 3.1280x720 4.1280x1024 5.1440x900 6.1920x1080 7.1920x1200 8.1920x1440')
size =input('ダウンロードする形式のシリアル番号を入力してください。デフォルトは6です。')
size = size if size and int(size)in[1,2,3,4,5,6,7,8]else6print('---ダウンロード開始...')
page =0
offset =0
total_response = self.request(self.url.format(page)).text
total_res = json.loads(total_response)
total_page =--int(total_res['iTotalPages'])print('---合計で{}ページ...'.format(total_page))while True:if offset > total_page:break
url = self.url.format(offset)
response = self.request(url).text
result = json.loads(response)
now =0for item in result["List"]:
now +=1
hero_name = parse.unquote(item['sProdName']).split('-')[0]
hero_name = re.sub(r'[【】:.<>|·@#$%^&() ]','', hero_name)print('---ダウンロード{}ページ{}ヒーローの進歩{}/{}...'.format(offset, hero_name, now,len(result["List"])))
hero_url = parse.unquote(item['sProdImgNo_{}'.format(str(size))])
save_path = self.save_path +'/'+ hero_name
save_name = save_path +'/'+ hero_url.split('/')[-2]if not os.path.exists(save_path):
os.makedirs(save_path)if not os.path.exists(save_name):withopen(save_name,'wb')as f:
response_content = self.request(hero_url.replace("/200","/0")).content
f.write(response_content)
offset +=1print('---ダウンロード完了...')
@ retry(stop_max_attempt_number=3)
def request(self, url):'''
Send a request
: param url: the url of request
: param timeout: the time of request
: return: the result of request
'''
response = requests.get(url, timeout=10)
assert response.status_code ==200return response
if __name__ =="__main__":HonorOfKings().hello().run()
②、詳細分析リンク###
- 実際、フロントエンドはjsonpリクエストを送信します。このようなデータは、標準のjson形式ではないため、pythonで処理するのは簡単ではありません。
- その前に文字列JQuery1710418919222があり、jsonpの要求を知っている人なら誰でも、このプレフィックスを使用すると、要求リンクに同じコールバックパラメータが必要であることを知っています。削除するだけです。
- したがって、このパラメータは私のpythonコードで削除されます
- このリンクには多くのパラメータがあります。実際、それらの多くは削除できると思いますが、ゆっくりと試したくありません。
- このリクエストリンクで最も重要なパラメータはページ番号である必要があります。これはページパラメータです。iListNum= 20＆totalpage = 0＆page = {}
- 上記の3つのパラメータを使用できます。1つはページ数を表す20です。Totalpageは役に立たないと推定されます。ページキャプチャの検出は0から始まります。次のコードでは合計ページ数を1つ減らす必要があるため、これに注意する必要があります。
self.url ='https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=%s'% self.time[0]
③、フォーマット選択###
- 実行を開始するときに、ダウンロードする形式のシリアル番号を選択します。なぜ8つの形式があるのですか？元のWebページを見ることができます。8つの異なる解像度があります。
- 上の写真を見ると、8つの解像度のサムネイルに対応する1〜8のサムネイルリンクがあるため、元の画像も8つのタイプである必要があります
- ここでは、デフォルトで1920 * 1080に設定されています。通常、コンピューターはこの解像度を使用できます
- 1の元の画像は実際にはサムネイルであるため、通常は2〜8を選択してダウンロードします。
print('↓'*20+'フォーマットの選択: '+'↓'*20)print('1.サムネイル2.1024x768 3.1280x720 4.1280x1024 5.1440x900 6.1920x1080 7.1920x1200 8.1920x1440')
size =input('ダウンロードする形式のシリアル番号を入力してください。デフォルトは6です。')
size = size if size and int(size)in[1,2,3,4,5,6,7,8]else6
④、コード分析をダウンロード###
- 最初のリクエストは主に総ページ数を取得することですが、リクエストは最初のページとして0から始まるため、1を引く必要があります
- trueは、0からループを開始してアドレスを要求することですが、最初にサムネイルアドレスを見つけてから、サムネイルアドレスリンク200を0に置き換えてターゲットイメージアドレスにします。
- 名前に特殊文字が含まれている場合は、通常のルールで削除してください。そうしないと、パス検索に影響する可能性があります
print('---ダウンロード開始...')
page =0
offset =0
total_response = self.request(self.url.format(page)).text
total_res = json.loads(total_response)
total_page =--int(total_res['iTotalPages'])print('---合計で{}ページ...'.format(total_page))while True:if offset > total_page:break
url = self.url.format(offset)
response = self.request(url).text
result = json.loads(response)
now =0for item in result["List"]:
now +=1
hero_name = parse.unquote(item['sProdName']).split('-')[0]
hero_name = re.sub(r'[【】:.<>|·@#$%^&() ]','', hero_name)print('---ダウンロード{}ページ{}ヒーローの進歩{}/{}...'.format(offset, hero_name, now,len(result["List"])))
hero_url = parse.unquote(item['sProdImgNo_{}'.format(str(size))])
save_path = self.save_path +'/'+ hero_name
save_name = save_path +'/'+ hero_url.split('/')[-2]if not os.path.exists(save_path):
os.makedirs(save_path)if not os.path.exists(save_name):withopen(save_name,'wb')as f:
response_content = self.request(hero_url.replace("/200","/0")).content
f.write(response_content)
offset +=1print('---ダウンロード完了...')
⑤、クローラー実行の結果、同じフォルダーに同じ名前を入れます###
< END >
Recommended Posts