重出江湖！明日方舟wiki资料下载器

chenyiyun

代码如下：

1. from selenium import webdriver
   
2. import requests
   
3. import urllib
   
4. import os
   
5. from bs4 import BeautifulSoup
   
6. import time
   
7. import threading
   
8. 
   
9. pre_url = "https://prts.wiki"
   
10. PATH = os.getcwd()+"\\Arknights\"
    
11. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
    
12. print(PATH)
    
13. #动态提取网页源代码
    
14. def get_res(url):
    
15.     option=webdriver.ChromeOptions()
    
16.     #隐藏chrome窗口
    
17.     option.add_argument('--headless')
    
18.     option.add_argument("--disable-infobars")
    
19.     browser = webdriver.Chrome(options=option)
    
20.     browser.get(url)
    
21.     #缓冲
    
22.     time.sleep(5)
    
23.     #下拉滑动条
    
24.     browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    
25.     time.sleep(1)
    
26.     res=browser.page_source
    
27.     browser.quit()
    
28.     return res
    
29. 
    
30. #下载立绘
    
31. def ins_pic(html):
    
32.     main_path = PATH + '立绘\\'
    
33.     soup=BeautifulSoup(html,'html.parser')
    
34.     characters=soup.find('div',{'id':'filter-data'}).find_all('div')
    
35.     for c in characters:
    
36.         character_name=c.get('data-zh')
    
37.         path=main_path+character_name
    
38.         if not os.path.exists(path):
    
39.             os.makedirs(path)
    
40.         character_urls=[pre_url+'/w/文件:立绘_'+character_name+'_1.png',pre_url+'/w/文件:立绘_'+character_name+'_2.png']
    
41.         _soup=BeautifulSoup(requests.get(character_urls[1]).text,'html.parser')
    
42.         if(_soup.find('div',{'class':'fullImageLink'})==None):
    
43.             del _soup
    
44.             del character_urls[1]
    
45.         for i in range(len(character_urls)):
    
46.             res=BeautifulSoup(requests.get(character_urls[i]).text,'html.parser').find('div',{'class':'fullImageLink'}).find('a')
    
47.             res=pre_url+res.get('href')
    
48.             res=requests.get(res)
    
49.             print('正在爬取：'+character_name+'_'+str(i+1)+'.png')
    
50.             with open(path+'\\'+character_name+'_'+str(i+1)+'.png','wb') as f:
    
51.                 f.write(res.content)
    
52. #下载皮肤
    
53. def get_skin(url):
    
54.     path = PATH + '立绘\\'
    
55.     if not os.path.exists(path):
    
56.         os.makedirs(path)
    
57.     soup = BeautifulSoup(requests.get(url).text,'html.parser')
    
58.     pic_urls=soup.find_all('table',{'class':'wikitable logo nomobile'})
    
59.     for pic in pic_urls:
    
60.         try:
    
61.             url=pic.find_all('a',{'class':'image'})[1]
    
62.             img=url.find('img')
    
63.             name=str(img.get('alt'))
    
64.             name=name[name.find('立绘')+3:]
    
65.             print('正在爬取：'+name)
    
66.             file_name=name[:name.find(' skin')]
    
67.             if not os.path.exists(path+file_name):
    
68.                 os.makedirs(path+file_name)
    
69.             res=str(url.get('href'))
    
70.             res=pre_url+str(BeautifulSoup(requests.get(pre_url+res).text,'html.parser').find('div',{'class':'fullImageLink'}).find('a').get('href'))
    
71.             res=requests.get(res)
    
72.             with open(path+'\\'+file_name+'\\'+name,'wb') as f:
    
73.                 f.write(res.content)
    
74.             print(name+'爬取完毕')
    
75.         except Exception as e:
    
76.             print("爬取图片出错:", str(e))
    
77. #下载语音记录
    
78. def download_audio(num,url,file_name,save_path,if_again):
    
79.     try:
    
80.         temp=requests.get(url,headers=headers)
    
81.         if(str(temp).find('403')!=-1):
    
82.             print('403 Forbidden:'+url)
    
83.             return
    
84.         if(str(temp.content).find('No')!=-1):
    
85.             print('语音不存在',url)
    
86.             return
    
87.         with open(save_path+'\\'+file_name+'.wav','wb') as f:
    
88.             f.write(temp.content)
    
89.         print("爬取完毕")                        
    
90.     except Exception as e:
    
91.         print("程序运行出错:", str(e))
    
92.         flag=-1
    
93.         while(flag!='1' and flag!='0'):
    
94.             flag=input('是否再次尝试(1:是/0:否)')
    
95.         if(flag=='1'):
    
96.             download_audio(num,url)
    
97. def ins_audio(html,if_again):
    
98.     print('开始爬取')
    
99.     soup=BeautifulSoup(html,'html.parser')
    
100.     characters=soup.find('div',{'id':'filter-data'}).find_all('div')
     
101.     for c in characters:
     
102.         character_name=c.get('data-zh')
     
103.         if os.path.exists(PATH+'语音\\'+character_name) and if_again=='0':
     
104.             print('跳过')
     
105.             continue
     
106.         path=PATH+'语音\\'+character_name+'\\'
     
107.         url=pre_url+'/w/'+character_name+'/语音记录'
     
108.         res=BeautifulSoup(get_res(url),'html.parser')
     
109.         print('已经获得'+character_name+'语音链接，开始下载')
     
110.         try:
     
111.             divs=res.find('div',{'class':'table-row-group'}).find_all('div',{'class':'table-row'})
     
112.             for div in divs:
     
113.                 audio_name=div.find('div',{'class':'table-cell text-center font-bold p-1 !bg-table border border-solid border-divider align-middle truncate'})
     
114.                 audio_name=audio_name.text
     
115.                 save_path=path+audio_name
     
116.                 if not os.path.exists(save_path):
     
117.                     os.makedirs(save_path)
     
118.                 tmp=div.find('a')
     
119.                 tmp='https:'+str(tmp.get('href'))
     
120.                 print(tmp)
     
121.                 file_names=['日本語','中文','한국어','English']
     
122.                 urls=['jp','cn','kr','en']
     
123.                 #网址格式化
     
124.                 if(tmp.find('/voice/')==-1):
     
125.                     urls[0]=tmp[:tmp.find('/voice')]+'/voice/'+tmp[tmp.find('/voice')+10:]
     
126.                     urls[1]=tmp[:tmp.find('/voice')]+'/voice_cn/'+tmp[tmp.find('/voice')+10:]
     
127.                     urls[2]=tmp[:tmp.find('/voice')]+'/voice_kr/'+tmp[tmp.find('/voice')+10:]
     
128.                     urls[3]=tmp[:tmp.find('/voice')]+'/voice_en/'+tmp[tmp.find('/voice')+10:]
     
129.                 else:
     
130.                     urls[0]=tmp
     
131.                     urls[1]=tmp[:tmp.find('/voice')]+'/voice_cn/'+tmp[tmp.find('/voice')+7:]
     
132.                     urls[2]=tmp[:tmp.find('/voice')]+'/voice_kr/'+tmp[tmp.find('/voice')+7:]
     
133.                     urls[3]=tmp[:tmp.find('/voice')]+'/voice_en/'+tmp[tmp.find('/voice')+7:]
     
134.                 print('正在下载'+character_name+'-'+audio_name+'语音\n')
     
135.                 for i in range(len(urls)):
     
136.                     download_audio(i,urls[i],file_names[i],save_path,if_again)
     
137.                            
     
138.         except Exception as e:
     
139.             print("程序运行出错:", str(e))
     
140. #爬取bgm
     
141. def ins_music(home_url):
     
142.     path=PATH+'背景音乐'
     
143.     if not os.path.exists(path):
     
144.         os.makedirs(path)
     
145.     print('获取音乐网址')
     
146.     soup=BeautifulSoup(requests.get(home_url).text,'html.parser')
     
147.     tmp_urls=soup.find_all('table',{'class':"wikitable mw-collapsible mw-collapsible-dark mw-collapsible-title-center mw-collapsed"})
     
148.     bgms=[]
     
149.     for tmp in tmp_urls:
     
150.         bgms+=tmp.find_all('tr')
     
151.     i=0
     
152.     while(i<len(bgms)):
     
153.         if(bgms[i].find('source')==None):
     
154.             del bgms[i]
     
155.             continue
     
156.         i+=1
     
157.     print("获取完毕")
     
158.     for bgm in bgms:
     
159.         bgm_name=bgm.find('div',{'class':'nodesktop'}).text
     
160.         while ':' in bgm_name:
     
161.             bgm_name=bgm_name[:bgm_name.find(':')]+'：'+bgm_name[bgm_name.find(':')+1:]
     
162.         while '<' in bgm_name:
     
163.             bgm_name=bgm_name[:bgm_name.find('<')]+'《'+bgm_name[bgm_name.find('<')+1:]
     
164.         while '>' in bgm_name:
     
165.             bgm_name=bgm_name[:bgm_name.find('>')]+'》'+bgm_name[bgm_name.find('>')+1:]
     
166.         while '?' in bgm_name:
     
167.             bgm_name=bgm_name[:bgm_name.find('?')]+'？'+bgm_name[bgm_name.find('?')+1:]
     
168.         while '|' in bgm_name:
     
169.             bgm_name=bgm_name[:bgm_name.find('|')]+'-'+bgm_name[bgm_name.find('|')+1:]
     
170.         while '*' in bgm_name:
     
171.             bgm_name=bgm_name[:bgm_name.find('*')]+'×'+bgm_name[bgm_name.find('*')+1:]
     
172.         while '/' in bgm_name:
     
173.             bgm_name=bgm_name[:bgm_name.find('/')]+'-'+bgm_name[bgm_name.find('/')+1:]
     
174.         while '\\' in bgm_name:
     
175.             bgm_name=bgm_name[:bgm_name.find('\\')]+'-'+bgm_name[bgm_name.find('\\')+1:]
     
176.         bgm_url=bgm.find('source')
     
177.         bgm_url=bgm_url.get('src')
     
178.         print("正在爬取"+bgm_name)
     
179.         with open(path+'\\'+bgm_name+'.mp3','wb') as f:
     
180.             f.write(requests.get(bgm_url,headers=headers).content)
     
181.         print("完成")
     
182. #主函数
     
183. def main_code():
     
184.     try:
     
185.         tmp1=-1
     
186.         while(tmp1!='1' and tmp1!='0'):
     
187.             tmp1=input('是否爬取角色语音(1:是 0:否):')
     
188.         tmp2=-1
     
189.         while(tmp2!='1' and tmp2!='0'):
     
190.             tmp2=input('是否爬取角色立绘与皮肤(1:是 0:否):')
     
191.         tmp3=-1
     
192.         while(tmp3!='1' and tmp3!='0'):
     
193.             tmp3=input('是否爬取游戏公测版本BGM及在线发布的游戏相关曲目(1:是 0:否):')
     
194.         if int(tmp1)==1:
     
195.             if_again=-1
     
196.             while(if_again!='0' and if_again!='1'):
     
197.                 if_again=input('是否重复下载(1:是/0:否)')
     
198.             html = get_res('http://prts.wiki/w/%E5%B9%B2%E5%91%98%E4%B8%80%E8%A7%88')
     
199.             ins_audio(html,if_again)
     
200.             print("爬取语音函数运行完毕, 请于文件夹中查看\n")
     
201.         if int(tmp2)==1:
     
202.             ins_pic(get_res('http://prts.wiki/w/%E5%B9%B2%E5%91%98%E4%B8%80%E8%A7%88'))
     
203.             html = get_res('https://prts.wiki/w/%E6%97%B6%E8%A3%85%E5%9B%9E%E5%BB%8A')
     
204.             soup=BeautifulSoup(html,'html.parser')
     
205.             urls=soup.find_all('div',{'class':'skinwrapper charskinbtn-controler'})
     
206.             for i in range(len(urls)):
     
207.                 urls[i]=str(urls[i].find('a').get('href'))
     
208.                 urls[i]=pre_url+urls[i][:urls[i].find('#')]
     
209.             urls=list(set(urls))
     
210.             for url in urls:
     
211.                 get_skin(url)
     
212.         
     
213.         if tmp3=='1':
     
214.             ins_music('https://prts.wiki/w/%E9%9F%B3%E4%B9%90%E9%89%B4%E8%B5%8F')
     
215.             print("爬取游戏公测版本BGM及在线发布的游戏相关曲目函数运行完毕, 请于文件夹中查看\n")
     
216. 
     
217.     except Exception as e:
     
218.         print("程序运行出错:", str(e))
     
219.    
     
220. 
     
221. if __name__ == "__main__":
     
222.     main_code()

复制代码

chenyiyun

有打包成exe，但文件太大了
……qwq

歌者文明清理员

chenyiyun 发表于 2023-7-13 12:09
有打包成exe，但文件太大了
……qwq

网盘

chenyiyun

歌者文明清理员 发表于 2023-7-13 12:11
网盘

太麻烦了，平时都不咋用……
给个邮箱我发你吧

歌者文明清理员

chenyiyun 发表于 2023-7-13 14:10
太麻烦了，平时都不咋用……
给个邮箱我发你吧

不用，pyinstaller我会