动漫迷有福利啦，这个帖子教会你爬取腾讯动漫

2434849827

今天弄了一上午爬取腾讯动漫，大厂的就是难爬一点，各种加密，抓了一上午的包都没抓到我要的js文件，然后我找了半天资料，发现用selenium这个模拟浏览器直接去找到动漫图片的网址，然后用request下载会比较简单，代码量比较少，但是里面涵盖的知识点比较多，给大家提供参考

1. [color=YellowGreen]import os
   
2. import time,re
   
3. import requests
   
4. from selenium import webdriver
   
5. 
   
6. def getChapterUrl():
   
7.     headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"}
   
8.     name = input('请输入要下载的动漫名称:')
   
9.     url2 = f'https://ac.qq.com/Comic/searchList?search={name}'
   
10.     html2 = requests.get(url = url2,headers = headers)
    
11.     r11 = re.findall(r'<a href="/Comic/comicInfo/id/(\d{4,})" title',html2.text)
    
12.     res = requests.get(url = f'https://ac.qq.com/Comic/comicInfo/id/{r11[0]}', headers=headers)
    
13.     r1 = re.findall(r'title="(.*?)：\d{1,5}..*"',res.text)
    
14.     r2 = re.findall(r'href="(/ComicView/index/id/.*/cid/.*?)"',res.text)
    
15.     r3 = re.findall(r'title=".*?：\d{1,5}.([\u4e00-\u9fa5].*?)"', res.text)
    
16.     del r2[-1]
    
17.     url_1 = []
    
18.     #print(r3)
    
19.     for i in r2:
    
20.         url_1.append('https://ac.qq.com'+i)
    
21.     n = 0
    
22.     for i in url_1:
    
23.         getChapterFile(i, r1[n], r3[n])
    
24.         n += 1
    
25. 
    
26. def getChapterFile(url,path1,path2):
    
27.     # 漫画名称目录
    
28.     print(url)
    
29.     path=os.path.join(path1)
    
30.     if not os.path.exists(path):
    
31.         os.mkdir(path)
    
32.     # 章节目录
    
33.     path=path+'\\'+path2
    
34.     if not os.path.exists(path):
    
35.         os.mkdir(path)
    
36.     chrome = webdriver.Chrome()
    
37.     chrome.get(url)
    
38.     time.sleep(4)
    
39.     imgs = chrome.find_elements_by_xpath("//div[@id='mainView']/ul[@id='comicContain']//img")
    
40.     for i in range(0, len(imgs)):
    
41.             js="document.getElementById('mainView').scrollTop="+str((i) * 1280)
    
42.             chrome.execute_script(js)
    
43.             time.sleep(3)
    
44.             r = re.findall(r'https://manhua.qpic.cn',imgs[i].get_attribute("src"))
    
45.             if r:
    
46.                 print(imgs[i].get_attribute("src"))
    
47.                 with open(path+'\\'+str(i)+'.png', 'wb') as f:
    
48.                     f.write(requests.get(imgs[i].get_attribute("src")).content)
    
49.     chrome.close()
    
50.     print('下载完成')
    
51. 
    
52. if __name__ == '__main__':
    
53.     getChapterUrl()
    
54. [/color]

复制代码