[已解决][Python]爬取王者荣耀的周免英雄

Pythonnewers

我找不到周免英雄的地方,只有91(?)个英雄,而我只想爬取周免的英雄

                               
登录/注册后可看大图

↑周免英雄

                               
登录/注册后可看大图

↑所有的

然后我get的就是第二个的...

有什么办法可以获取周免?

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-5-8 11:20:13

Pythonnewers 发表于 2020-5-8 11:10
行

好了

1. from selenium import webdriver
   
2. from requests import get
   
3. import os
   
4. 
   
5. try:
   
6.     os.mkdir("Img")
   
7.     os.chdir("Img")
   
8. except:
   
9.     os.chdir("Img")
   
10.    
    
11. wd = webdriver.Chrome(r'D:\webdrivers\chromedriver.exe')
    
12. wd.get('https://pvp.qq.com/web201605/herolist.shtml')
    
13. 
    
14. wd.find_element_by_xpath('/html/body/div[3]/div/div/div[2]/div[1]/ul[2]/li[1]/span/i').click()
    
15. url = wd.find_elements_by_xpath('/html/body/div[3]/div/div/div[2]/div[2]/ul/li/a/img')
    
16. for i in range(len(url)):
    
17.     with open(f"{i}.jpg", 'wb') as f:
    
18.         f.write(get(url[i].get_attribute("src")).content)
    
19. 
    
20. wd.quit()

复制代码

跳转到最佳答案楼层

March2615

https://pvp.qq.com/web201605/herolist.shtml
这个页面有周免英雄

图片中周免英雄以一个链接形式给出
https://pvp.qq.com/web201605/herodetail/105.shtml（就是元素前面加上http）
进入这个页面就可以爬取对应英雄的信息了

qiuyouzhi

URL发出来

Pythonnewers

qiuyouzhi 发表于 2020-5-8 11:02
URL发出来

https://pvp.qq.com/web201605/herolist.shtml

qiuyouzhi

Pythonnewers 发表于 2020-5-8 11:03
https://pvp.qq.com/web201605/herolist.shtml

我给你用selenium写个行吗

Pythonnewers

March2615 发表于 2020-5-8 11:02
https://pvp.qq.com/web201605/herolist.shtml
这个页面有周免英雄

不是,点进去还是全部英雄,还是要选择标签来看周免英雄

Pythonnewers

qiuyouzhi 发表于 2020-5-8 11:05
我给你用selenium写个行吗

行

qiuyouzhi

Pythonnewers 发表于 2020-5-8 11:10
行

调试中....马上发出来

永恒的蓝色梦想

qiuyouzhi 发表于 2020-5-8 11:17
调试中....马上发出来

NPNP

qiuyouzhi

Pythonnewers 发表于 2020-5-8 11:10
行

好了

1. from selenium import webdriver
   
2. from requests import get
   
3. import os
   
4. 
   
5. try:
   
6.     os.mkdir("Img")
   
7.     os.chdir("Img")
   
8. except:
   
9.     os.chdir("Img")
   
10.    
    
11. wd = webdriver.Chrome(r'D:\webdrivers\chromedriver.exe')
    
12. wd.get('https://pvp.qq.com/web201605/herolist.shtml')
    
13. 
    
14. wd.find_element_by_xpath('/html/body/div[3]/div/div/div[2]/div[1]/ul[2]/li[1]/span/i').click()
    
15. url = wd.find_elements_by_xpath('/html/body/div[3]/div/div/div[2]/div[2]/ul/li/a/img')
    
16. for i in range(len(url)):
    
17.     with open(f"{i}.jpg", 'wb') as f:
    
18.         f.write(get(url[i].get_attribute("src")).content)
    
19. 
    
20. wd.quit()

复制代码

qiuyouzhi

永恒的蓝色梦想 发表于 2020-5-8 11:18
NPNP

不NP
我查了半天BUG，发现少了个s。。。只能爬到一个。。。

Pythonnewers

qiuyouzhi 发表于 2020-5-8 11:23
不NP
我查了半天BUG，发现少了个s。。。只能爬到一个。。。

谢谢了

qiuyouzhi

Pythonnewers 发表于 2020-5-8 11:27
谢谢了

安装驱动了吧

March2615

它页面最上面就是本周周免啊，下面才是全部英雄
只不过要爬取的话需要进到该英雄的详细页面去爬取

不过无所谓了，大佬的速度可快多了

jkluoling1992

老廉颇改版好评

Pythonnewers

jkluoling1992 发表于 2020-5-8 12:40
老廉颇改版好评

哈哈哈,早改了