[已解决]爬取王者荣耀英雄图片的问题

python小小白哟

为什么网站源码和右键元素不一样呢？
我用PyQuery只能获取从 云中君 开始这个英雄的图标
好像是这样的我的代码中只包含这个英雄 云中君 开始的数据所以只能从这个英雄开始爬取图片。




然而我想爬取所有的图片该怎么办呢？

代码如下：

1. import requests
   
2. from pyquery import PyQuery
   
3. 
   
4. html = requests.get("https://pvp.qq.com/web201605/herolist.shtml").content
   
5. doc = PyQuery(html)
   
6. 
   
7. items = doc('.herolist > li ').items()
   
8. for item in items:
   
9.     url = item.find('img').attr('src')
   
10.     urls = 'https:' + url
    
11.     name = item.find('a').text()
    
12.     url_content = requests.get(urls).content
    
13.     with open("./王者荣耀英雄图片/" + name + '.jpg','wb') as file:
    
14.         file.write(url_content)
    
15.         print("正在爬取图片中...")

复制代码

最佳答案

月排行榜 / 总排行榜

歌者文明清理员

2023-8-16 10:36:57

python小小白哟 发表于 2023-8-16 10:35
好的  感谢

配置教程：https://blog.csdn.net/zhoukeguai/article/details/113247342

1. from selenium import webdriver
   
2. from time import sleep
   
3. driver = webdriver.Chrome()
   
4. driver.get("https://pvp.qq.com/web201605/herolist.shtml")
   
5. sleep(1) # 等待js加载
   
6. source = driver.page_source
   
7. driver.close()

复制代码

跳转到最佳答案楼层

isdkz

问题出在你只获取了一个英雄的图标，因为你只遍历了 .herolist > li 中的元素，而这些元素只是英雄列表中的一部分。要获取所有英雄的图片，你需要遍历所有的英雄列表。

你可以通过以下代码修改你的程序来实现获取所有英雄的图片：

1. import requests
   
2. from pyquery import PyQuery
   
3. 
   
4. html = requests.get("https://pvp.qq.com/web201605/herolist.shtml").content
   
5. doc = PyQuery(html)
   
6. 
   
7. items = doc('.herolist > li').items()
   
8. for item in items:
   
9.     url = item.find('img').attr('src')
   
10.     urls = 'https:' + url
    
11.     name = item.find('a').text()
    
12.     url_content = requests.get(urls).content
    
13.     with open("./王者荣耀英雄图片/" + name + '.jpg','wb') as file:
    
14.         file.write(url_content)
    
15.     print("正在爬取图片中...")
    

复制代码

这样，你就可以获取所有英雄的图片了。

python小小白哟

isdkz 发表于 2023-8-16 10:13
问题出在你只获取了一个英雄的图标，因为你只遍历了 .herolist > li 中的元素，而这些元素只是英雄列表中的 ...

代码好像和我原来的那个没有改动啊？这怎么行？

歌者文明清理员

右键看到的是执行过js的结果，ctrl+u是没执行过js的，所以不一样

python小小白哟

歌者文明清理员 发表于 2023-8-16 10:27
右键看到的是执行过js的结果，ctrl+u是没执行过js的，所以不一样

有没有办法从开头的英雄图片爬取呢？

歌者文明清理员

python小小白哟 发表于 2023-8-16 10:30
有没有办法从开头的英雄图片爬取呢？

那就得用 selenium 了

python小小白哟

歌者文明清理员 发表于 2023-8-16 10:34
那就得用 selenium 了

好的  感谢

歌者文明清理员

python小小白哟 发表于 2023-8-16 10:35
好的  感谢

配置教程：https://blog.csdn.net/zhoukeguai/article/details/113247342

1. from selenium import webdriver
   
2. from time import sleep
   
3. driver = webdriver.Chrome()
   
4. driver.get("https://pvp.qq.com/web201605/herolist.shtml")
   
5. sleep(1) # 等待js加载
   
6. source = driver.page_source
   
7. driver.close()

复制代码

cflying

pvp.qq.com/web201605/js/herolist.json里就是name和ename
game.gtimg.cn/images/yxzj/img201606/heroimg/{ename}/{ename}.jpg替换进去就是图片

isdkz

歌者文明清理员 发表于 2023-8-16 10:34
那就得用 selenium 了

爬王者荣耀完全可以用requests