游戏网站的缩略图l链接爬虫，执行了什么结果都没有，也没有报错，问问大佬们咋回事

Hehe1221

本人小白，懂得很少，求大佬指点一下(≧ - ≦)
代码如下（加了注释）：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. session = requests.Session()
   
5. 
   
6. def get_page_content(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
9.                       '(KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
   
10.     }
    
11.     response = session.get(url, headers=headers)
    
12.     content = response.text
    
13.     return content
    
14. 
    
15. def parse_content(content):
    
16.     # 创建BeautifulSoup对象，用于解析HTML内容
    
17.     soup = BeautifulSoup(content, 'html.parser')
    
18. 
    
19.     # 使用CSS选择器选择所有class为'lazyloaded'的元素
    
20.     lazyloadeds = soup.select('.lazyloaded')
    
21.    
    
22.     # 提取游戏名称，并去除首尾的空白字符
    
23.     games = [lazyload.text.strip() for lazyloaded in lazyloadeds]
    
24.     return games
    
25. 
    
26. def get_next_page_url(content):
    
27.     # 创建BeautifulSoup对象，用于解析HTML内容
    
28.     soup = BeautifulSoup(content, 'html.parser')
    
29. 
    
30.     # 查找下一页按钮的<a>标签
    
31.     next_button = soup.find('a', class_='next page-numbers')
    
32.    
    
33.     if next_button:
    
34.         # 如果存在下一页按钮，则提取其href属性来获取下一页的URL
    
35.         next_page_url = next_button['href']
    
36.         return next_page_url
    
37.     else:
    
38.         # 如果不存在下一页按钮，则返回None表示已到达最后一页
    
39.         return None
    
40. 
    
41. def crawl_website():
    
42.     base_url = "https://www.gamer520.com/switchyouxi"
    
43.     url = base_url
    
44.    
    
45.     while True:
    
46.         # 获取当前页的内容
    
47.         content = get_page_content(url)
    
48.         
    
49.         # 解析当前页的内容，提取游戏名称
    
50.         games = parse_content(content)
    
51.         
    
52.         # 打印游戏名称
    
53.         for game in games:
    
54.             print(game)
    
55. 
    
56.         # 获取下一页的URL
    
57.         next_page_url = get_next_page_url(content)
    
58.         
    
59.         if next_page_url is None:
    
60.             # 如果下一页URL为None，表示已到达最后一页，跳出循环
    
61.             break
    
62. 
    
63.         # 更新URL为下一页的URL，继续循环爬取下一页
    
64.         url = next_page_url
    
65. 
    
66. crawl_website()
    

复制代码

Mike_python小

你的代码看起来已经很不错了！不过，我注意到其中有一处可能会导致错误的地方。在使用 soup.select('.lazyloaded') 选择器时，你可能想要提取具有 "lazyloaded" 类的元素，但在列表解析中，你却使用了 lazyload.text.strip() 来提取游戏名称。这样会导致 AttributeError: 'str' object has no attribute 'text' 错误。

为了修复这个问题，并进行其他一些改进，你可以尝试以下修改：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. session = requests.Session()
   
5. 
   
6. def get_page_content(url):
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
9.                       '(KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
   
10.     }
    
11.     response = session.get(url, headers=headers)
    
12.     content = response.text
    
13.     return content
    
14. 
    
15. def parse_content(content):
    
16.     soup = BeautifulSoup(content, 'html.parser')
    
17.     lazyloadeds = soup.select('.lazyloaded')
    
18.     games = [lazyloaded.parent.find_next('h2').text.strip() for lazyloaded in lazyloadeds]
    
19.     return games
    
20. 
    
21. def get_next_page_url(content):
    
22.     soup = BeautifulSoup(content, 'html.parser')
    
23.     next_button = soup.find('a', class_='next page-numbers')
    
24.     if next_button:
    
25.         next_page_url = next_button['href']
    
26.         return next_page_url
    
27.     else:
    
28.         return None
    
29. 
    
30. def crawl_website():
    
31.     base_url = "https://www.gamer520.com/switchyouxi"
    
32.     url = base_url
    
33. 
    
34.     while True:
    
35.         content = get_page_content(url)
    
36.         games = parse_content(content)
    
37. 
    
38.         for game in games:
    
39.             print(game)
    
40. 
    
41.         next_page_url = get_next_page_url(content)
    
42. 
    
43.         if next_page_url is None:
    
44.             break
    
45. 
    
46.         url = next_page_url
    
47. 
    
48. crawl_website()
    

复制代码

在修改后的代码中，我对 parse_conten 函数进行了更新，使用 lazyloaded 元素的父节点找到游戏名称所在的 <h2> 元素，并提取其文本内容。这样可以确保正确提取游戏名称。

希望这次的修改对你有帮助！如果你还有其他问题，请随时提问。

球一个最佳答案谢谢啦！这对我非常重要！

陶远航

你好！看起来你想编写一个用于爬取游戏网站缩略图的爬虫。根据你提供的代码，我发现了几个可能导致问题的地方：

1. 你导入了BeautifulSoup，但是没有导入bs4模块。你需要在开头添加from bs4 import BeautifulSoup来正确导入该模块。

2. 在get_page_content函数中，你将请求头（headers）放在了多行字符串内部，这可能会导致请求头格式错误。请修改为以下方式，将请求头放在单独的行上：

  

1.    headers = {
2.        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
3.    }
4.    

复制代码

3. 在parse_content函数中，你使用了lazyload.text.strip()来提取游戏名称。然而，在前面的代码中，你使用了lazyloadeds作为遍历的变量名，这可能是一个笔误。请将其修改为lazyloaded，代码如下：

  

1.    games = [lazyloaded.text.strip() for lazyloaded in lazyloadeds]
2.    

复制代码

4. 在crawl_website函数中，你定义了base_url为"https://www.gamer520.com/switchyouxi"，但是在每次循环时，你更新的是next_page_url而不是url。请将以下代码：

  

1.    url = next_page_url
2.    

复制代码

   修改为：

  

1.    url = next_page_url
2.    

复制代码

这些是我在你的代码中发现的一些问题。请尝试修改后重新运行你的爬虫，看看是否能够正常获取游戏名称。如果还有其他问题，请随时向我提问！

isdkz

首先，非常感谢你分享了这段代码。我发现问题可能出现在  parse_content  函数中，你是在试图提取 class 为 'lazyloaded' 的元素的文本。然而，这个元素可能是图片或者其他无文本的元素，所以你得到的结果是空的。你可能需要重新检查这个选择器和你想提取的数据的实际HTML结构。

代码中的这一部分：

1. # 使用CSS选择器选择所有class为'lazyloaded'的元素
2. lazyloadeds = soup.select('.lazyloaded')

复制代码

在这里，你尝试提取 class 名为 'lazyloaded' 的所有元素。但是， lazyloaded  这个类名，通常是用于懒加载的图片，而不是包含文本的元素。因此，你可能需要重新检查你正在尝试提取的元素的 HTML 结构，以确认你使用的 CSS 选择器是否正确。

然后，你可能还需要检查这个网站是否有反爬虫的机制。如果有，你的请求可能被拒绝了，但由于你没有检查 HTTP 响应的状态码，你可能没有注意到这一点。

最后，为了帮助你解决问题，我需要你提供更多的信息。例如，你可以打印出你得到的  content  或  games  看看是否有你期待的内容。你还可以提供一下你希望从网页中提取的具体信息的样子，这样我们才能给出更准确的帮助。

希望这个解答能对你有所帮助！如果你有更多的问题，随时向我们提问。

歌者文明清理员

占楼根据你提供的代码，目前看不出明显的错误。可能是以下几个原因导致爬虫没有正常执行：


网站URL不正确：请确保base_url所指向的网站是有效的，并且确保网站存在游戏缩略图。


网站反爬虫机制：有些网站会使用反爬虫机制来阻止爬虫程序的访问。你可以尝试在请求头中加入更多的参数，例如cookies等信息，以模拟浏览器的行为。


解析器问题：在使用BeautifulSoup解析HTML内容时，如果网页的结构发生变化，也可能导致解析失败。你可以检查一下网页是否有更新或者尝试换用其他解析器，例如lxml。


网络请求问题：可能是网络请求出现问题，导致无法正常获取页面内容。你可以尝试在get_page_content函数中打印出response对象的状态码，查看是否返回了正确的响应。


如果以上方法都没有解决问题，建议逐步调试代码，添加一些打印语句来查看程序执行过程中的变量和结果，以便找出问题所在。


为什么不给我设置一个最佳答案呢？点它 ->

                               
登录/注册后可看大图