爬虫程序出现IndexError: list index out of range咋解决诶！

shenzeyu1209

import requests
from bs4 import BeautifulSoup
import os
path=os.getcwd()
passage=0
print("请配合笔趣阁使用http://www.blkzfk.com")
name=input("请输入小说名:")
name="\\"+name+".txt"
url=input("开始章节地址:")
endurl=input("结束章节地址:")
head={}
head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.50'
while True:
    r=requests.get(url,headers=head)
    r.encoding=r.apparent_encoding
    soup=BeautifulSoup(r.text,"html.parser")
    #标题
    title=soup.select("#wrapper > div.content_read > div > div.bookname > h1")[0].get_text()
    #正文部分
    text=soup.select("#content.content")[0].get_text()
    with open(path+name,'a',encoding='utf-8') as f:
        for i in title:
            f.write(i)
        f.write('\n')
        for x in text:
            f.write(x)
        f.write('\n')
    passage+=1
    nexturl="http://www.blkzfk.com/zfk"+soup.select("#wrapper > div.content_read > div > div.bookname > div.bottem1 > a:nth-child(1)")[0]['href']
    print(f"已成功爬取第{passage}章")
    if(url==endurl):
        break
    url=nexturl
os.system("pause")

Traceback (most recent call last):
  File "C:\Users\10429\Desktop\novel-spider.py", line 18, in <module>
    title=soup.select("#wrapper > div.content_read > div > div.bookname > h1")[0].get_text()
IndexError: list index out of range

ouyunfu

出现 "IndexError: list index out of range" 错误一般是因为你在使用列表时超出了其索引范围，也就是所访问的元素不存在。

在你的代码中，出现这个错误的可能原因是 soup.select() 方法没有找到符合要求的元素，导致返回的列表是空的，因此访问 [0] 索引时会超出列表的索引范围。

解决这个问题可以在使用列表前先检查其是否为空，例如可以使用 if len(soup.select(...)) > 0: 来检查是否有找到元素。

你可以尝试如下修改代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. 
   
5. path = os.getcwd()
   
6. passage = 0
   
7. print("请配合笔趣阁使用http://www.blkzfk.com")
   
8. name = input("请输入小说名:")
   
9. name = "\" + name + ".txt"
   
10. url = input("开始章节地址:")
    
11. endurl = input("结束章节地址:")
    
12. head = {}
    
13. head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.50'
    
14. while True:
    
15.     r = requests.get(url, headers=head)
    
16.     r.encoding = r.apparent_encoding
    
17.     soup = BeautifulSoup(r.text, "html.parser")
    
18.     # 检查是否找到标题和正文
    
19.     title_list = soup.select("#wrapper > div.content_read > div > div.bookname > h1")
    
20.     content_list = soup.select("#content.content")
    
21.     if len(title_list) > 0 and len(content_list) > 0:
    
22.         title = title_list[0].get_text()
    
23.         content = content_list[0].get_text()
    
24.         with open(path + name, 'a', encoding='utf-8') as f:
    
25.             f.write(title + '\n')
    
26.             f.write(content + '\n')
    
27.         passage += 1
    
28.         nexturl = "http://www.blkzfk.com/zfk" + soup.select("#wrapper > div.content_read > div > div.bookname > div.bottem1 > a:nth-child(1)")[0]['href']
    
29.         print(f"已成功爬取第{passage}章")
    
30.         if url == endurl:
    
31.             break
    
32.         url = nexturl
    
33.     else:
    
34.         print("没有找到标题或正文，无法爬取。")
    
35. os.system("pause")
    

复制代码

注意，在这个示例中只是简单地添加了检查是否找到标题和正文的代码，你可能还需要根据实际情况做一些其他的处理。

不二猫猫

1. 在这段代码中，出现了 "IndexError: list index out of range" 错误，这意味着您正在尝试访问不存在的索引。在这种情况下，可能是由于 BeautifulSoup 的选择器未能找到该元素导致的。可能是因为您的选择器没有正确匹配到所需的元素。
   
2. 
   
3. 以下是一些可能的解决方案：
   
4. 
   
5. 检查选择器：检查选择器是否正确匹配到所需的元素。在这段代码中，可能是选择器 "#wrapper > div.content_read > div > div.bookname > h1" 没有匹配到标题元素。
   
6. 
   
7. 检查页面结构：检查页面是否发生了变化，可能是页面结构发生了变化导致选择器无法正确匹配元素。可以尝试手动查看网页源代码，确定选择器是否正确。
   
8. 
   
9. 检查网络连接：检查网络连接是否正常，可能是网络连接不稳定导致请求失败。可以尝试使用浏览器访问同样的网页，查看是否能够正常访问。
   
10. 
    
11. 检查代码逻辑：在循环中，可能是在最后一页没有下一页导致代码仍然继续运行，但是此时 soup.select() 方法无法找到需要的元素，导致出现了 "IndexError: list index out of range" 错误。可以添加一个判断条件，判断是否到达最后一页，如果是，则退出循环。
    
12. 
    
13. 以下是一个修改后的代码示例，添加了一个判断条件：
    
14. 
    
15. while True:
    
16.     r=requests.get(url,headers=head)
    
17.     r.encoding=r.apparent_encoding
    
18.     soup=BeautifulSoup(r.text,"html.parser")
    
19.     # 判断是否到达最后一页
    
20.     if soup.select("#wrapper > div.content_read > div > div.bookname > h1") == []:
    
21.         break
    
22.     # 标题
    
23.     title=soup.select("#wrapper > div.content_read > div > div.bookname > h1")[0].get_text()
    
24.     # 正文部分
    
25.     text=soup.select("#content.content")[0].get_text()
    
26.     with open(path+name,'a',encoding='utf-8') as f:
    
27.         for i in title:
    
28.             f.write(i)
    
29.         f.write('\n')
    
30.         for x in text:
    
31.             f.write(x)
    
32.         f.write('\n')
    
33.     passage+=1
    
34.     nexturl="http://www.blkzfk.com/zfk"+soup.select("#wrapper > div.content_read > div > div.bookname > div.bottem1 > a:nth-child(1)")[0]['href']
    
35.     print(f"已成功爬取第{passage}章")
    
36.     if(url==endurl):
    
37.         break
    
38.     url=nexturl
    
39. 希望这些解决方案能够帮助您解决问题。如果问题仍然存在，请尝试在异常抛出时输出变量的值，以便更好地定位问题的根本原因。

复制代码