[已解决]求大佬看下哪里有问题

风不会说话

报错：IndexError: list index out of range 为什么？

1. import requests
   
2. import bs4
   
3. import time
   
4. import sys
   
5. import openpyxl
   
6. 
   
7. 
   
8. def open_url(url):
   
9.     proxies = {"http": "119.179.172.243:8060", "https": "124.167.248.230:3128"}
   
10.     headers = {
    
11.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
    
12.     }
    
13.     req = requests.get(url, headers=headers, proxies=proxies)
    
14.     return req
    
15. 
    
16. 
    
17. def find_books(req):
    
18.     bs = bs4.BeautifulSoup(req.text, "html.parser")
    
19. 
    
20.     # 书名
    
21.     booknames = []
    
22.     books = bs.find_all("div", class_="info")
    
23.     for each in books:
    
24.         booknames.append(each.h2.a.text.strip().replace(" ", "").replace("\n", ""))
    
25.     # print(booknames)
    
26.     # 评分
    
27.     scores = []
    
28.     score = bs.find_all("span", class_="rating_nums")
    
29.     for each in score:
    
30.         scores.append(each.text)
    
31.     # print(scores)
    
32. 
    
33.     # 出版信息
    
34.     pubs = []
    
35.     pub = bs.find_all("div", class_="pub")
    
36.     for each in pub:
    
37.         pubs.append(each.text.strip().replace("\n", ""))
    
38.     # print(pubs)
    
39. 
    
40.     # url
    
41.     urls = []
    
42.     url = bs.find_all("div", class_="info")
    
43.     for each in url:
    
44.         href = each.find_all('a')
    
45.         urls.append(href[0].get('href'))
    
46.     # print(urls)
    
47. 
    
48.     result = []
    
49.     length = len(booknames)
    
50.     for i in range(length):      
    
51.         result.append([booknames[i], scores[i], pubs[i], urls[i]])        
    
52.     # print(result)
    
53.     return result
    
54. 
    
55.     # 查页数
    
56. 
    
57. 
    
58. def find_pages(req):
    
59.     bs = bs4.BeautifulSoup(req.text, 'html.parser')
    
60.     page = bs.find("span", class_="next").previous_sibling.previous_sibling.text
    
61.     return int(page)
    
62. 
    
63. 
    
64. def save_to_excel(result):
    
65.     wb = openpyxl.Workbook()
    
66.     ws = wb.active
    
67.     ws.append(['书名', '评分', '出版信息', '相关链接'])
    
68.     for each in result:
    
69.         ws.append(each)
    
70.     wb.save("豆瓣图书.xlsx")
    
71. 
    
72. 
    
73. def main():
    
74.     host = "https://book.douban.com/tag/%E7%BC%96%E7%A8%8B"
    
75.     res = open_url(host)
    
76.     depth = find_pages(res)
    
77.     result = []
    
78.     for i in range(depth):
    
79.         url = host + "?start=" + str(i * 20) + "&type=T"
    
80.         req = open_url(url)
    
81.         result.extend(find_books(req))
    
82.         now_jd = ((i + 1) / depth) * 100
    
83.         sys.stdout.write(
    
84.             "\r爬取中 %d%% [%s%s] 第%d页" % (now_jd, '>' * int((now_jd) / 2), '-' * int((100 - now_jd) / 2),(i + 1)))
    
85.         sys.stdout.flush()
    
86.         time.sleep(1.5)
    
87.     print("爬取完成！")
    
88.     print(result)
    
89. 
    
90.     '''with open("豆瓣图书.txt", "w", encoding="utf-8")as f:
    
91.             for each in result:
    
92.             f.write(each)'''
    
93. 
    
94.     save_to_excel(result)
    
95. 
    
96. if __name__ == '__main__':
    
97.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

塔利班

2019-4-2 09:51:19

那不用想了，你的列表是空的
你之前就没添加上元素，你用审查元素得到的渲染后代码和源代码不一致，你去源代码看看什么格式，有的可能还通过JS函数等等

跳转到最佳答案楼层

塔利班

那不用想了，你的列表是空的
你之前就没添加上元素，你用审查元素得到的渲染后代码和源代码不一致，你去源代码看看什么格式，有的可能还通过JS函数等等

塔利班

出错贴全了直接去那行找，一般就是你的索引设置不对，或者直接你的列表就是空的

风不会说话

塔利班 发表于 2019-4-2 09:55
出错贴全了直接去那行找，一般就是你的索引设置不对，或者直接你的列表就是空的

1. File "E:/pycharmproject/demo1/doubanbook.py", line 97, in <module>
   
2.     main()
   
3.   File "E:/pycharmproject/demo1/doubanbook.py", line 81, in main
   
4.     result.extend(find_books(req))
   
5.   File "E:/pycharmproject/demo1/doubanbook.py", line 51, in find_books
   
6.     result.append([bookNames[i], scores[i], pubs[i], urls[i]])
   
7. IndexError: list index out of range

复制代码

风不会说话

塔利班 发表于 2019-4-2 10:00
那不用想了，你的列表是空的
你之前就没添加上元素，你用审查元素得到的渲染后代码和源代码不一致，你去源 ...

明白了