[已解决]关于爬豆瓣TOP250电影的问题 IndexError: list index out of range

helloTOM

简单浏览了一下小甲鱼的爬豆瓣课程  没看小怎么看甲鱼写的代码自己写的渣代码  日常出问题 不过没关系 代码贴上 希望指点

最新更新（5.4）  虽然遇到了比较多的问题  还是自己解决了（原代码看似清晰有条理  不过过于冗杂  爬取一页过多的调用了url（我加了个测试代码  爬一页大概要调用url 50-100次 我的天！！！   豆瓣不把我封了才怪）后来将原来爬的电影名字 信息 评分 简热评 集成到了一个函数 这下可以了 豆瓣服务器君不封我的ip了  我测试了下  爬十页调用url10次  不过又出现了错误：IndexError: list index out of range   WTF!!!!!!!!!!什么情况？？？？ 原来我爬的简热评里有两部电影没有简热评。。。。才会出现这类情况   于是加了简单的渣代码便可以如期运行了！！！！！！（代码见评论区）

更新一波：今天我又试了一下我的代码居然可以爬到第五页（平时都是到第四页就报这个错误 不过今天报错后我浏览豆瓣网页是直接说403。。。平时都是：检测到有异常请求从你的 IP 发出，请 登录 使用豆瓣。我觉得我的代码应该没有问题，问题应该是豆瓣那边给我禁了  过会用一下代理IP池再试试（反正也不知道还有什么好办法了。。。。 ））

1. import requests
   
2. import bs4
   
3. 
   
4. def open_url(url):
   
5.     headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
   
6.     res = requests.get(url,headers=headers)
   
7.     soup = bs4.BeautifulSoup(res.text,"html.parser")
   
8.     return soup
   
9.    
   
10. def movices_name(url):
    
11.     name = []
    
12.     targets = open_url(url).find_all("div",class_="hd")
    
13.     for each in targets:
    
14.         name.append(each.a.span.text)
    
15.     return name
    
16. 
    
17. def movices_information(url):
    
18.     information = []
    
19.     targets = open_url(url).find_all("div",class_="bd")
    
20.     for each in targets:
    
21.         information.append(each.p.text)
    
22.     del information[0]
    
23.     return information
    
24. 
    
25. def movices_score(url):
    
26.     score = []
    
27.     targets = open_url(url).find_all("span",class_="rating_num")
    
28.     for each in targets:
    
29.         score.append(each.text)
    
30.     return score
    
31. 
    
32. def movices_hotcomment(url):
    
33.     hotcomment = []
    
34.     targets = open_url(url).find_all("span",class_="inq")
    
35.     for each in targets:
    
36.         hotcomment.append(each.text)
    
37.     return hotcomment
    
38. 
    
39. def download_top(url):
    
40.     result = []
    
41.     numbers = len(movices_name(url))
    
42.     for i in range(numbers):
    
43.         result.extend("                        "+movices_name(url)[i]+"  "+movices_information(url)[i]+"    "+movices_score(url)[i]+"  "+movices_hotcomment(url)[i]+"\n\n")
    
44. 
    
45.     with open("豆瓣TOP250电影一览.txt","a",encoding = "utf-8") as f:
    
46.         for each in result:
    
47.             f.write(each)
    
48.       
    
49.         
    
50. def main():
    
51.     count = 0
    
52.     while count<10:
    
53.         print("正在爬取第%s页" %str(count+1))
    
54. 
    
55.         url = "https://movie.douban.com/top250" + "?start="+str(25 * count)
    
56.         
    
57.         download_top(url)
    
58.         
    
59.         count +=1
    
60.         
    
61.         print("已经爬取第%s页" %str(count))
    
62.         
    
63. 
    
64. 
    
65. if __name__ == "__main__":
    
66.     main()
    
67. 
    

复制代码

两个问题：
1.程序报错不知道怎么解决  报错为：line 47, in download_top
    result.extend("                        "+movices_name(url)+"  "+movices_information(url)+"    "+movices_score(url)+"  "+movices_hotcomment(url)+"\n\n")
IndexError: list index out of range
2.感觉我的代码运行好慢啊 我事后试了一下小甲鱼老师的代码感觉他的代码运行的挺快的。  我想知道我们的代码我对比了一下差别不算大啊  为啥效率不一样呢？

最佳答案

月排行榜 / 总排行榜

galaxybamboo

2018-4-29 07:02:28

报错为列表取值超出index范围了，应该是你的哪个索引没有取到值

跳转到最佳答案楼层

galaxybamboo

报错为列表取值超出index范围了，应该是你的哪个索引没有取到值

helloTOM

galaxybamboo 发表于 2018-4-29 07:02
报错为列表取值超出index范围了，应该是你的哪个索引没有取到值

应该不是吧  因为我用我自己写的代码都可以正常爬取前三页  不知道为什么到第四页就报错了 而且报错后我打开豆瓣TOP250就告诉我：检测到有异常请求从你的 IP 发出，请 登录 使用豆瓣。 而小甲鱼老师的代码就完全没有任何问题 不知道问什么呢？

helloTOM

helloTOM

等待ing

helloTOM

helloTOM

1. import requests
   
2. import bs4
   
3. 
   
4. def open_url(url):
   
5.     headers = {
   
6.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
   
7.         "Referer":"https://movie.douban.com/top250"
   
8.         }
   
9.     res = requests.get(url,headers=headers)
   
10.     soup = bs4.BeautifulSoup(res.text,"html.parser")
    
11.     #print("服务器君要爆炸了！！！！！")
    
12.     return soup
    
13.    
    
14. def movices_name_information_score_hotcomment(soup,count):
    
15.     name = []
    
16.     information = []
    
17.     score = []
    
18.     hotcomment = []
    
19.     result = []
    
20. 
    
21.   
    
22.     movice_name = soup.find_all("div",class_="hd")
    
23.     for each in movice_name:
    
24.         name.append(each.a.span.text.strip())
    
25.      
    
26.     movice_information = soup.find_all("div",class_="bd")
    
27.     for each in movice_information:
    
28.         information.append(each.p.text.strip())
    
29.     del information[0]
    
30. 
    
31.     movice_score = soup.find_all("span",class_="rating_num")
    
32.     for each in movice_score:
    
33.         score.append(each.text.strip())
    
34.         
    
35.     movice_hotcomment = soup.find_all("span",class_="inq")
    
36.     for each in movice_hotcomment:
    
37.         hotcomment.append(each.text.strip())
    
38. 
    
39.     if count==7:
    
40.         hotcomment.insert(14,"无简评")
    
41. 
    
42.     if count==9:
    
43.         hotcomment.insert(22,"无简评")
    
44.         
    
45.    
    
46.     numbers = len(name)
    
47.     for i in range(numbers):
    
48.         result.extend(name[i]+information[i]+score[i]+"\n"+hotcomment[i]+"\n\n")
    
49. 
    
50.     return result
    
51. 
    
52. 
    
53. def download_top(result):
    
54.     with open("豆瓣TOP250电影一览.txt","a",encoding = "utf-8") as f:
    
55.         for each in result:
    
56.             f.write(each)
    
57.       
    
58.         
    
59. def main():
    
60.     count = 0
    
61.     while count<10:
    
62.         print("正在爬取第%s页" %str(count+1))
    
63. 
    
64.         url = "https://movie.douban.com/top250" + "?start="+str(25 * count)
    
65. 
    
66.         soup = open_url(url)
    
67. 
    
68.         result = movices_name_information_score_hotcomment(soup,count)
    
69.         
    
70.         download_top(result)
    
71.         
    
72.         count +=1
    
73.         
    
74.         print("已经爬取第%s页" %str(count))
    
75. 
    
76. 
    
77. if __name__ == "__main__":
    
78.     main()
    
79. 
    

复制代码