爬取豆瓣TOP250電影

文质彬彬胡汉三

各位大佬好，小可在練習爬蟲的時候，爬取豆瓣電影TOP250，但是代碼爬取到第5頁就會出錯，天資愚笨，思來想去不明所以，懇請各位大佬指教，代碼如下：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. def html_info(url):
   
5.     '''獲取網頁信息'''
   
6.     try:
   
7.         r = requests.get(url)
   
8.         r.raise_for_status()
   
9.         r.encoding = r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ''
    
13.    
    
14. def print_info(all_info):
    
15.     '''打印信息'''
    
16.     count = 0 #計數器
    
17.     for movie in all_info:
    
18.         flist = 'Top{}\n電影名：{}\n電影評分：{}\n一句話影評：{}\n信息查閲:{}\n'
    
19.         count += 1
    
20.         print(flist.format(count,movie[0],movie[1],movie[2],movie[3]))
    
21.    
    
22. def main():
    
23.     start_url = 'https://movie.douban.com/top250?start='
    
24.     depth = 11  #一共需要爬取的頁數
    
25.     all_info = [] #存儲電影信息
    
26.     for i in range(depth):
    
27.         page = str(i*25)
    
28.         url = start_url+page+'&filter=' #每一頁的URL
    
29.         soup = BeautifulSoup(html_info(url),'html.parser') #解析網頁
    
30.         for each in soup.find_all(attrs={'class':'item'}):
    
31.             m_name = each.find('span').text #電影名
    
32.             m_summary = each.find('span',attrs={'class':'inq'}).text #一句話概括
    
33.             m_info = each.a.get('href') #電影地址
    
34.             m_score = each.find('span',attrs='rating_num').text #評分
    
35.             all_info.append([m_name,m_score,m_summary,m_info])
    
36.         print_info(all_info)
    
37. 
    
38. if __name__ == '__main__':
    
39.     main()        
    

复制代码

以下為出錯（爬取到第100部電影之後，紅色標註為出錯）：

Top100
電影名：爱在日落黄昏时
電影評分：8.7
一句話影評：九年后的重逢是世俗和责任的交叠，没了悸动和青涩，沧桑而温暖。
信息查閲:https://movie.douban.com/subject/1291990/

Traceback (most recent call last):
  File "E:\python\爬蟲\top250.py", line 39, in <module>
    main()
  File "E:\python\爬蟲\top250.py", line 32, in main
    m_summary = each.find('span',attrs={'class':'inq'}).text #一句話概括
AttributeError: 'NoneType' object has no attribute 'text'

另，懇請各位大佬對小可的代碼提出寶貴的意見和建議，各個方面都可以，小可不勝感激！

hldh214

你把这个

1. each.find('span',attrs={'class':'inq'})

复制代码

打印一下看看就知道了

文质彬彬胡汉三

hldh214 发表于 2017-4-22 17:19
你把这个打印一下看看就知道了

感謝大佬提示，問題已經找到，想請問大佬，該標簽下該字段屬性不存在，即：這一次的遍歷標簽中，沒有attrs={'class':'inq'}，應該如何寫測試才能保證繼續進行？万請大佬賜教

gopythoner

文质彬彬胡汉三 发表于 2017-4-22 20:06
感謝大佬提示，問題已經找到，想請問大佬，該標簽下該字段屬性不存在，即：這一次的遍歷標簽中，沒有attr ...

有的信息不规范，这种你需要使用try...except...语句来避免报错，直接忽略掉出错的部分
具体这样改

1. try:
   
2.   m_summary = each.find('span',attrs={'class':'inq'}).text #一句話概括
   
3. except:
   
4.   m_summary = ""   #找不到这个信息就得到一个空值

复制代码

同理，如果你发现其他的也有这种报错，那就也这样改，因为有的信息的确是没有提供，所以你就用空值代替

木杉c

经过修改为什么到了Top210这地方还是会报错