python爬取评论时出错

chunguang

python爬取评论，但只能爬取每一页的第一条评论，求大神

1. import requests
   
2. import re
   
3. import csv
   
4. from bs4 import BeautifulSoup
   
5. from requests.exceptions import  RequestException
   
6. from urllib.parse import  urlencode
   
7. from multiprocessing import Pool
   
8. 
   
9. def get_comments(url):
   
10.     try:
    
11.         headers = {
    
12.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
13.         }
    
14.         response=requests.get(url,headers=headers)
    
15.         response.encoding = 'gbk'
    
16.         if response.status_code==200:
    
17.             return response.text
    
18.         print('请求评论错误')
    
19.         return None
    
20.     except RequestException:
    
21.         return None
    
22. 
    
23. 
    
24. def parse_comments(html):
    
25.     soup = BeautifulSoup(html, 'lxml')
    
26.     items=soup.find_all('body')
    
27.     for item in items:
    
28.         name = item.select('.username ')[1].text
    
29.         rank = item.select('#commentnormalinfo a')[0].text
    
30.         comments = item.select('.commenttext')[0].text
    
31.         province = item.select('.commentinfo span')[3].text
    
32.         price = item.select('.price_num')[0].text
    
33.         data={
    
34.             'name':name,
    
35.             'rank':rank,
    
36.             'comments': comments,
    
37.             'province': province,
    
38.             'price': price
    
39.         }
    
40.         yield data
    
41. 
    
42. def main():
    
43.     url = 'http://www.yanyue.cn/product/comments/148?paramsend=postget&productid=148&paramsend=postget&page_offset=1'
    
44.     html=get_comments(url)
    
45.     for item in parse_comments(html):
    
46.         print(item)
    
47. 
    
48. if __name__=='__main__':
    
49.     main()

复制代码

tremble

兄弟，你的解析库使用的有问题，你识别的是所有的body，一个网页中只有一个body，所以你的items 中只有一个元素，当然就只把每一页的第一条评论搞出来了，建议你要是按照标签找的话，先找这个：<ul class="mt10"> 然后再找li的标签。good luck