[已解决]我用新方法爬取豆瓣top250数据，每次显示标题就是到25就循环

suchocolate

因为没有累加，len一直是25，改成累加方式：

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     base_url = 'https://movie.douban.com/top250?'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     m_name = []
   
10.     m_href = []
    
11.     m_star = []
    
12.     for x in range(0, 250, 25):
    
13.         url = base_url + f'start={x}'
    
14.         r = requests.get(url, headers=headers)
    
15.         t_name = re.findall(r'<span class="title">(.*?)</span>', r.text)
    
16.         t_href = re.findall(r'<a href="(.*?)" class="">', r.text)
    
17.         t_star = re.findall(r'property="v:average">(.*?)</span>', r.text)
    
18.         f_name = []
    
19.         for item in t_name:
    
20.             if 'nbsp' not in item:
    
21.                 f_name.append(item)
    
22.         m_name.extend(f_name)
    
23.         m_href.extend(t_href)
    
24.         m_star.extend(t_star)
    
25.     print(m_name, m_href, m_star)
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()

复制代码

另外爬数据，还是urllib+xpath合适，selenium适合需要UI操作的环境。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main():
   
7.     base_url = 'https://movie.douban.com/top250?'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     movies = []
   
10.     for x in range(0, 250, 25):
    
11.         url = base_url + f'start={x}'
    
12.         r = requests.get(url, headers=headers)
    
13.         html = etree.HTML(r.text)
    
14.         lis = html.xpath('//ol[@class="grid_view"]/li')
    
15.         for li in lis:
    
16.             m_name = li.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]
    
17.             m_rank = li.xpath('.//div[@class="pic"]/em/text()')[0]
    
18.             m_score = li.xpath('.//div[@class="star"]/span[2]/text()')[0]
    
19.             m_comment = li.xpath('./div/div[2]/div[2]/p[2]/span/text()')  # 获取评价
    
20.             if not m_comment:   # 如果为空
    
21.                 m_comment = '没有评价'   # 写入没有评价
    
22.             else:
    
23.                 m_comment = m_comment[0]   # 如果有值，那么取出内容（因为xpath取出后是列表）
    
24.             movies.append([m_name, m_rank, m_score, m_comment])
    
25.     for i in movies:
    
26.         print(i)
    
27.         print('=' * 100)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()
    

复制代码

suchocolate

超哥超级爱学习 发表于 2021-3-18 14:06
嗯嗯，selenium适合UI界面的。另外就是按照我的代码如何修改，可以实现一直到250，我还是有点迷惑{:10_24 ...

像我的那个一样，新建一个总的列表，循环时把每页的结果加入到总的列表，就是累加。