[已解决]parsel解析标题

哈岁NB

请问各位大佬，解析数据时为什么会把每个标题打印三遍，而改成.main3 div div.sons就好了，

1. import requests
   
2. import logging
   
3. import re
   
4. from parsel import Selector
   
5. 
   
6. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
   
7. PAFE = 2
   
8. BASE_URL = 'https://www.gushiwen.cn/default_{}.aspx'
   
9. header = {
   
10.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
    
11. }
    
12. #发起请求
    
13. def scrape_url(url):
    
14.     logging.info('正在爬取{}'.format(url))
    
15.     try:
    
16.         response = requests.get(url = url,headers=header)
    
17.         if response.status_code == 200:
    
18.             return response.text
    
19.         logging.error('爬取错误，代码是{}'.format(response.status_code))
    
20.     except requests.RequestException:
    
21.         logging.error('爬取{}出现错误'.format(url))
    
22. 
    
23. #拼接列表url并发起请求
    
24. def scrpae_page(page):
    
25.     url = BASE_URL.format(page)
    
26.     return scrape_url(url)
    
27. 
    
28. #解析数据
    
29. def parse_index(html):
    
30.     selector = Selector(html)
    
31.     title = selector.css('.main3 div div.sons').re('.*?<b>(.*?)</b>')
    
32.     return title
    
33. 
    
34. 
    
35. 
    
36. def main():
    
37.     html = scrpae_page(1)
    
38.     title = parse_index(html)
    
39.     print(title)
    
40. 
    
41. 
    
42. if __name__ == '__main__':
    
43.     main()

复制代码

打印结果是这样的

1. ['送李少府时在客舍作', '送李少府时在客舍作', '送李少府时在客舍作', '思王逢原三首·其二', '思王逢原三首·其二', '思王逢原三首·其二', '游西池', '游西池', '游西池', '契丹歌', '契丹歌', '契丹歌', '西洲曲', '西洲曲', '西洲曲', '滕王阁序', '滕王阁序', '滕王阁序', '集灵台·其二', '集灵台·其二', '集灵台·其二', '题玉泉溪', '题玉泉溪', '题玉泉溪', '纵笔三首·其二', '纵笔三首·其二', '纵笔三首·其二', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓']
   

复制代码

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-9 17:39:03

根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中多个符合条件的元素。re() 方法返回的是一个列表，其中包含了所有匹配到的结果。

如果只想获取每个标题打印一次，您可以将 parse_index() 函数修改为以下内容：

1. def parse_index(html):
2.     selector = Selector(html)
3.     titles = selector.css('.main3 div div.sons b::text').getall()
4.     return titles

复制代码

这里使用了 CSS 选择器 b::text 来直接选取 <b> 标签内的文本内容，并使用 getall() 方法获取所有匹配结果的列表。

通过这样的修改，您应该能够得到每个标题只打印一次的结果。

希望能对您有所帮助！如果还有其他问题，请随时提问。

跳转到最佳答案楼层

陶远航

根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中多个符合条件的元素。re() 方法返回的是一个列表，其中包含了所有匹配到的结果。

如果只想获取每个标题打印一次，您可以将 parse_index() 函数修改为以下内容：

1. def parse_index(html):
2.     selector = Selector(html)
3.     titles = selector.css('.main3 div div.sons b::text').getall()
4.     return titles

复制代码

这里使用了 CSS 选择器 b::text 来直接选取 <b> 标签内的文本内容，并使用 getall() 方法获取所有匹配结果的列表。

通过这样的修改，您应该能够得到每个标题只打印一次的结果。

希望能对您有所帮助！如果还有其他问题，请随时提问。

哈岁NB

陶远航 发表于 2023-7-9 17:39
根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中 ...

好的，感谢感谢

isdkz

你这个给的是正确代码，而不是问题代码