[已解决]parsel解析标题

哈岁NB

请问各位大佬，解析数据时为什么会把每个标题打印三遍，而改成.main3 div div.sons就好了，

import requests
import logging
import re
from parsel import Selector

logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
PAFE = 2
BASE_URL = 'https://www.gushiwen.cn/default_{}.aspx'
header = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
#发起请求
def scrape_url(url):
    logging.info('正在爬取{}'.format(url))
    try:
        response = requests.get(url = url,headers=header)
        if response.status_code == 200:
            return response.text
        logging.error('爬取错误，代码是{}'.format(response.status_code))
    except requests.RequestException:
        logging.error('爬取{}出现错误'.format(url))

#拼接列表url并发起请求
def scrpae_page(page):
    url = BASE_URL.format(page)
    return scrape_url(url)

#解析数据
def parse_index(html):
    selector = Selector(html)
    title = selector.css('.main3 div div.sons').re('.*?<b>(.*?)</b>')
    return title



def main():
    html = scrpae_page(1)
    title = parse_index(html)
    print(title)


if __name__ == '__main__':
    main()

打印结果是这样的

['送李少府时在客舍作', '送李少府时在客舍作', '送李少府时在客舍作', '思王逢原三首·其二', '思王逢原三首·其二', '思王逢原三首·其二', '游西池', '游西池', '游西池', '契丹歌', '契丹歌', '契丹歌', '西洲曲', '西洲曲', '西洲曲', '滕王阁序', '滕王阁序', '滕王阁序', '集灵台·其二', '集灵台·其二', '集灵台·其二', '题玉泉溪', '题玉泉溪', '题玉泉溪', '纵笔三首·其二', '纵笔三首·其二', '纵笔三首·其二', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓']

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-9 17:39:03

根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中多个符合条件的元素。re() 方法返回的是一个列表，其中包含了所有匹配到的结果。

如果只想获取每个标题打印一次，您可以将 parse_index() 函数修改为以下内容：

def parse_index(html):    selector = Selector(html)    titles = selector.css('.main3 div div.sons b::text').getall()    return titles

这里使用了 CSS 选择器 b::text 来直接选取 <b> 标签内的文本内容，并使用 getall() 方法获取所有匹配结果的列表。

通过这样的修改，您应该能够得到每个标题只打印一次的结果。

希望能对您有所帮助！如果还有其他问题，请随时提问。

跳转到最佳答案楼层

陶远航

根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中多个符合条件的元素。re() 方法返回的是一个列表，其中包含了所有匹配到的结果。

如果只想获取每个标题打印一次，您可以将 parse_index() 函数修改为以下内容：

def parse_index(html):    selector = Selector(html)    titles = selector.css('.main3 div div.sons b::text').getall()    return titles

这里使用了 CSS 选择器 b::text 来直接选取 <b> 标签内的文本内容，并使用 getall() 方法获取所有匹配结果的列表。

通过这样的修改，您应该能够得到每个标题只打印一次的结果。

希望能对您有所帮助！如果还有其他问题，请随时提问。

哈岁NB

陶远航 发表于 2023-7-9 17:39
根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中 ...

好的，感谢感谢

isdkz

你这个给的是正确代码，而不是问题代码