parsel解析标题
请问各位大佬，解析数据时为什么会把每个标题打印三遍，而改成.main3 div div.sons就好了，import requests
import logging
import re
from parsel import Selector
logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
PAFE = 2
BASE_URL = 'https://www.gushiwen.cn/default_{}.aspx'
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
#发起请求
def scrape_url(url):
logging.info('正在爬取{}'.format(url))
try:
response = requests.get(url = url,headers=header)
if response.status_code == 200:
return response.text
logging.error('爬取错误，代码是{}'.format(response.status_code))
except requests.RequestException:
logging.error('爬取{}出现错误'.format(url))
#拼接列表url并发起请求
def scrpae_page(page):
url = BASE_URL.format(page)
return scrape_url(url)
#解析数据
def parse_index(html):
selector = Selector(html)
title = selector.css('.main3 div div.sons').re('.*?<b>(.*?)</b>')
return title
def main():
html = scrpae_page(1)
title = parse_index(html)
print(title)
if __name__ == '__main__':
main()
打印结果是这样的
['送李少府时在客舍作', '送李少府时在客舍作', '送李少府时在客舍作', '思王逢原三首·其二', '思王逢原三首·其二', '思王逢原三首·其二', '游西池', '游西池', '游西池', '契丹歌', '契丹歌', '契丹歌', '西洲曲', '西洲曲', '西洲曲', '滕王阁序', '滕王阁序', '滕王阁序', '集灵台·其二', '集灵台·其二', '集灵台·其二', '题玉泉溪', '题玉泉溪', '题玉泉溪', '纵笔三首·其二', '纵笔三首·其二', '纵笔三首·其二', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓', '鹊桥仙·沉沉戍鼓']
根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中多个符合条件的元素。re() 方法返回的是一个列表，其中包含了所有匹配到的结果。
如果只想获取每个标题打印一次，您可以将 parse_index() 函数修改为以下内容：
def parse_index(html):
selector = Selector(html)
titles = selector.css('.main3 div div.sons b::text').getall()
return titles
这里使用了 CSS 选择器 b::text 来直接选取 <b> 标签内的文本内容，并使用 getall() 方法获取所有匹配结果的列表。
通过这样的修改，您应该能够得到每个标题只打印一次的结果。
希望能对您有所帮助！如果还有其他问题，请随时提问。 陶远航 发表于 2023-7-9 17:39
根据您提供的代码和输出结果来看，标题被打印三次的原因是选择器语句 .main3 div div.sons 匹配到了页面中 ...
好的，感谢感谢 你这个给的是正确代码，而不是问题代码
页:
[1]