提取豆瓣前25个标题的信息遇到的问题

python小小白哟 · 发表于 2023-7-31 10:31:19

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

我只想提取豆瓣前25个标题的信息，代码如下：

import requests
import re

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}

response = requests.get("https://movie.douban.com/top250",headers=headers)
a = re.findall("<span class="title">(.*?)</span>",response.text,re.S)
for i in a:
    print(i)

怎么剔除掉除了文字的其他信息呢？
微信截图_20230731102923.jpg

陶远航 · 发表于 2023-7-31 10:31:31

要剔除除了文字之外的其他信息，你可以使用正则表达式来提取纯文本。在你的代码中，将正则表达式 "<span class="title">(.*?)</span>" 修改为 "<span class=\"title\">(.*?)</span>" 即可。修改后的代码如下：

import requests
import re

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"}
response = requests.get("https://movie.douban.com/top250", headers=headers)
a = re.findall("<span class="title">(.*?)</span>", response.text, re.S)
for i in a:
    print(i)

这样修改后，你只会提取到标题的文本部分，而不包含其他的 HTML 标签或其他信息。希望对你有帮助！
如果问题已经解决，请设置最佳答案

python小小白哟 · 发表于 2023-7-31 10:37:26

代码中是加了反斜杠\的转义字符的。

歌者文明清理员 · 发表于 2023-7-31 10:42:45

本帖最后由歌者文明清理员于 2023-7-31 10:44 编辑

python小小白哟发表于 2023-7-31 10:37
代码中是加了反斜杠\的转义字符的。

 在html中表示空格，你可以手动替换

import requests
import re

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}

response = requests.get("https://movie.douban.com/top250",headers=headers)
a = list(map(lambda s: s.replace(" ", ""), re.findall('<span class="title">(.*?)</span>',response.text,re.S)))
for i in a:
    print(i)

歌者文明清理员 · 发表于 2023-7-31 10:43:39

python小小白哟发表于 2023-7-31 10:37
代码中是加了反斜杠\的转义字符的。

论坛有bug

琅琊王朝 · 发表于 2023-7-31 13:53:43

要剔除除了文字以外的其他信息，你可以使用正则表达式的预处理功能。在匹配标题时，可以使用re.sub()函数将标签和其他非文字内容替换为空字符串。

下面是修改后的代码示例：

import requests
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}

response = requests.get("https://movie.douban.com/top250", headers=headers)
titles = re.findall(r'<span class="title">(.*?)</span>', response.text, re.S)

for title in titles:
    cleaned_title = re.sub(r'<.*?>', '', title)  # 剔除标签和其他非文字内容
    print(cleaned_title.strip())  # 清除多余的空格并输出

这样修改后，你应该能够提取到豆瓣前25个标题的纯文本信息。注意，我们使用re.sub()函数将标签和其他非文字内容替换为空字符串，然后使用strip()函数去除标题两侧可能存在的多余空格。

请重新运行代码，并检查输出是否符合预期。如有其他问题，请随时提问。

账号		自动登录	找回密码
密码			立即注册