提取豆瓣前25个标题的信息遇到的问题

python小小白哟 · 发表于 2023-7-31 10:31:19

您需要登录才可以下载或查看，没有账号？立即注册

x

我只想提取豆瓣前25个标题的信息，代码如下：

import requests
import re
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
response = requests.get("https://movie.douban.com/top250",headers=headers)
a = re.findall("(.*?)",response.text,re.S)
for i in a:
print(i)

复制代码

怎么剔除掉除了文字的其他信息呢？
微信截图_20230731102923.jpg

陶远航 · 发表于 2023-7-31 10:31:31

要剔除除了文字之外的其他信息，你可以使用正则表达式来提取纯文本。在你的代码中，将正则表达式 "(.*?)" 修改为 "(.*?)" 即可。修改后的代码如下：

import requests
import re
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"}
response = requests.get("https://movie.douban.com/top250", headers=headers)
a = re.findall("(.*?)", response.text, re.S)
for i in a:
print(i)

复制代码

这样修改后，你只会提取到标题的文本部分，而不包含其他的 HTML 标签或其他信息。希望对你有帮助！
如果问题已经解决，请设置最佳答案

python小小白哟 · 发表于 2023-7-31 10:37:26

代码中是加了反斜杠\的转义字符的。

歌者文明清理员 · 发表于 2023-7-31 10:42:45

本帖最后由歌者文明清理员于 2023-7-31 10:44 编辑

python小小白哟发表于 2023-7-31 10:37
代码中是加了反斜杠\的转义字符的。

 在html中表示空格，你可以手动替换

import requests
import re
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
response = requests.get("https://movie.douban.com/top250",headers=headers)
a = list(map(lambda s: s.replace(" ", ""), re.findall('(.*?)',response.text,re.S)))
for i in a:
print(i)

复制代码

歌者文明清理员 · 发表于 2023-7-31 10:43:39

python小小白哟发表于 2023-7-31 10:37
代码中是加了反斜杠\的转义字符的。

论坛有bug

琅琊王朝 · 发表于 2023-7-31 13:53:43

要剔除除了文字以外的其他信息，你可以使用正则表达式的预处理功能。在匹配标题时，可以使用re.sub()函数将标签和其他非文字内容替换为空字符串。

下面是修改后的代码示例：

import requests
import re
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"
}
response = requests.get("https://movie.douban.com/top250", headers=headers)
titles = re.findall(r'(.*?)', response.text, re.S)
for title in titles:
cleaned_title = re.sub(r'<.*?>', '', title) # 剔除标签和其他非文字内容
print(cleaned_title.strip()) # 清除多余的空格并输出

复制代码

这样修改后，你应该能够提取到豆瓣前25个标题的纯文本信息。注意，我们使用re.sub()函数将标签和其他非文字内容替换为空字符串，然后使用strip()函数去除标题两侧可能存在的多余空格。

请重新运行代码，并检查输出是否符合预期。如有其他问题，请随时提问。

账号		自动登录	找回密码
密码			立即注册