哈岁NB 发表于 2023-7-12 16:25:31

正则

请问如何将这个爬取到的数据里的主演，导演，国家，类别分别提取出来
import re

import requests
import logging
from bs4 import BeautifulSoup

logging.basicConfig(level=logging.INFO,format='%(asctime)s - %(levelname)s: %(message)s')

index_url = 'https://movie.douban.com/top250?start=0&filter='
header = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
response = requests.get(url=index_url,headers=header).text
soup = BeautifulSoup(response,'lxml')
#取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')
for li in li_list:
    author = li.select('.bd p').get_text().strip()

    print(author)

陶远航 发表于 2023-7-12 16:25:49

根据你提供的代码，你想从电影网页中提取出每个电影的导演、主演、国家和类别信息。

首先，你可以使用 BeautifulSoup 解析 HTML 页面，然后使用 CSS 选择器来定位需要的元素。在这个例子中，你已经成功地从每个电影代表的 li 标签中提取了 author（导演和主演）信息。

接下来，你可以继续使用正则表达式来提取导演和主演的具体信息。正则表达式可以帮助你匹配和提取符合特定模式的字符串。

以下是修改后的代码示例，演示如何使用正则表达式提取导演和主演的姓名：

import re
import requests
import logging
from bs4 import BeautifulSoup

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')

index_url = 'https://movie.douban.com/top250?start=0&filter='
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"}
response = requests.get(url=index_url, headers=header).text
soup = BeautifulSoup(response, 'lxml')

# 取出每一个电影代表的li标签
li_list = soup.select('.article .grid_view li')

for li in li_list:
    author = li.select('.bd p').get_text().strip()
   
    # 提取导演和主演的姓名
    director_pattern = r'导演: (.*?) '
    actor_pattern = r'主演: (.*?) '
   
    director = re.search(director_pattern, author)
    actor = re.search(actor_pattern, author)
   
    if director:
      director_name = director.group(1)
      print("导演:", director_name)
   
    if actor:
      actor_name = actor.group(1)
      print("主演:", actor_name)


在这个示例中，我们使用了正则表达式模式 导演: (.*?) 和 主演: (.*?) 来匹配导演和主演的姓名，并提取出相应的信息。然后，我们使用 group(1) 来获取第一个捕获组的内容，即导演和主演的姓名。

你可以根据需要继续扩展代码，提取其他信息，如国家和类别，使用类似的方式应该也可以实现。

陶远航 发表于 2023-7-12 16:32:41

如果上面代码不行，试试看下面这个：
import re

# 用一个字典来存储提取出来的信息
info = {}

# 假设author是你爬取到的数据里的一条记录
author = '导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...1994 / 美国 / 犯罪 剧情'

# 用re.search()方法来匹配导演的名字，第一个参数是正则表达式，第二个参数是要匹配的字符串
# 正则表达式中的括号表示要提取的分组，\S+表示匹配任意非空白字符
director = re.search('导演: (\S+)', author)

# 如果匹配成功，就把提取出来的分组赋值给info字典的'director'键
if director:
    info['director'] = director.group(1)

# 同理，用re.findall()方法来匹配主演的名字，第一个参数是正则表达式，第二个参数是要匹配的字符串
# 正则表达式中的括号表示要提取的分组，\S+表示匹配任意非空白字符，\s*表示匹配任意空白字符
# re.findall()方法会返回一个列表，包含所有匹配到的分组
actors = re.findall('主演: (\S+)\s*', author)

# 如果匹配成功，就把提取出来的列表赋值给info字典的'actors'键
if actors:
    info['actors'] = actors

# 同理，用re.search()方法来匹配国家和类别，第一个参数是正则表达式，第二个参数是要匹配的字符串
# 正则表达式中的括号表示要提取的分组，\d+表示匹配任意数字，\S+表示匹配任意非空白字符
country_genre = re.search('\d+ / (\S+) / (\S+)', author)

# 如果匹配成功，就把提取出来的分组赋值给info字典的'country'和'genre'键
if country_genre:
    info['country'] = country_genre.group(1)
    info['genre'] = country_genre.group(2)

# 打印info字典看看结果
print(info)


输出结果：
{'director': '弗兰克·德拉邦特', 'actors': ['蒂姆·罗宾斯'], 'country': '美国', 'genre': '犯罪'}

哈岁NB 发表于 2023-7-12 16:34:32

陶远航 发表于 2023-7-12 16:32
如果上面代码不行，试试看下面这个：




好的，感谢感谢
页: [1]
查看完整版本: 正则