[已解决]英文词频统计

2830680393

有一个较长的英文txt文档，目前只会单个单词的词频统计，求问怎么进行多个单词的词频统计，如climate change，climate action（仅为举例，实际上自己也不确定有哪些需要统计词频的词组）的词频统计。
用python或者是其他工具都可以，烦请各位大佬指点指点！

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-1 09:29:48

如果你想用python来统计一个英文文档中多个单词的词频，你可以使用正则表达式来匹配你感兴趣的单词或短语，然后使用collections.Counter来计算它们出现的次数。

例如，如果你想统计climate change和climate action的词频，你可以写一个正则表达式，如r"\\bclimate (change|action)\\b"，然后用Counter来创建一个字典，其中键是单词或短语，值是它们出现的次数。

下面是一个简单的代码示例：

import re
from collections import Counter

# 打开文件并读取内容
with open("file.txt", "r") as f:
    text = f.read()

# 定义正则表达式
pattern = r"\\bclimate (change|action)\\b"

# 查找所有匹配的单词或短语
matches = re.findall(pattern, text)

# 创建一个Counter对象
counter = Counter(matches)

# 打印结果
print(counter)

如果你想统计其他的单词或短语，你只需要修改正则表达式即可。

跳转到最佳答案楼层

isdkz

你可以使用Python中的字符串处理和计数方法来进行多个单词的词频统计。以下是一个示例代码，用于统计一个较长的英文文档中指定单词组合的出现次数：

import re
from collections import Counter

def count_word_phrases(file_path, word_phrases):
    # 读取文档内容
    with open(file_path, 'r', encoding='utf-8') as file:
        text = file.read().lower()
    
    # 去除标点符号和多余的空格
    text = re.sub(r'[^\w\s]', '', text)
    text = re.sub(r'\s+', ' ', text)
    
    # 将文本拆分为单词列表
    words = text.split()
    
    # 统计单词组合出现的次数
    word_counts = Counter()
    for i in range(len(words) - len(word_phrases) + 1):
        if words[i:i+len(word_phrases)] == word_phrases:
            phrase = ' '.join(word_phrases)
            word_counts[phrase] += 1
    
    return word_counts

# 示例用法
file_path = 'path_to_your_file.txt'  # 将此处替换为实际的文档路径
word_phrases = ['climate', 'change']
result = count_word_phrases(file_path, word_phrases)

# 打印词频统计结果
for word_phrase, count in result.items():
    print(f'{word_phrase}: {count}')

在上面的示例中， file_path 变量应替换为实际的文档路径， word_phrases 变量用于指定要统计的多个单词组合，以列表形式提供。代码将统计指定单词组合在文档中出现的次数，并输出每个组合及其对应的词频统计结果。

请确保你已安装Python并拥有所需的文本文件，将示例中的 'path_to_your_file.txt' 替换为实际的文档路径。你还可以根据需要进行其他的文本预处理操作，例如删除停用词或进行词干提取。

陶远航

如果你想用python来统计一个英文文档中多个单词的词频，你可以使用正则表达式来匹配你感兴趣的单词或短语，然后使用collections.Counter来计算它们出现的次数。

例如，如果你想统计climate change和climate action的词频，你可以写一个正则表达式，如r"\\bclimate (change|action)\\b"，然后用Counter来创建一个字典，其中键是单词或短语，值是它们出现的次数。

下面是一个简单的代码示例：

import re
from collections import Counter

# 打开文件并读取内容
with open("file.txt", "r") as f:
    text = f.read()

# 定义正则表达式
pattern = r"\\bclimate (change|action)\\b"

# 查找所有匹配的单词或短语
matches = re.findall(pattern, text)

# 创建一个Counter对象
counter = Counter(matches)

# 打印结果
print(counter)

如果你想统计其他的单词或短语，你只需要修改正则表达式即可。

liuhongrun2022

要进行多个单词的词频统计，您可以使用Python中的字符串处理和计数功能来实现。下面是一个示例代码，使用Python中的Counter类来实现多个单词的词频统计：

from collections import Counter

def word_frequency(text, words):
    # 将文本中的标点符号替换为空格
    text = text.replace(",", " ").replace(".", " ").replace("!", " ").replace("?", " ").replace(";", " ")

    # 将文本拆分为单词列表
    word_list = text.split()

    # 统计单词出现的频率
    word_counts = Counter(word_list)

    # 提取指定单词的词频统计结果
    result = {word: word_counts[word] for word in words}

    return result

# 示例文本
text = "Climate change is a serious issue. Climate action is needed to mitigate its effects."

# 指定需要统计的单词列表
words = ["climate", "change", "action"]

# 进行词频统计
frequency_result = word_frequency(text.lower(), words)

# 打印结果
for word, count in frequency_result.items():
    print(f"Word: {word}, Count: {count}")

在上述示例中，我们定义了一个word_frequency()函数，它接受一个文本内容和一个需要统计的单词列表作为参数。首先，我们通过替换标点符号，并将文本拆分为单词列表。然后，我们使用Counter类来统计每个单词出现的次数，并将结果存储在一个字典中。最后，我们提取指定单词的词频统计结果，并打印出来。

请注意，示例代码中将文本转换为小写字母以进行不区分大小写的统计。如果您希望区分大小写，请将text.lower()改为text。

希望这可以帮助到您！如果您有任何其他问题，请随时向我提问。

sfqxx

gpt 大队

歌者文明清理员

sfqxx 发表于 2023-7-1 09:50
gpt 大队

Hehe