做lda分析前的文本预处理卡住了

roro0209

!pip install jieba
import os
import pandas as pd
import re
import jieba
import jieba.posseg as psg   #导入lda分析需要的一系列包
def chinese_word_cut(mytext):   #对数据进行中文分词
    jieba.load_userdict(dic_file)
    jieba.initialize()
    try:
        stopword_list = open(stop_file,encoding ='utf-8')  #防止出现乱码错误，故指定编码类型为'utf-8'
    except:
        stopword_list = []
        print("error in stop_file")
    stop_list = []
    flag_list = ['n','nz','vn']
    for line in stopword_list:
        line = re.sub(u'\n|\\r', '', line)
        stop_list.append(line)
   
    word_list = []
    #jieba分词
    seg_list = psg.cut(mytext)
    for seg_word in seg_list:
        word = re.sub(u'[^\u4e00-\u9fa5]','',seg_word.word)
        word = seg_word.word  #如果想要分析英语文本，注释这行代码，启动下行代码
        find = 0
        for stop_word in stop_list:
            if stop_word == word or len(word)<2:     #this word is stopword
                    find = 1
                    break
        if find == 0 and seg_word.flag in flag_list:
            word_list.append(word)      
    return (" ").join(word_list)
data["content_cutted"] = data.content.apply(chinese_word_cut)
#使用apply函数不断调用以上函数批量处理全部文本（正文）信息
data.content_cutted.head()
#查看文本是否已被正确分词

FishC

您的代码在停用词处理的地方卡住了。其中，您定义了一个`stopword_list`，用于存储停用词，但是未对其进行赋值。另外，`stop_list`被赋值为空列表，同样需要赋予一个初始值。

接下来，你可以尝试修改代码如下：

1. import os
   
2. import pandas as pd
   
3. import re
   
4. import jieba
   
5. import jieba.posseg as psg
   
6. 
   
7. def chinese_word_cut(mytext, dic_file, stop_file):
   
8.     jieba.load_userdict(dic_file)
   
9.     jieba.initialize()
   
10.     try:
    
11.         stopword_list = open(stop_file, encoding='utf-8').readlines()
    
12.     except:
    
13.         print("error in stop_file")
    
14.         return None
    
15.    
    
16.     stop_list = []
    
17.     flag_list = []
    
18.     for line in stopword_list:
    
19.         line = re.sub(u'\n|\\r', '', line)
    
20.         stop_list.append(line)
    
21.    
    
22.     word_list = []
    
23.     seg_list = psg.cut(mytext)
    
24.     for seg_word in seg_list:
    
25.         word = re.sub(u'','',seg_word.word)
    
26.         word = seg_word.word
    
27.         find = 0
    
28.         for stop_word in stop_list:
    
29.             if stop_word == word or len(word)
    
30.                 find = 1 # 如果找到停用词，将find设置为1
    
31.                 break
    
32.                
    
33.         if not find: # find为0时，表示未找到停用词
    
34.             word_list.append(word)
    
35.    
    
36.     return word_list
    
37. 
    
38. # 使用示例
    
39. mytext = "这是一段需要进行中文分词的文本"
    
40. dic_file = "your_dictionary.txt" # 替换为你的自定义词典文件名
    
41. stop_file = "your_stopwords.txt" # 替换为你的停用词文件名
    
42. 
    
43. result = chinese_word_cut(mytext, dic_file, stop_file)
    
44. print(result)

复制代码

在上述代码中，我添加了函数参数`dic_file`和`stop_file`，您需要根据实际情况替换为自己的词典文件和停用词文件。另外，我对`stopword_list`进行了赋值操作，将读取的停用词文件内容按行保存到列表中。最后，我对词列表进行了判断，如果某个词不是停用词，则将其添加到`word_list`中。最终，`word_list`存储了分词结果，可供后续处理使用。

希望能对您有所帮助！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

roro0209

运行后一直是内核正忙，错误也没报

FishC

roro0209 发表于 2024-03-22 08:47
运行后一直是内核正忙，错误也没报

如果您在运行代码时遇到内核卡住的情况，并且没有显示错误信息，可能是因为代码中的某个部分导致了无限循环或其他耗时操作。这种情况下，您可以尝试以下几点来解决问题：

1. 检查代码逻辑：仔细检查代码，确保没有出现无限循环、死循环或其他可能导致程序卡住的逻辑错误。
2. 数据量控制：如果您的数据量较大，可能会导致程序处理时间过长而使内核卡住。您可以尝试对数据进行裁剪或分批处理，以减少计算负荷。
3. 输出调试信息：在代码中添加一些打印语句，输出一些中间结果，以便查看程序执行到哪个步骤时出现问题。
4. 尝试其他IDE或编辑器：如果您使用的是Jupyter Notebook，可以尝试在其他IDE或文本编辑器中运行代码，看是否能够避免内核卡住的问题。
5. 重启内核：有时候，内核可能会由于某些原因而卡住。您可以尝试重启内核，然后重新运行代码。
6. 检查包版本：某些包的版本可能与其他包不兼容，导致代码执行异常。您可以尝试检查相关包的版本，并尝试更新或降级。

希望以上方法能够帮助您解决问题！如果问题仍然存在，请提供更多的信息，以便我们能够更好地帮助您。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。