将读取文件由txt换成excel的问题

JamieY

大家好，最近我想用python实现文本分类（类似于垃圾邮件分类），但是信息是在excel表格中的（信息很多）。在网上看到的代码读取的是txt文本和文件夹，不知道如何才能实现对excel中的某一行字进行切割、分类呢？附，excel图，代码图

1. 
   
2. import os
   
3. import time
   
4. import jieba
   
5. import jieba.analyse
   
6. import nltk
   
7. import numpy as np
   
8. import pylab as pl
   
9. import matplotlib.pyplot as plt
   
10. 
    
11. 
    
12. def TextProcessing(folder_path):
    
13. 
    
14.     folder_list = os.listdir(folder_path)
    
15.     train_set = []
    
16.     test_set = []
    
17.     all_words = {}
    
18.     class_list = []
    
19. 
    
20.     # 类间循环
    
21.     for i in range(len(folder_list)):
    
22.         new_folder_path = os.path.join(folder_path, folder_list[i])
    
23.         files = os.listdir(new_folder_path)
    
24.         class_list.append(folder_list[i].decode('utf-8'))
    
25. 
    
26.         # 判断指标
    
27.         j = 1
    
28.         N = 100 # 每类text最多取100个样本
    
29.         # 类内循环
    
30.         for file in files:
    
31.             if j > N:
    
32.                 break
    
33.             fp = open(os.path.join(new_folder_path, file), 'r')
    
34.             raw = fp.read()
    
35.             # print raw
    
36. 
    
37.             # jieba分词
    
38.             # jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数，不支持windows
    
39.             word_cut = jieba.cut(raw, cut_all=False) # 精确模式，返回的结构是一个可迭代的genertor，jieba分词可以改进词典库
    
40.             # jieba.disable_parallel() # 关闭并行分词模式
    
41. 
    
42.             # for w in word_cut: # for循环得到每一个词语
    
43.             #     print w
    
44.             word_list = list(word_cut) # genertor转化为list，每个词unicode格式
    
45.             # print word_list
    
46. 
    
47.             # # jieba关键词提取
    
48.             # # tags = jieba.analyse.extract_tags(raw, 10)
    
49.             # tags = jieba.analyse.textrank(raw, 10)
    
50.             # print tags
    
51. 
    
52.             # 划分训练集和测试集
    
53.             nFile = min([len(files), N])
    
54.             if j > 0.3*nFile:
    
55.                 train_set.append((word_list, class_list[i]))
    
56.                 # 针对训练集的每个text分好的词序列进行循环，统计词频放入all_words
    
57.                 for word in word_list:
    
58.                     if all_words.has_key(word):
    
59.                         all_words[word] += 1
    
60.                     else:
    
61.                         all_words[word] = 1
    
62.             else:
    
63.                 test_set.append((word_list, class_list[i]))
    
64.             fp.close()
    
65.             # print "Folder ", i+1, " -file- ", j
    
66.             j += 1
    
67. 
    
68.     # 所有出现过的词数目
    
69.     # print "allwords: \n", all_words.keys()
    
70.     print "all_words length in dict: ", len(all_words.keys())
    
71. 
    
72.     # key函数利用词频进行降序排序
    
73.     all_words_list = sorted(all_words.items(), key=lambda all_word:all_word[1], reverse=True) # 内建函数sorted参数需为list
    
74. 
    
75.     return train_set, test_set, all_words_list
    
76. 
    
77. 
    
78. def words_dict_use_stopwords(deleteN, all_words_list): # word_features是选用的word-词典
    
79.     # 生成stopwords_list
    
80.     stopwords_file = open('stopwords_cn.txt', 'r')
    
81.     stopwords_list = []  
    
82.     for line in stopwords_file.readlines():
    
83.         stopwords_list.append(line.strip().decode('utf-8'))
    
84.     stopwords_file.close()
    
85.    
    
86.     # dict_name = "dict_stopwords_"+str(deleteN)+".txt"
    
87.     # dict = open(dict_name, 'w')
    
88.     n = 1  
    
89.     word_features = []  
    
90.     for t in range(deleteN, len(all_words_list), 1):  
    
91.         if n > 1000:
    
92.             break
    
93.         # print all_words_list[t][0]
    
94.         if (all_words_list[t][0] not in stopwords_list) and (not all_words_list[t][0].isdigit()): #不在stopwords_list中并且不是数字
    
95.             # dict.writelines(str(all_words_list[t][0]))
    
96.             # dict.writelines(' ')
    
97.             n += 1
    
98.             word_features.append(all_words_list[t][0])
    
99.     # dict.close()
    
100. 
     
101.     return word_features  
     
102. 
     
103. 
     
104. def text_features(text, word_features):  
     
105.     text_words = set(text) # 找出text中的不同元素(单词)
     
106.     features = {}  
     
107.     for word in word_features: # 根据word_feature词典生成每个text的feature (True or False: NaiveBayesClassifier的特征)
     
108.         features['contains(%s)' % word] = (word in text_words)
     
109.     return features
     
110. 
     
111. 
     
112. 
     
113. def TextFeatures(train_set, test_set, word_features):
     
114.     # 根据每个text分词生成的word_list生成feature
     
115.     # print train_set
     
116.     # print test_set
     
117.     # train_data是tuple list[({}, ),({}, ),({}, )]，每个text的特征dict和类别组成一个tuple
     
118.     train_data = [(text_features(d, word_features), c) for (d, c) in train_set] # (d, c)代表(已经分词的文件, 类别)
     
119.     test_data = [(text_features(d, word_features), c) for (d, c) in test_set]
     
120.     # print train_data
     
121.     # print test_data
     
122.     print "train number: ", len(train_data), "\ntest number: ", len(test_data)     
     
123.     return train_data, test_data
     
124. 
     
125. 
     
126. 
     
127. def TextClassifier(train_data, test_data):
     
128.     # 朴素贝叶斯分类器
     
129.     classifier = nltk.classify.NaiveBayesClassifier.train(train_data)
     
130.     test_accuracy = nltk.classify.accuracy(classifier, test_data)
     
131.     return test_accuracy
     
132. 
     
133. 
     
134. if __name__ == '__main__':
     
135. 
     
136.     print "start"
     
137.    
     
138.     ## 文本预处理
     
139.     folder_path = 'Databases\SogouC\Sample'        
     
140.     train_set, test_set, all_words_list = TextProcessing(folder_path)
     
141.    
     
142.     ## 文本特征提取和分类
     
143.     deleteNs = range(100, 1000, 20)
     
144.     test_accuracy_use = []
     
145.     for deleteN in deleteNs:
     
146.         # use stopwords
     
147.         word_features = words_dict_use_stopwords(deleteN, all_words_list)
     
148.         train_data, test_data = TextFeatures(train_set, test_set, word_features)
     
149.         test_accuracy = TextClassifier(train_data, test_data)
     
150.         test_accuracy_use.append(test_accuracy)
     
151.    
     
152.     # 结果评价
     
153.     # 不同deleteNs下的test_accuracy
     
154.     plt.figure()
     
155.     plt.plot(deleteNs, test_accuracy_use)
     
156.     plt.title('Relationship of deleteNs and test_accuracy')
     
157.     plt.xlabel('deleteNs')
     
158.     plt.ylabel('test_accuracy')
     
159.     plt.savefig('result.png')
     
160. 
     
161.     print "finished"

复制代码

wongyusing

其实我不是很了解你想做什么
不过我发现的一点问题是，
尽量不要用列表来归类，用字典比较好
如果你可以生成一个字典，最后可以用pandas的to_excel函数来生成你想要的文件