Python统计本地某个文件中所有单词词频

离别ai殇

如题，本地电脑的某个pdf文件，求一段代码统计出所有单词出现的词频，或者前100个，谢谢了...

喜欢吃菠菜

你可以先安装一下读取pdf的库，然后接下来就可以简单的统计了。
建议：
pip install pdfminer3k

喜欢吃菠菜

这是我参考别人的读取pdf内容的函数，给你参考一下，希望有帮助。

1. # 读取pdf的函数，返回内容
   
2. def readPdf(pdf_file):
   
3.     rsrcmgr = PDFResourceManager()
   
4.     retstr = StringIO()
   
5.     laparams = LAParams()
   
6.     device = TextConverter(rsrcmgr=rsrcmgr, outfp=retstr, laparams=laparams)
   
7.     process_pdf(rsrcmgr=rsrcmgr, device=device, fp=pdf_file)
   
8.     device.close()
   
9.     content = retstr.getvalue()
   
10.     retstr.close()
    
11.     return content

复制代码

离别ai殇

喜欢吃菠菜 发表于 2018-11-13 10:26
这是我参考别人的读取pdf内容的函数，给你参考一下，希望有帮助。

额其实我是想问怎么写统计词频的code啦，输出是单词加频数

喜欢吃菠菜

1. from pdfminer.pdfinterp import PDFResourceManager,process_pdf
   
2. from pdfminer.converter import TextConverter
   
3. from pdfminer.layout import LAParams
   
4. from io import StringIO
   
5. from io import open
   
6. # 读取pdf的函数，返回内容
   
7. def readPdf(pdf_file):
   
8.     rsrcmgr = PDFResourceManager()
   
9.     retstr = StringIO()
   
10.     laparams = LAParams()
    
11.     device = TextConverter(rsrcmgr=rsrcmgr, outfp=retstr, laparams=laparams)
    
12.     process_pdf(rsrcmgr=rsrcmgr, device=device, fp=pdf_file)
    
13.     device.close()
    
14.     content = retstr.getvalue()
    
15.     retstr.close()
    
16.     return content
    
17. 
    
18. if __name__=='__main__':
    
19.     pdffile=open(r'c:\temp\ilovethisgame.pdf','rb')
    
20.     s=readPdf(pdffile)
    
21.     import re
    
22.     from collections import Counter
    
23.     pattern=re.compile(r'\w+',re.RegexFlag.I)
    
24.     words=pattern.findall(s)
    
25.     words_count=Counter(words)
    
26.     print(words_count)

复制代码

把我的文件：c:\temp\ilovethisgame.pdf换成你自己的文件试试看。

离别ai殇

喜欢吃菠菜 发表于 2018-11-13 14:38
把我的文件：c:\temp\ilovethisgame.pdf换成你自己的文件试试看。

请问用的是哪版python，报错说pdfminer这个包没有

喜欢吃菠菜

离别ai殇 发表于 2018-11-14 08:03
请问用的是哪版python，报错说pdfminer这个包没有

标准库是打不开pdf文件的，跟你说了要安装第三方库的。
在cmd命令行模式下：
pip install pdfminer3k

考拉熊

过来顶一下