[已解决]了解一下有关用Python提取PDF当中表格的问题

wlp1818100227

import pdfplumber
import pandas as pd
pd.set_option("display.max_columns",None)

pdf_path = "乐清湾盐沼湿地有机碳密度及碳储量估算_陈雅慧.pdf"
pdf = pdfplumber.open(pdf_path)

def read_page(page):
    tables = page.extract_tables() # 提取当前页的表格
    for i in range(len(tables)):
        table = tables[i]
        for i in range(len(table)):
            for j in range(len(table[i])):
                table[i][j] = table[i][j].replace('\n','') # 替换换行符
        df.pd.DataFrame(table[1:], columns=table[0])
        print(df)
        df.to_csv('stu_info.csv',mode = "a", endcoding = 'utf-8',index = False)
        print(str(i) + '表格提取成功')
        print("\n")
        
pages = pdf.pages

for k in range(len(pages)):
    page = pages[k]
    print("page" + str(k) + '正在解析')
    try:
        read_page(page)
    except Exception as err:
        print(err)
        print('无表格')

pdf.close()



以上是我看教程学的一段提取PDF当中表格的代码，但是这个代码在遇到双栏的PDF时就不好用了，请问大家有对于这个问题有什么解决方法吗

最佳答案

月排行榜 / 总排行榜

陶远航

2023-5-1 16:37:42

当你需要从PDF文件中提取表格数据时，Python中有多个库可以实现此功能。其中最常用的是tabula-py和pdfplumber。下面是一个使用pdfplumber库提取PDF中表格数据的示例代码，它可以将PDF中的表格转换为DataFrame并将其保存为CSV文件。

1. import pdfplumber
   
2. import pandas as pd
   
3. 
   
4. pdf_path = "example.pdf"
   
5. pdf = pdfplumber.open(pdf_path)
   
6. 
   
7. def read_page(page):
   
8.     tables = page.extract_tables() # 提取当前页的表格
   
9.     for table in tables:
   
10.         for i in range(len(table)):
    
11.             for j in range(len(table[i])):
    
12.                 table[i][j] = table[i][j].replace('\n','') # 替换换行符
    
13.         df = pd.DataFrame(table[1:], columns=table[0])
    
14.         print(df)
    
15.         df.to_csv('output.csv', mode='a', encoding='utf-8', index=False)
    
16.         print("表格提取成功")
    
17.         print("\n")
    
18. 
    
19. pages = pdf.pages
    
20. 
    
21. for k in range(len(pages)):
    
22.     page = pages[k]
    
23.     print("page" + str(k) + '正在解析')
    
24.     try:
    
25.         read_page(page)
    
26.     except Exception as err:
    
27.         print(err)
    
28.         print('无表格')
    
29. 
    
30. pdf.close()

复制代码

在这个示例代码中，pdfplumber库用于打开PDF文件，extract_tables()方法用于从页面中提取表格，将表格转换为DataFrame格式，然后通过调用to_csv()方法将数据保存到CSV文件中。read_page()函数将用于处理每一页，将表格转换为DataFrame并保存到CSV文件中。

需要注意的是，在实际应用中，PDF文件的格式可能各不相同，因此在解析PDF文件时可能需要进行一些调整以确保数据正确提取。

跳转到最佳答案楼层

isdkz

遇到双栏PDF时，pdfplumber可能无法准确识别表格。在这种情况下，我们可以尝试使用camelot库，这是一个专门用于解析表格的Python库，可以更好地处理复杂的表格布局，如双栏表格。

首先，确保已安装camelot库：

1. pip install camelot-py[cv]
   

复制代码

接下来，使用camelot替换pdfplumber以解析表格。这是一个使用camelot的示例代码：

1. import camelot
   
2. import pandas as pd
   
3. 
   
4. pd.set_option("display.max_columns", None)
   
5. 
   
6. pdf_path = "乐清湾盐沼湿地有机碳密度及碳储量估算_陈雅慧.pdf"
   
7. 
   
8. def read_page(page_number):
   
9.     tables = camelot.read_pdf(pdf_path, flavor="stream", pages=str(page_number), strip_text='\n')
   
10.     for table in tables:
    
11.         df = table.df
    
12.         print(df)
    
13.         df.to_csv('stu_info.csv', mode="a", encoding='utf-8', index=False)
    
14.         print(f"{page_number}页的表格提取成功\n")
    
15. 
    
16. # 获取PDF页数
    
17. total_pages = camelot.utils.get_page_count(pdf_path)
    
18. 
    
19. # 处理每一页
    
20. for page in range(1, total_pages + 1):
    
21.     print(f"page {page} 正在解析")
    
22.     try:
    
23.         read_page(page)
    
24.     except Exception as err:
    
25.         print(err)
    
26.         print('无表格')
    

复制代码

请注意，这里使用了 camelot.read_pdf() 函数，并将参数flavor设置为"stream"，以便更好地处理双栏表格。此外，我们还使用了 strip_text 参数来删除换行符。虽然camelot可能更适合处理复杂的表格布局，但它可能不如pdfplumber灵活。因此，在解决特定问题时，请根据实际需求选择合适的库。

陶远航

看看

陶远航

当你需要从PDF文件中提取表格数据时，Python中有多个库可以实现此功能。其中最常用的是tabula-py和pdfplumber。下面是一个使用pdfplumber库提取PDF中表格数据的示例代码，它可以将PDF中的表格转换为DataFrame并将其保存为CSV文件。

1. import pdfplumber
   
2. import pandas as pd
   
3. 
   
4. pdf_path = "example.pdf"
   
5. pdf = pdfplumber.open(pdf_path)
   
6. 
   
7. def read_page(page):
   
8.     tables = page.extract_tables() # 提取当前页的表格
   
9.     for table in tables:
   
10.         for i in range(len(table)):
    
11.             for j in range(len(table[i])):
    
12.                 table[i][j] = table[i][j].replace('\n','') # 替换换行符
    
13.         df = pd.DataFrame(table[1:], columns=table[0])
    
14.         print(df)
    
15.         df.to_csv('output.csv', mode='a', encoding='utf-8', index=False)
    
16.         print("表格提取成功")
    
17.         print("\n")
    
18. 
    
19. pages = pdf.pages
    
20. 
    
21. for k in range(len(pages)):
    
22.     page = pages[k]
    
23.     print("page" + str(k) + '正在解析')
    
24.     try:
    
25.         read_page(page)
    
26.     except Exception as err:
    
27.         print(err)
    
28.         print('无表格')
    
29. 
    
30. pdf.close()

复制代码

在这个示例代码中，pdfplumber库用于打开PDF文件，extract_tables()方法用于从页面中提取表格，将表格转换为DataFrame格式，然后通过调用to_csv()方法将数据保存到CSV文件中。read_page()函数将用于处理每一页，将表格转换为DataFrame并保存到CSV文件中。

需要注意的是，在实际应用中，PDF文件的格式可能各不相同，因此在解析PDF文件时可能需要进行一些调整以确保数据正确提取。

wlp1818100227

isdkz 发表于 2023-5-1 16:24
遇到双栏PDF时，pdfplumber可能无法准确识别表格。在这种情况下，我们可以尝试使用camelot库，这是一个专门 ...

这段代码说Ghostscript is not installed 我用pip 安装了，但是还是显示没安装，是说得单独安装吗

isdkz

wlp1818100227 发表于 2023-5-1 16:51
这段代码说Ghostscript is not installed 我用pip 安装了，但是还是显示没安装，是说得单独安装吗

是的，Ghostscript是一个单独的程序，需要在系统中单独安装。camelot库在后台使用Ghostscript来处理PDF文件，因此在使用camelot之前，需要确保已经安装了Ghostscript。

请根据您的操作系统安装Ghostscript：

1. 对于Windows用户：
    · 访问Ghostscript的官方下载页面：https://www.ghostscript.com/download/gsdnld.html
    · 选择适合您的系统（32位或64位）的Windows版本，并点击下载。
    · 下载完成后，运行安装程序并按照提示进行安装。
    · 最后，请确保将Ghostscript的可执行文件路径添加到系统的PATH环境变量中。

2. 对于macOS用户：
    · 如果您已经安装了Homebrew，只需在终端中运行以下命令：
      

1.         brew install ghostscript
   
2.         

复制代码

    · 如果没有安装Homebrew，请访问Ghostscript官方下载页面下载并安装适合您的macOS系统的版本：https://www.ghostscript.com/download/gsdnld.html

3. 对于Linux用户：
    · 在终端中运行以下命令（取决于您的Linux发行版）：
        · Debian/Ubuntu：
           

1.             sudo apt-get install ghostscript
   
2.             

复制代码

        · Fedora：
           

1.             sudo dnf install ghostscript
   
2.             

复制代码

        · CentOS/RHEL：
           

1.             sudo yum install ghostscript
   
2.             

复制代码

安装完成后，您的系统应该可以正常使用camelot库了。如果仍然遇到问题，请确保Ghostscript的可执行文件路径已添加到系统的PATH环境变量中。

sfqxx

鱼币呢

sfqxx

当遇到双栏的PDF时，提取表格可能会出现问题，因为每一页中的文本内容不一定按照水平顺序排列。您可以尝试通过指定table_settings参数来解决这个问题。例如，您可以设置一个表格边缘的左和右坐标，使其适应页面的宽度。下面是一个修改后的代码示例：

1. 
   
2. import pdfplumber
   
3. import pandas as pd
   
4. pd.set_option("display.max_columns",None)
   
5. 
   
6. pdf_path = "乐清湾盐沼湿地有机碳密度及碳储量估算_陈雅慧.pdf"
   
7. pdf = pdfplumber.open(pdf_path)
   
8. 
   
9. def read_page(page):
   
10.     tables = page.extract_tables(table_settings={
    
11.         'vertical_strategy': 'lines',
    
12.         'horizontal_strategy': 'text',
    
13.         'explicit_vertical_lines': [],
    
14.         'explicit_horizontal_lines': [],
    
15.         'snap_tolerance': 0.01,
    
16.         'join_tolerance': 0.1,
    
17.         'edge_min_length': 2,
    
18.         'min_words_vertical': 10,
    
19.         'min_words_horizontal': 1,
    
20.         'keep_blank_chars': False,
    
21.         'text_tolerance': 0.3,
    
22.         'text_x_tolerance': None,
    
23.         'text_y_tolerance': None,
    
24.         'intersection_tolerance': 0.5,
    
25.         'intersection_x_tolerance': None,
    
26.         'intersection_y_tolerance': None,
    
27.     }) # 添加table_setting参数进行调整
    
28.     for i in range(len(tables)):
    
29.         table = tables
    
30.         for i in range(len(table)):
    
31.             for j in range(len(table)):
    
32.                 table[j] = table[j].replace('\n','') # 替换换行符
    
33.         df.pd.DataFrame(table[1:], columns=table[0])
    
34.         print(df)
    
35.         df.to_csv('stu_info.csv',mode = "a", endcoding = 'utf-8',index = False)
    
36.         print(str(i) + '表格提取成功')
    
37.         print("\n")
    
38.         
    
39. pages = pdf.pages
    
40. 
    
41. for k in range(len(pages)):
    
42.     page = pages[k]
    
43.     print("page" + str(k) + '正在解析')
    
44.     try:
    
45.         read_page(page)
    
46.     except Exception as

复制代码

wlp1818100227

isdkz 发表于 2023-5-1 16:54
是的，Ghostscript是一个单独的程序，需要在系统中单独安装。camelot库在后台使用Ghostscript来处理PDF文 ...

弄弄的GPT的味道哈哈哈

isdkz

wlp1818100227 发表于 2023-5-1 16:59
弄弄的GPT的味道哈哈哈

wlp1818100227

sfqxx 发表于 2023-5-1 16:58
当遇到双栏的PDF时，提取表格可能会出现问题，因为每一页中的文本内容不一定按照水平顺序排列。您可以尝试 ...

__init__() got an unexpected keyword argument 'keep_blank_chars' 报这个错了

sfqxx

这个错误通常发生在使用 `django.contrib.auth.forms.AuthenticationForm` 类或类似的表单类时，该表单类接受了名为 `keep_blank_chars` 的参数，但是该参数在其父类中没有定义。

一种解决方法是在实例化表单类时不传递 `keep_blank_chars` 参数。例如：


form = AuthenticationForm(data=request.POST)

如果仍然遇到相同的错误，请检查您的 Django 版本是否与所用示例的版本不同。有时，更新版本可能会导致某些代码无法正常工作。

另外，您也可以尝试重新安装 Django 并确保所有依赖项已正确安装。