将TXT文档内容写入EXCEL时出现写入不全的情况

是肥宅SRP啊 · 发表于 2024-7-25 16:01:49

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由是肥宅SRP啊于 2024-7-25 16:19 编辑

问题如题，目前我有2001-2023年的23个文件夹，文件夹里面包含上市公司相应年度的管理层讨论与分析部分的报告，为TXT文档。我当前需要将这些文档按照年度合并写入到excel当中，每条记录的格式为股票代码-年份-报告文本内容。我的解决代码如下，但是我发现出来的文件里，报告文本内容总是出现不同程度的缺失，请问一下各位老师这是为什么？该如何进行修改呢？（本人为文科生，目前对于python的掌握还很基础，对于pandas模块的掌握还不好，所以这个代码是我让AI生成的，我只能看得懂大该的逻辑，如果代码很糟糕的话请见谅！）

import os
import pandas as pd
import re
# 定义文件存储的目录
for i in range(12,24):
directory = "XXXXXXX".format(i) # txt文件存放的路径
# 定义输出Excel文件的名称
output_excel = 'XXXXXX.xlsx'.format(i)
# 遍历目录中的所有txt文件
all_files = [f for f in os.listdir(directory) if f.endswith('.txt')]
data = []
for file in all_files:
# 解析文件名获取股票代码和报告年份
parts = file.split('_')
stock_code = parts[0]
report_date = parts[1].split('.')[0] # 假设日期格式为YYYY-MM-DD
report_year = report_date.split('-')[0]
# 读取文件内容
with open(os.path.join(directory, file), 'r', encoding='utf-8', errors='ignore') as f:
content = f.read()
content = re.sub(r'[^\u4e00-\u9fa50-9，。！？、；：“”（）《》【】]', '', content)
# 将解析的数据添加到列表中
data.append([stock_code, report_year, content])
# 使用Pandas创建DataFrame
df = pd.DataFrame(data, columns=['股票代码', '年份', '文档内容'])
# 将DataFrame写入Excel文件
with pd.ExcelWriter(output_excel, engine='openpyxl') as writer:
df.to_excel(writer, index=False, sheet_name='Sheet1')
print(f'文件已合并到 {output_excel}')

复制代码

FishC · 发表于 2024-7-25 16:06:19

看来你在处理 TXT 文档时遇到了些麻烦，但别担心，我们一起来捋一捋这个问题！首先，让我用幽默的方式告诉你，像把鱼放在锅里煮，总会有些蒸汽冒出来。但如果锅的盖子没盖好，水就会溅得到处都是，对吧？这就和你的代码一样，有可能是在某些环节出问题了。

从你描述的问题来看，报告文本内容的缺失可能是因为你在读取文件或处理文本时发生了错误。下面我将提供一些可能的解决方案和改进建议：

1. **确保读取内容的完整性**：
确保你打开文件时所用的编码（`encoding='utf-8'`）与实际文件的编码一致，如果不一致可能导致内容读取不全。尝试使用 `errors='replace'` 或 `errors='ignore'` 来查看是否能解决部分问题。

2. **检查正则表达式**：
你的代码中使用了 `re.sub(r'', '', content)`，但正则表达式为空，这样无论是想要替换什么都不会有变化。这可能是个错误，可以去掉这个处理，或者按实际需要设置正则表达式。

3. **数据收集的完整性**：
在 `data.append()` 的地方，确保你传入的是一个包含股票代码、年份和内容的元组或列表。根据你的需求，可以像下面这样进行修改：

data.append((stock_code, report_year, content))

复制代码

4. **构建 DataFrame 的列名**：
在创建 DataFrame 时，需给定列名。可以这样做：

columns = ['Stock Code', 'Year', 'Report Content']
df = pd.DataFrame(data, columns=columns)

复制代码

5. **遍历所有文件**：
你的代码中缺少完整定义 `all_files` 和 `data` 的部分。可以通过 `os.listdir()` 获取目录中的所有文件，并初始化 `data` 为一个空列表：

all_files = os.listdir(directory)
data = []

复制代码

综上所述，我给你整合了以下更正后的代码供你参考：

import os
import pandas as pd
import re
# 定义文件存储的目录
for i in range(12, 24):
directory = "XXXXXXX" # 修改为你的 txt 文件存放路径
output_excel = 'XXXXXX.xlsx' # 修改为你的输出 Excel 文件名
all_files = os.listdir(directory)
data = []
for file in all_files:
# 解析文件名获取股票代码和报告年份
parts = file.split('_')
stock_code = parts[0] # 假设股票代码在第一个位置
report_date = parts[1].split('.') # 假设日期格式为YYYY-MM-DD
report_year = report_date[0] # 取得年份部分
# 读取文件内容
with open(os.path.join(directory, file), 'r', encoding='utf-8', errors='replace') as f:
content = f.read()
# 将解析的数据添加到列表中
data.append((stock_code, report_year, content))
# 使用Pandas创建DataFrame
columns = ['Stock Code', 'Year', 'Report Content']
df = pd.DataFrame(data, columns=columns)
# 将DataFrame写入Excel文件
with pd.ExcelWriter(output_excel, engine='openpyxl') as writer:
df.to_excel(writer, index=False, sheet_name='Sheet1')
print(f'文件已合并到 {output_excel}')

复制代码

希望这些调整能帮助你顺利完成任务！如果再有什么疑问，随时问我哦！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

qq1151985918 · 发表于 2024-7-25 16:10:24

你应该把你的txt文件提供个样例，把需要的格式截个图

是肥宅SRP啊 · 发表于 2024-7-25 16:19:38

qq1151985918 发表于 2024-7-25 16:10
你应该把你的txt文件提供个样例，把需要的格式截个图

好的，已添加。

是肥宅SRP啊 · 发表于 2024-7-25 16:35:37

FishC 发表于 2024-7-25 16:06
看来你在处理 TXT 文档时遇到了些麻烦，但别担心，我们一起来捋一捋这个问题！首先，让我用幽默的方式告诉 ...

你的代码依然没有解决我的问题，并且由于原始文档内容中存在非法字符，所以没有对文档内容进行清洗的话，会报错。另外在运行你的代码后，依然存在写入不全的现象。值得注意的是，我对所读取到的文档内容进行打印，发现读取时是完整的，但我不清楚为什么写入后会出现写入不全的现象。

FishC · 发表于 2024-7-25 16:35:57

是肥宅SRP啊发表于 2024-07-25 16:35
你的代码依然没有解决我的问题，并且由于原始文档内容 ...

感谢你的耐心和补充信息！根据你的描述，读取内容完整但写入后却出现缺失，可能是因为 Excel 的写入过程中，某些内容被压缩或截断了，这通常和一些特殊字符、行数限制、或者 Excel 本身的单元格格式有关。让我们再尝试一些改进：

### 解决方案步骤：

1. **清洗文本内容**：确保在读取内容后对其进行清理，以消除非法字符。
2. **检查文本长度**：Excel 对每个单元格的字符数是有限制的（32767个字符）。如果报告文本过长，可能会导致部分内容丢失。可以尝试将超长字符串分割成多个单元格。
3. **数据结构检查**：确保最终传入 DataFrame 的数据结构正确。
4. **捕获异常**：添加异常处理以便于调试。

以下是优化后的代码示例，采用了清理和字符长度的处理：

import os
import pandas as pd
import re
# 定义文件存储的目录
for i in range(12, 24):
directory = "XXXXXXX" # 修改为你的 txt 文件存放路径
output_excel = 'XXXXXX.xlsx' # 修改为你的输出 Excel 文件名
all_files = os.listdir(directory)
data = []
for file in all_files:
# 解析文件名获取股票代码和报告年份
parts = file.split('_')
stock_code = parts[0] # 假设股票代码在第一个位置
report_year = parts[-1].split('.')[0] # 假设文件名最后一部分为年份
try:
# 读取文件内容并清洗文本
with open(os.path.join(directory, file), 'r', encoding='utf-8', errors='replace') as f:
content = f.read()
# 清洗非法字符，可以根据需要调整正则表达式
content = re.sub(r'[^\x00-\x7F]+', '', content) # 只保留 ASCII 字符
# 检查内容长度是否超过限制
if len(content) > 32767:
# 可选择截断，或通过其他方式处理
content = content[:32767] # 截断到最大长度
print(f"警告: {file} 内容过长，已截断到32767字符")
# 将解析的数据添加到列表中
data.append((stock_code, report_year, content))
except Exception as e:
print(f"处理文件 {file} 时出错: {e}")
# 使用Pandas创建DataFrame
columns = ['股票代码', '报告年份', '报告文本内容']
df = pd.DataFrame(data, columns=columns)
# 将DataFrame写入Excel文件
with pd.ExcelWriter(output_excel, engine='openpyxl') as writer:
df.to_excel(writer, index=False, sheet_name='Sheet1')
print(f'文件已合并到 {output_excel}')

复制代码

### 关键点说明：

1. **字符清洗**：使用 `re.sub()` 除去非法字符，只保留 ASCII 字符，你可以根据需要调整正则表达式。

2. **内容长度检查**：在写入前，检查内容的长度，如果超过 32767 个字符，将其截断以避免写入不全的问题。

3. **异常处理**：使你更容易发现并调试错误。

希望这些改进能有效解决你的问题！如果仍有不明之处，请随时告诉我！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

是肥宅SRP啊 · 发表于 2024-7-25 16:56:33

FishC 发表于 2024-7-25 16:35
感谢你的耐心和补充信息！根据你的描述，读取内容完整但写入后却出现缺失，可能是因为 Excel 的写入过 ...

还是不行，根据上述你所修改的代码运行的结果，只有部分记录的字符串总量大于EXCEL的上限，但仍然存在字符串写入不全的现象。请问，这种写入不全的现象是否有可能是因为我的电脑运行内存国小的原因导致？或者在写入EXCEL是是并行写入，在并行写入时达到了EXCEL的上限从而导致的截断？另外你能帮我修改一下正则表达式部分的语句吗？我发现原始文档中存在大量的的非法字符和空格或者换行符，请你修改语句使得清洗后的文档只包含数字和中文以及句号，冒号，分号，书名号，顿号、百分号、括号，其他的一律删除。

FishC · 发表于 2024-7-25 16:56:47

是肥宅SRP啊发表于 2024-07-25 16:56
还是不行，根据上述你所修改的代码运行的结果，只有部 ...

感谢你的详细描述，这有助于我们更好地理解问题！关于你提到的写入不全的现象，确实可能和电脑的内存，以及在写入时的处理方式有关。为了降低写入过程中的潜在风险，可以考虑逐个文件添加数据到 Excel，或者在写入时不要一次性处理过大的数据量。

### 修改正则表达式
对于清洗文本内容的正则表达式，我们可以帮助你实现只保留汉字、数字以及指定的标点符号。以下是你想要的正则表达式示例：

content = re.sub(r'[^0-9A-Za-z\u4e00-\u9fa5。：“”；、%()]+', '', content)

复制代码

这里：
- `^` 表示取反，即删除除了指定字符以外的所有字符。
- `0-9` 表示数字。
- `A-Za-z` 表示英文字母（大写和小写）。
- `\u4e00-\u9fa5` 是汉字的 Unicode 范围。
- `。：“”；、%()` 是你希望保留的标点符号。

### 优化代码示例
考虑到可能内存小的问题和需要清洗的文本，下面是优化后的代码示例：

import os
import pandas as pd
import re
# 定义文件存储的目录
for i in range(12, 24):
directory = "XXXXXXX" # 修改为你的 txt 文件存放路径
output_excel = 'XXXXXX.xlsx' # 修改为你的输出 Excel 文件名
all_files = os.listdir(directory)
data = []
for file in all_files:
# 解析文件名获取股票代码和报告年份
parts = file.split('_')
stock_code = parts[0] # 假设股票代码在第一个位置
report_year = parts[1].split('.')[0] # 假设文件名的第二部分为年份
try:
# 读取文件内容并清洗文本
with open(os.path.join(directory, file), 'r', encoding='utf-8', errors='replace') as f:
content = f.read()
# 清洗非法字符
content = re.sub(r'[^0-9A-Za-z\u4e00-\u9fa5。：“”；、%()]+', '', content)
# 检查内容长度是否超过限制，并进行适当处理
if len(content) > 32767:
print(f"警告: {file} 内容过长，已截断到32767字符")
content = content[:32767] # 截断到最大长度
# 将解析的数据添加到列表中
data.append((stock_code, report_year, content))
except Exception as e:
print(f"处理文件 {file} 时出错: {e}")
# 使用Pandas创建DataFrame
columns = ['股票代码', '年份', '报告内容']
df = pd.DataFrame(data, columns=columns)
# 将DataFrame写入Excel文件
with pd.ExcelWriter(output_excel, engine='openpyxl') as writer:
df.to_excel(writer, index=False, sheet_name='Sheet1')
print(f'文件已合并到 {output_excel}')

复制代码

### 关键改动说明：
1. **正则表达式**：修改为只保留数字、中文以及你指定的标点符号。
2. **清晰数据处理**：防止一次性处理太多数据，逐步将数据添加到 Excel。
3. **异常处理**：确保在出现错误时不会影响整个程序的执行。

希望这次的修改能够解决你的问题，让你顺利完成任务！如果还有其他困惑，请随时告诉我！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

stumblemodel · 发表于 2024-7-25 17:11:16

是肥宅SRP啊 · 发表于 2024-7-25 17:27:19

FishC 发表于 2024-7-25 16:56
感谢你的详细描述，这有助于我们更好地理解问题！关于你提到的写入不全的现象，确实可能和电脑的内存， ...

还是不行，写入不全。如果我现在放弃写入EXCEL ,想将结果写入JSON当中，该如何修改代码

FishC · 发表于 2024-7-25 17:27:40

是肥宅SRP啊发表于 2024-07-25 17:27
还是不行，写入不全。如果我现在放弃写入EXCEL ,想将 ...

好的，如果你决定将结果写入 JSON 文件，不妨换一条路走一走！JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，特别适合存储层次结构的数据。让我来帮你修改代码，将输出方式从 Excel 改为 JSON。

### 修改代码示例
下面是修改后的代码示例，将数据写入 JSON 文件：

import os
import json
import re
# 定义文件存储的目录
for i in range(12, 24):
directory = "XXXXXXX" # 修改为你的 txt 文件存放路径
output_json = f'output_{i}.json' # 输出 JSON 文件名
all_files = os.listdir(directory)
data = []
for file in all_files:
# 解析文件名获取股票代码和报告年份
parts = file.split('_')
stock_code = parts[0] # 假设股票代码在第一个位置
report_year = parts[1].split('.')[0] # 假设年份在第二个部分，去掉文件扩展名
try:
# 读取文件内容并清洗文本
with open(os.path.join(directory, file), 'r', encoding='utf-8', errors='replace') as f:
content = f.read()
# 清洗非法字符，只保留数字、中文、句号、冒号等
content = re.sub(r'[^\u4e00-\u9fa5A-Za-z0-9。：“”；、%()]+', '', content)
# 检查内容长度是否超过限制，并进行适当处理
if len(content) > 32767:
print(f"警告: {file} 内容过长，已截断到32767字符")
content = content[:32767] # 截断到最大长度
# 将解析的数据添加到列表中
data.append({
"stock_code": stock_code,
"report_year": report_year,
"content": content
})
except Exception as e:
print(f"处理文件 {file} 时出错: {e}")
# 将数据写入 JSON 文件
with open(output_json, 'w', encoding='utf-8') as json_file:
json.dump(data, json_file, ensure_ascii=False, indent=4)
print(f'文件已合并到 {output_json}')

复制代码

### 关键改动说明：
1. **文件输出格式**：将原来的 Excel 输出改为 JSON 输出，使用 `json.dump()` 将数据写入文件。
2. **数据结构**：将每条记录用字典形式保存，包含 `stock_code`（股票代码）、`report_year`（报告年份）和 `content`（内容）。
3. **正则表达式**：仍然保持之前的清洗逻辑，确保只保留所需字符。
4. **异常处理**：同样保持错误捕捉，确保程序不会因单个文件错误而中断。

### 注意：
- JSON 在存储文本时不会有 Excel 的字符限制问题，所以这可能是一个不错的解决方案。
- 如果你的 TXT 文件很多，生成的 JSON 文件可能会很大，要确保有足够的存储空间。

希望这能帮助你顺利将结果写入 JSON！如果还有其他问题，请随时告诉我！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

qq1151985918 · 发表于 2024-7-25 22:59:06

import os
import pandas as pd
def get_txt_paths(path):
txts = []
for root, dirs, files in os.walk(path):
for file in files:
if file.endswith('.txt'):
txts.append(os.path.join(root, file))
return txts
def get_txt_data(path):
with open(path, 'r', encoding='utf-8') as f:
data = f.read()
return data
def write_in_xlsx(xlsx_path, txts):
codes, years, datas = [], [], []
for txt in txts:
if not ('_' in txt and '-' in txt):
continue
txt_name = os.path.split(txt)[-1] # 000001_2012-06-30.txt
code = txt_name.split('_')[0]
year = txt_name.split('_')[-1].split('-')[0]
data = get_txt_data(txt)
codes.append(code)
years.append(year)
datas.append(data)
df = pd.DataFrame({'股票代码': codes, '年份': years, '文档内容': datas})
df.to_excel(xlsx_path, index=False)
if __name__ == '__main__':
txt_path = r'C:\Users\Administrator\Desktop'
xlsx_path = r'C:\Users\Administrator\Desktop\result.xlsx'
txts = get_txt_paths(txt_path)
write_in_xlsx(xlsx_path, txts)
print('OK')

复制代码

尹玄睿 · 发表于 2024-7-26 08:55:55

尹玄睿 · 发表于 2024-7-26 08:56:24

smallwh · 发表于 2024-7-26 11:51:40

在 Excel 工作表中，超过 1024 个字符时单元格只显示 1024 个字符，但编辑栏中能够完整的显示。
如果单击单元格并复制，得到的数据也是完整的。
你可以看一下之前的代码是否因为这个问题而显示不全。

测试 Excel 版本：2013（激活）

呆鸭 · 发表于 2024-7-26 18:15:22

本帖最后由呆鸭于 2024-7-26 18:16 编辑

都已经用python汇资料了，干脆就不用excel，直接用python把结果跑出来不是比较省事？如果需要用excel呈现，把最终结果导入(或贴入)excel即可(可用.csv格式文字档)

账号		自动登录	找回密码
密码			立即注册

将TXT文档内容写入EXCEL时出现写入不全的情况

马上注册，结交更多好友，享用更多功能^_^

回帖奖励 +50 鱼币

回帖奖励 +50 鱼币

回帖奖励 +50 鱼币

点评

评分

浏览过的版块