关于TensorFlow的tfrecord文件生成问题

kidcad

1. import tensorflow as tf
   
2. import os
   
3. import random
   
4. import math
   
5. import sys
   
6. from PIL import Image
   
7. import numpy as np
   
8. 
   
9. # 验证集数量
   
10. _NUM_TEST = 500
    
11. # 随机种子
    
12. _RANDOM_SEED = 0
    
13. # 数据集路径
    
14. DATASET_DIR = "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/captcha/images"
    
15. # tfrecord文件存放路径
    
16. TFRECORD_DIR = "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/captcha/"
    
17. 
    
18. 
    
19. # 判断tfrecord文件是不是存在
    
20. def _dataset_exists(dataset_dir):
    
21.     for split_name in ['train', 'test']:
    
22.         output_filename = os.path.join(dataset_dir, split_name + '.tfrecords')
    
23.         if not tf.gfile.Exists(output_filename):
    
24.             return False
    
25.     return True
    
26. 
    
27. 
    
28. # 获取所有的验证码图片
    
29. def _get_filenames_and_classes(dataset_dir):
    
30.     photo_filenames = []
    
31.     for filename in os.listdir(dataset_dir):
    
32.         path = os.path.join(dataset_dir, filename)
    
33.         photo_filenames.append(path)
    
34.     return photo_filenames
    
35. 
    
36. 
    
37. def int64_feature(values):
    
38.     if not isinstance(values, (tuple, list)):
    
39.         values = [values]
    
40.     return tf.train.Feature(int64_list=tf.train.Int64List(value=values))
    
41. 
    
42. 
    
43. def bytes_feature(values):
    
44.     return tf.train.Feature(bytes_list=tf.train.BytesList(value=[values]))
    
45. 
    
46. 
    
47. def image_to_tfexample(image_data, label0, label1, label2, label3):
    
48.     return tf.train.Example(features=tf.train.Features(feature={
    
49.         'image': bytes_feature(image_data),
    
50.         'label0': int64_feature(label0),
    
51.         'label1': int64_feature(label1),
    
52.         'label2': int64_feature(label2),
    
53.         'label3': int64_feature(label3),
    
54.     }))
    
55. 
    
56. 
    
57. # 把数据转为tfrecord格式
    
58. def _convert_dataset(split_name, filenames, dataset_dir):
    
59.     assert split_name in ['train', 'test']
    
60. 
    
61.     with tf.Session() as sess:
    
62.         # 定义tfrecord文件的路径和名字
    
63.         output_filename = os.path.join(TFRECORD_DIR, split_name + '.tfrecords')
    
64.         with tf.python_io.TFRecordWriter(output_filename) as tfrecord_writer:
    
65.             for i,filename in enumerate(filenames):
    
66.                 try:
    
67.                     sys.stdout.write('\r>> Converting image %d/%d' % (i+1, len(filenames)))
    
68.                     sys.stdout.flush()
    
69. 
    
70.                     # 读取照片
    
71.                     image_data = Image.open(filename)
    
72.                     # 根据模型的结构resize
    
73.                     image_data = image_data.resize((224, 224))
    
74.                     # 灰度化
    
75.                     image_data = np.array(image_data.convert('L'))
    
76.                     image_data = image_data.tobytes()
    
77. 
    
78.                     # 获取labels
    
79.                     labels = filename.split('/')[-1][0:4]
    
80.                     num_labels = []
    
81.                     for j in range(4):
    
82.                         num_labels.append(labels[j])
    
83. 
    
84.                     # 生成protocol数据类型
    
85.                     example = image_to_tfexample(image_data, num_labels[0], num_labels[1], num_labels[2], num_labels[3])
    
86.                     tfrecord_writer.write(example.SerializeToString())
    
87. 
    
88. 
    
89.                 except IOError as e:
    
90.                     print('could not read: ', filename)
    
91.                     print('error: ', e)
    
92.                     print('skip it \n')
    
93.     sys.stdout.write('\n')
    
94. 
    
95. 
    
96. 
    
97. 
    
98. if _dataset_exists(TFRECORD_DIR):
    
99.     print("wenjiancunzai")
    
100. else:
     
101.     # 获取所有的图片
     
102.     photo_filenames = _get_filenames_and_classes(DATASET_DIR)
     
103. 
     
104.     # 把数据切分为训练集和测试机斌打乱
     
105.     random.seed(_RANDOM_SEED)
     
106.     random.shuffle(photo_filenames)
     
107.     training_filenames = photo_filenames[_NUM_TEST:]
     
108.     testing_filenames = photo_filenames[:_NUM_TEST]
     
109. 
     
110.     # 数据转化
     
111.     _convert_dataset('train', training_filenames, DATASET_DIR)
     
112.     _convert_dataset('test', testing_filenames, DATASET_DIR)
     
113.     print('生成tfrecord文件')

复制代码

报错

1. Converting image 1/3448Traceback (most recent call last):
   
2.   File "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/class9-2nsdn.py", line 111, in <module>
   
3.     _convert_dataset('train', training_filenames, DATASET_DIR)
   
4.   File "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/class9-2nsdn.py", line 85, in _convert_dataset
   
5.     example = image_to_tfexample(image_data, num_labels[0], num_labels[1], num_labels[2], num_labels[3])
   
6.   File "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/class9-2nsdn.py", line 50, in image_to_tfexample
   
7.     'label0': int64_feature(label0),
   
8.   File "F:/holiday_study/tensorflow_1/class3-2/mnist/mnist/class9-2nsdn.py", line 40, in int64_feature
   
9.     return tf.train.Feature(int64_list=tf.train.Int64List(value=values))
   
10. TypeError: 'i' has type str, but expected one of: int, long

复制代码

查了一些解决方法还是没解决。。。。求助各位大佬

塔利班

for j in range(4):
                        num_labels.append(int(labels[j]))

Charles未晞

看错误提示啊，传入int64_feature函数的values必须是int或者long类型的，不能是str类型的，可以强制转换一下。

kidcad

塔利班 发表于 2019-2-17 22:30
for j in range(4):
                        num_labels.append(int(labels[j]))

invalid literal for int() with base 10: 'i'

强制转换会报这个错

塔利班

kidcad 发表于 2019-2-19 10:35
invalid literal for int() with base 10: 'i'

强制转换会报这个错

那是你的filename有问题，不能这么分割，你看看你的filename要不要处理下