通过tensorflow读取数据

alltolove

        tensorflow读取数据的方法很多，有多线程队列的方法：

1. import tensorflow as tf  
   
2. import sys  
   
3. q = tf.FIFOQueue(10, "float")  
   
4. counter = tf.Variable(0.0)  #计数器
   
5. # 给计数器加一
   
6. increment_op = tf.assign_add(counter, 1.0)
   
7. # 将计数器加入队列
   
8. enqueue_op = q.enqueue(counter)
   
9. 
   
10. # 创建QueueRunner
    
11. # 用多个线程向队列添加数据
    
12. # 这里实际创建了4个线程，两个增加计数，两个执行入队
    
13. qr = tf.train.QueueRunner(q, enqueue_ops=[increment_op, enqueue_op] * 2)
    
14. 
    
15. # 主线程
    
16. sess = tf.InteractiveSession()
    
17. tf.global_variables_initializer().run()
    
18. # 启动入队线程
    
19. qr.create_threads(sess, start=True)
    
20. for i in range(20):
    
21.     print (sess.run(q.dequeue()))

复制代码

        还有随机读取数据的方法：

1. import tensorflow as tf
   
2. 
   
3. q = tf.RandomShuffleQueue(capacity=10,min_after_dequeue=0, dtypes="string")
   
4. enqueue_op = q.enqueue(['aaa','bbb'])
   
5. qr = tf.train.QueueRunner(q, enqueue_ops=[enqueue_op] * 1)
   
6. sess = tf.Session()
   
7. coord = tf.train.Coordinator()
   
8. enqueue_threads = qr.create_threads(sess, start=True,coord=coord)
   
9. try:
   
10.     for i in range(100):
    
11.         print(sess.run(q.dequeue()))
    
12.         if i>=50:
    
13.             coord.request_stop()
    
14.             coord.join(enqueue_threads)
    
15.             print(i)
    
16. except tf.errors.OutOfRangeError:
    
17.     print('Done training -- epoch limit reached')
    
18. finally:
    
19.     coord.request_stop()
    
20.     coord.join(enqueue_threads)
    

复制代码

        还有读取文件的方法：

1. import tensorflow as tf
   
2. 
   
3. train_filenames=['data_batch_%d'%i for i in range(1,6)]
   
4. 
   
5. q = tf.FIFOQueue(capacity=5, dtypes=tf.string, name="queue")
   
6. 
   
7. 
   
8. init = q.enqueue_many((train_filenames,))
   
9. 
   
10. 
    
11. x = q.dequeue()
    
12. 
    
13. with tf.Session() as sess:
    
14. 
    
15.     # 运行初始化队列的操作。
    
16.     init.run()
    
17.     for i in range(5):
    
18. 
    
19.         # 运行q_inc将执行数据出队列，出队的元素值加1，重新加入队列的整个过程。
    
20.         v= sess.run(x)
    
21. 
    
22.         # 打印出队元素的值。
    
23.         print(v)

复制代码

        还有反正是各种用线程读数据方法：

1. import tensorflow as tf
   
2. import numpy as np
   
3. 
   
4. 
   
5. 
   
6. queue = tf.FIFOQueue(100, tf.float32)
   
7. 
   
8. enqueue_op = queue.enqueue([[1]])
   
9. 
   
10. 
    
11. qr = tf.train.QueueRunner(queue, [enqueue_op]*5)
    
12. 
    
13. 
    
14. tf.train.add_queue_runner(qr)
    
15. 
    
16. 
    
17. out_tensor = queue.dequeue()
    
18. 
    
19. 
    
20. with tf.Session() as sess:
    
21. 
    
22.    
    
23.     coord = tf.train.Coordinator()
    
24. 
    
25. 
    
26.     threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    
27. 
    
28. 
    
29.     for i in range(6):
    
30. 
    
31. 
    
32.         print(sess.run(out_tensor)[0])
    
33. 
    
34. 
    
35.     coord.request_stop()
    
36.     coord.join(threads)

复制代码

       
        以上这些方法都是太深奥了，没有多少人会用，对于我这个连入门都不算的新手来说更是没法用。
        现在我主要用的是dataset方法，代码如下：

1. import tensorflow as tf
   
2. import numpy as np
   
3. BATCH_SIZE = 5
   
4. x = np.array([
   
5.     [100,2,2,3],
   
6.     [200,1,1,1],
   
7.     [300,2,2,2],
   
8.     [400,21,1,1]
   
9. ])
   
10. y = np.array([
    
11.     [100,2,2,3],
    
12.     [200,1,1,1],
    
13.     [300,2,2,2],
    
14.     [400,21,1,1]
    
15. ])
    
16. dataset = tf.data.Dataset.from_tensor_slices({'x':x,'y':y})
    
17. dataset = dataset.shuffle(buffer_size=4)
    
18. dataset=dataset.batch(BATCH_SIZE)
    
19. dataset=dataset.repeat()
    
20. iter = dataset.make_one_shot_iterator()
    
21. el = iter.get_next()
    
22. 
    
23. with tf.Session() as sess:
    
24.     for i in range(6):
    
25.         print('x',sess.run(el)['x'])
    
26.         print('y',sess.run(el)['y'])

复制代码

        这种方法有个坑，就是x和y随机shuffle的数据不统一，x和y都是各自随机的。

塔利班

都是版主纯原创的吗