读取文件

blake

TensorFlow读取数据共有三种方法：

• Feeding：当TensorFlow运行每步计算的时候，从Python获取数据。在Graph的设计阶段，用placeholder占住Graph的位置，完成Graph的表达；当Graph传给Session后，在运算时再把需要的数据从Python传过来。
  
• Preloaded data：数据直接预加载到TensorFlow的Graph中，再把Graph传入Session运行。只适用于小数据。
  
• Reading from file：在Graph中定义好文件读取的运算节点，把Graph传入Session运行时，执行读取文件的运算，这样可以避免在Python和TensorFlow C++执行环境之间反复传递数据。
  
  

本文讲解Reading from file的代码。
其他关于TensorFlow的学习笔记，请点击入门教程
实现

1. #!/usr/bin/env python
   
2. # -*- coding=utf-8 -*-
   
3. # @author: 陈水平
   
4. # @date: 2017-02-19
   
5. # @description: modified program to illustrate reading from file based on TF offitial tutorial
   
6. # @ref: https://www.tensorflow.org/programmers_guide/reading_data
   
7. 
   
8. def read_my_file_format(filename_queue):
   
9.   """从文件名队列读取一行数据
   
10.   
    
11.   输入：
    
12.   -----
    
13.   filename_queue：文件名队列，举个例子，可以使用`tf.train.string_input_producer(["file0.csv", "file1.csv"])`方法创建一个包含两个CSV文件的队列
    
14.   
    
15.   输出：
    
16.   -----
    
17.   一个样本：`[features, label]`
    
18.   """
    
19.   reader = tf.SomeReader()  # 创建Reader
    
20.   key, record_string = reader.read(filename_queue)  # 读取一行记录
    
21.   example, label = tf.some_decoder(record_string)  # 解析该行记录
    
22.   processed_example = some_processing(example)  # 对特征进行预处理
    
23.   return processed_example, label
    
24. 
    
25. def input_pipeline(filenames, batch_size, num_epochs=None):
    
26.   """ 从一组文件中读取一个批次数据
    
27.   
    
28.   输入：
    
29.   -----
    
30.   filenames：文件名列表，如`["file0.csv", "file1.csv"]`
    
31.   batch_size：每次读取的样本数
    
32.   num_epochs：每个文件的读取次数
    
33.   
    
34.   输出：
    
35.   -----
    
36.   一批样本，`[[example1, label1], [example2, label2], ...]`
    
37.   """
    
38.   filename_queue = tf.train.string_input_producer(filenames, num_epochs=num_epochs, shuffle=True)  # 创建文件名队列
    
39.   example, label = read_my_file_format(filename_queue)  # 读取一个样本
    
40.   # 将样本放进样本队列，每次输出一个批次样本
    
41.   #   - min_after_dequeue：定义输出样本后的队列最小样本数，越大随机性越强，但start up时间和内存占用越多
    
42.   #   - capacity：队列大小，必须比min_after_dequeue大
    
43.   min_after_dequeue = 10000
    
44.   capacity = min_after_dqueue + 3 * batch_size
    
45.   example_batch, label_batch = tf.train.shuffle_batch(
    
46.     [example, label], batch_size=batch_size, capacity=capacity,
    
47.     min_after_dequeue=min_after_dequeue)
    
48.   return example_batch, label_batch
    
49.   
    
50. def main(_):
    
51.   x, y = input_pipeline(['file0.csv', 'file1.csv'], 1000, 5)
    
52.   train_op = some_func(x, y)
    
53.   init_op = tf.global_variables_initializer()
    
54.   local_init_op = tf.local_variables_initializer()  # local variables like epoch_num, batch_size
    
55.   sess = tf.Session()
    
56.   
    
57.   sess.run(init_op)
    
58.   sess.run(local_init_op)
    
59.   
    
60.   # `QueueRunner`用于创建一系列线程，反复地执行`enqueue` op
    
61.   # `Coordinator`用于让这些线程一起结束
    
62.   # 典型应用场景：
    
63.   #   - 多线程准备样本数据，执行enqueue将样本放进一个队列
    
64.   #   - 一个训练线程从队列执行dequeu获取一批样本，执行training op
    
65.   # `tf.train`的许多函数会在graph中添加`QueueRunner`对象，如`tf.train.string_input_producer`
    
66.   # 在执行training op之前，需要保证Queue里有数据，因此需要先执行`start_queue_runners`
    
67.   coord = tf.train.Coordinator()
    
68.   threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    
69.   
    
70.   try:
    
71.     while not coord.should_stop():
    
72.       sess.run(train_op)
    
73.   except tf.errors.OutOfRangeError:
    
74.     print 'Done training -- epoch limit reached'
    
75.   finally:
    
76.     coord.request_stop()
    
77.   
    
78.   # Wait for threads to finish  
    
79.   coord.join(threads)
    
80.   sess.close()
    
81.   
    
82. if __name__ == '__main__':
    
83.   tf.app.run()

复制代码