На даний момент я намагаюся навчити модель на великому файлі csv (> 70 ГБ з більш ніж 60 мільйонами рядків). Для цього я використовую tf.contrib.learn.read_batch_examples. Я намагаюся зрозуміти, як ця функція насправді читає дані. Якщо я використовую розмір партії, наприклад, 50 000, чи читає вона перші 50 000 рядків файлу? Якщо я хочу перенести цикл на весь файл (1 епоха), чи потрібно використовувати num_rows / batch_size = 1.200 кількість кроків для методу estimator.fit?
Ось функція введення, яку я зараз використовую:
def input_fn(file_names, batch_size):
# Read csv files and create examples dict
examples_dict = read_csv_examples(file_names, batch_size)
# Continuous features
feature_cols = {k: tf.string_to_number(examples_dict[k],
out_type=tf.float32) for k in CONTINUOUS_COLUMNS}
# Categorical features
feature_cols.update({
k: tf.SparseTensor(
indices=[[i, 0] for i in range(examples_dict[k].get_shape()[0])],
values=examples_dict[k],
shape=[int(examples_dict[k].get_shape()[0]), 1])
for k in CATEGORICAL_COLUMNS})
label = tf.string_to_number(examples_dict[LABEL_COLUMN], out_type=tf.int32)
return feature_cols, label
def read_csv_examples(file_names, batch_size):
def parse_fn(record):
record_defaults = [tf.constant([''], dtype=tf.string)] * len(COLUMNS)
return tf.decode_csv(record, record_defaults)
examples_op = tf.contrib.learn.read_batch_examples(
file_names,
batch_size=batch_size,
queue_capacity=batch_size*2.5,
reader=tf.TextLineReader,
parse_fn=parse_fn,
#read_batch_size= batch_size,
#randomize_input=True,
num_threads=8
)
# Important: convert examples to dict for ease of use in `input_fn`
# Map each header to its respective column (COLUMNS order
# matters!
examples_dict_op = {}
for i, header in enumerate(COLUMNS):
examples_dict_op[header] = examples_op[:, i]
return examples_dict_op
Ось код, який я використовую для тренування моделі:
def train_and_eval():
"""Train and evaluate the model."""
m = build_estimator(model_dir)
m.fit(input_fn=lambda: input_fn(train_file_name, batch_size), steps=steps)
Що буде, якби я знову зателефонував функції fit із тим самим input_fn. Чи починається він знову на початку файлу, чи запам'ятає рядок, де він зупинився востаннє?