Tag: TENSORFLOW-DATASETS
Quiero usar tf.data como una tubería de entrada para mi modelo de TensorFlow. Actualmente tengo un generador en Python que puede generar alrededor de 16000 muestras/seg. Si uso este generador con tf.data.Dataset.from_generator, el rendimiento disminuye a alrededor de 2500 muestras/seg. ¿De dónde proviene esta sobrecarga y hay alguna manera de . . . Read more
Tengo una pregunta sobre TensorFlow. Tengo datos CSV como se muestra en la imagen adjunta, y quiero mapearlos: la fila verde es la etiqueta para las 5 filas anteriores. ¿Es posible hacerlo dentro de la función de mapeo (dataset.map())? Y ¿cómo se hace?
Tengo un archivo txt con el siguiente tipo de fila: “Hello I’m in Tensorflow” “My name is foo” ‘Mr “alias” is running’ … Como se puede ver, solo hay una cadena por fila. Cuando intento crear un tf.data.Dataset, la salida se ve así: conver = TextLineDataset(‘path_to.txt’) for utter in conver: . . . Read more
Me gustaría dividir el pipeline de TensorFlow en dos y aplicar una función diferente a cada uno de ellos utilizando tf.data.Dataset.map(). Así: dataset = tf.data.Dataset.from_tensor_slices(list(range(20))) dataset = dataset.shuffle(20).batch(10) dataset1 = dataset.map(lambda x: x) dataset2 = dataset.map(lambda x: x + 1) for d1, d2 in zip(dataset1, dataset2): print(d1.numpy()) # [13 14 . . . Read more
Tengo un problema con el entrenamiento usando tff.simulation.FilePerUserClientData – Estoy quedándome rápidamente sin RAM después de 5-6 rondas con 10 clientes por ronda. El uso de RAM aumenta constantemente con cada ronda. Intenté reducirlo y me di cuenta de que el problema no es el proceso iterativo en sí, sino . . . Read more