Publicado el Deja un comentario

jojonki / Redes de Punteros

Redes de punteros Oriol Vinyals, Meire Fortunato, Navdeep Jaitly.
https://arxiv.org/abs/1506.03134

Redes de punteros es una nueva arquitectura neuronal para aprender la probabilidad condicional de una secuencia de salida con elementos que son tokens discretos que corresponden a posiciones en una secuencia de entrada.

En este repositorio, puse dos ejemplos de modelos de Redes de Puntero.

El modelo de secuencia

En el modelo de secuencia, la longitud de salida es la misma que la longitud de entrada. Puse una tarea de juguete de tarea de clasificación. La salida son los índices ordenados de la entrada. Vea el siguiente ejemplo.

// An example// Input : // Output: $ python sequence_train.pyepoch: 0, Loss: 0.99817Acc: 0.57% (51/9000)epoch: 2, Loss: 0.00077Acc: 100.00% (9000/9000)epoch: 4, Loss: 0.00032Acc: 99.99% (8999/9000)----Test result---Acc: 100.00% (1000/1000)

El modelo de límite

En el modelo de límite, la salida es una tupla como (start_index, end_index). Tomé la siguiente tarea de juguete de frontera. Ver este sitio.

Probemos un poco de código en un problema de juguete. Las redes de puntero son realmente más relevantes para secuencias de datos sensibles a la recurrencia, por lo que crearemos una. Supongamos que asumimos que nuestros datos de entrada son una secuencia de enteros entre 0 y 10 (con posibles duplicados) de longitud desconocida. Cada secuencia siempre comienza con enteros bajos (valores aleatorios entre 1 y 5), tiene una serie de enteros altos (valores aleatorios entre 6 y 10), luego vuelve a ser baja para terminar (1 a 5).Por ejemplo, una secuencia podría ser «4,1,2,3,1,1,6,9,10,8,6,3,1,1», con la secuencia de enteros altos en negrita, rodeada de series de enteros bajos. Queremos entrenar una red que pueda apuntar a estos dos puntos de cambio: el principio y el final de la secuencia de máximos en el medio, independientemente de la longitud de la secuencia.

// An example// Input : // Output: $ python boundary_train.pyepoch: 0, Loss: 0.28288accAcc: 98.79% (8891/9000)epoch: 2, Loss: 0.00291accAcc: 99.96% (8996/9000)epoch: 4, Loss: 0.00091accAcc: 100.00% (9000/9000)----Test result---Acc: 100.00% (1000/1000)

Deja una respuesta

Tu dirección de correo electrónico no será publicada.