Udgivet i Skriv en kommentar

jojonki / Pointer-netværk

Pointer Netværkoriol Vinyals, Meire Fortunato, Navdeep Jaitly.
https://arxiv.org/abs/1506.03134

Pointer-netværk er en ny neural arkitektur for at lære den betingede sandsynlighed for en outputsekvens med elementer, der er diskrete tokens svarende til positioner i en inputsekvens.

i denne repo sætter jeg to eksempler på Pointer netværk modeller.

Sekvensmodellen

i sekvensmodellen er længden af output den samme som længden af input. Jeg sætter et stykke legetøj opgave sortering opgave. Udgangen er de sorterede indekser for input. Se følgende eksempel.

// An example// Input : // Output: $ python sequence_train.pyepoch: 0, Loss: 0.99817Acc: 0.57% (51/9000)epoch: 2, Loss: 0.00077Acc: 100.00% (9000/9000)epoch: 4, Loss: 0.00032Acc: 99.99% (8999/9000)----Test result---Acc: 100.00% (1000/1000)

Grænsemodellen

i grænsemodellen er udgangen en tupel som (start_index, end_index). Jeg tog op følgende grænse legetøj opgave. Se dette site.

lad os prøve noget kode på et legetøjsproblem. Pointer netværk er virkelig mest relevante for recurrency-følsomme datasekvenser, så vi opretter en. Antag, at vi antager, at vores inputdata er en sekvens af heltal mellem 0 og 10 (med mulige duplikater) af ukendt længde. Hver sekvens begynder altid med lave heltal (tilfældige værdier mellem 1 og 5), har et løb med høje heltal (tilfældige værdier mellem 6 og 10) og bliver derefter lav igen for at afslutte (1 til 5).For eksempel kan en sekvens være “4,1,2,3,1,1,6,9,10,8,6,3,1,1”, med kørsel af høje heltal med fed skrift, omgivet af kørsler med lave heltal. Vi ønsker at træne et netværk, der kan pege på disse to ændringspunkter — begyndelsen og slutningen af løbet af højder i midten, uanset sekvenslængden.

// An example// Input : // Output: $ python boundary_train.pyepoch: 0, Loss: 0.28288accAcc: 98.79% (8891/9000)epoch: 2, Loss: 0.00291accAcc: 99.96% (8996/9000)epoch: 4, Loss: 0.00091accAcc: 100.00% (9000/9000)----Test result---Acc: 100.00% (1000/1000)

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.