Publicerad den Lämna en kommentar

Jojonki / pekare-nätverk

pekare Nätverkoriol Vinyals, Meire Fortunato, Navdeep Jaitly.
https://arxiv.org/abs/1506.03134

Pointer Networks är en ny neural arkitektur för att lära sig den villkorliga sannolikheten för en utgångssekvens med element som är diskreta tokens som motsvarar positioner i en ingångssekvens.

i denna repo lägger jag två exempel på Pointer Networks-modeller.

Sekvensmodellen

i sekvensmodellen är längden på utgången densamma som längden på ingången. Jag satte en leksak uppgift att sortera uppgift. Utgången är de sorterade indexen för ingången. Se följande exempel.

// An example// Input : // Output: $ python sequence_train.pyepoch: 0, Loss: 0.99817Acc: 0.57% (51/9000)epoch: 2, Loss: 0.00077Acc: 100.00% (9000/9000)epoch: 4, Loss: 0.00032Acc: 99.99% (8999/9000)----Test result---Acc: 100.00% (1000/1000)

Gränsmodellen

i gränsmodellen är utgången en tupel som (start_index, end_index). Jag tog upp följande gräns leksak uppgift. Se den här webbplatsen.

Låt oss prova lite kod på ett leksaksproblem. Pekarnätverk är verkligen mest relevanta för återkommande känsliga datasekvenser, så vi skapar en. Antag att vi antar att våra inmatningsdata är en sekvens av heltal mellan 0 och 10 (med möjliga dubbletter) av okänd längd. Varje sekvens börjar alltid med låga heltal (slumpmässiga värden mellan 1 till 5), har en körning av höga heltal (slumpmässiga värden mellan 6 till 10) och blir sedan låg igen för att avsluta (1 till 5).Till exempel kan en sekvens vara ”4,1,2,3,1,1,6,9,10,8,6,3,1,1”, med körningen av höga heltal i fetstil, omgiven av körningar med låga heltal. Vi vill träna ett nätverk som kan peka på dessa två förändringspunkter — början och slutet av körningen av höjder i mitten, oavsett sekvenslängd.

// An example// Input : // Output: $ python boundary_train.pyepoch: 0, Loss: 0.28288accAcc: 98.79% (8891/9000)epoch: 2, Loss: 0.00291accAcc: 99.96% (8996/9000)epoch: 4, Loss: 0.00091accAcc: 100.00% (9000/9000)----Test result---Acc: 100.00% (1000/1000)

Lämna ett svar

Din e-postadress kommer inte publiceras.