Publicat pe Lasă un comentariu

jojonki / Pointer-rețele

Pointer NetworksOriol Vinyals, Meire Fortunato, Navdeep Jaitly.
https://arxiv.org/abs/1506.03134

Pointer Networks este o nouă arhitectură neuronală pentru a învăța probabilitatea condiționată a unei secvențe de ieșire cu elemente care sunt jetoane discrete corespunzătoare pozițiilor dintr-o secvență de intrare.

în acest repo, am pus două exemple de modele de rețele Pointer.

Modelul secvenței

în modelul secvenței, lungimea ieșirii este aceeași cu lungimea intrării. Am pus o sarcină jucărie de sortare sarcină. Ieșirea este indicii Sortați ai intrării. A se vedea exemplul următor.

// An example// Input : // Output: $ python sequence_train.pyepoch: 0, Loss: 0.99817Acc: 0.57% (51/9000)epoch: 2, Loss: 0.00077Acc: 100.00% (9000/9000)epoch: 4, Loss: 0.00032Acc: 99.99% (8999/9000)----Test result---Acc: 100.00% (1000/1000)

Modelul limită

în modelul limită, ieșirea este un tuplu ca (start_index, end_index). Am preluat următoarea sarcină boundary toy. Vezi acest site.

să încercăm un cod pe o problemă de jucărie. Rețelele Pointer sunt într-adevăr cele mai relevante pentru secvențele de date sensibile la recurență, așa că vom crea una. Să presupunem că datele noastre de intrare sunt o secvență de numere întregi între 0 și 10 (cu posibile duplicate) de lungime necunoscută. Fiecare secvență începe întotdeauna cu numere întregi mici (valori aleatorii între 1 și 5), are o serie de numere întregi mari (valori aleatorii între 6 și 10), apoi se întoarce din nou la sfârșit (1 până la 5).De exemplu, o secvență ar putea fi „4,1,2,3,1,1,6,9,10,8,6,3,1,1”, cu rularea numerelor întregi mari cu caractere aldine, înconjurată de serii de numere întregi mici. Vrem să instruim o rețea care să poată indica aceste două puncte de schimbare — începutul și sfârșitul rulării maximelor la mijloc, indiferent de lungimea secvenței.

// An example// Input : // Output: $ python boundary_train.pyepoch: 0, Loss: 0.28288accAcc: 98.79% (8891/9000)epoch: 2, Loss: 0.00291accAcc: 99.96% (8996/9000)epoch: 4, Loss: 0.00091accAcc: 100.00% (9000/9000)----Test result---Acc: 100.00% (1000/1000)

Lasă un răspuns

Adresa ta de email nu va fi publicată.