Ar giliai mokantis yra skirtumas tarp autoenkoderių ir kodavimo dekoderių?


Atsakymas 1:

Štai kaip aš vertinčiau šias dvi sąvokas (neoficialiai). Pagalvokite apie šifravimo kodą-dekoderį kaip apie labai bendrą sistemos / architektūros dizainą. Šiame dizaine turite tam tikrą funkciją, kuri nusako įvesties erdvę, kad ir kokia ji būtų, kitoje / latentinėje erdvėje („kodavimo priemonėje“). Dekoderis yra tiesiog papildoma funkcija, sukurianti žemėlapį iš (koduotės) latentinės erdvės į kitą tikslinę erdvę (ką mes norime iššifruoti iš latentinės erdvės). Atkreipkite dėmesį, tiesiog pažymėdami tarpus ir susiedami juos per bendrąją latentinę erdvę, galite padaryti kažką panašaus į žetonų seką angliškai (ty anglišką sakinį) susieti su žetonų seka prancūzų kalba (ty, to angliško sakinio vertimas). į prancūzų kalbą). Kai kuriuose neuroninio vertimo modeliuose anglišką seką pavaizduojate fiksuotame vektoriuje (tarkime paskutinę pasikartojančio tinklo, kurį naudojate sakiniui apdoroti pakartotinai, būseną, rastą skyrybos ženkle), iš kurios iššifruosite prancūzišką seką. .

Automatinis kodavimo įrenginys (arba automatinis asociatorius, kaip jis buvo klasikiškai žinomas kaip) yra ypatingas kodavimo dekoderio architektūros atvejis - pirma, tikslinė erdvė yra tokia pati kaip įvesties erdvė (ty angliškos įvestys į anglų tikslus), antra, tikslas turi būti lygus įėjimui. Taigi, mes atvaizduotume kažką panašaus į vektorius į vektorius (atkreipkite dėmesį, kad tai vis tiek gali būti seka, nes jie yra pasikartojantys autoenkodai, tačiau jūs šiuo atveju esate ne numatydamas ateitį, o tiesiog rekonstruodamas dabartį, suteikdamas būseną / atmintį ir pateikti). Dabar automatinis kodavimo įrenginys yra skirtas automatiškai susieti, todėl mes iš esmės bandome sukurti modelį, kuris „atšauktų“ įvestį, o tai leidžia automatiniam kodavimui atlikti tokius veiksmus, kaip modelio užpildymas, taigi, jei suteiksime automatiniam kodavimui iš dalies sugadintą įvestį, jis galės „atgauti“ tinkamą atminties modelį.

Be to, paprastai mes konstruojame automatinius kodus, nes mums labiau patinka gauti reprezentaciją, o ne mokytis nuspėjamojo modelio (nors, galima sakyti, gauname gana naudingų reprezentacijų ir iš prognozuojamųjų modelių ...).

Bet trumpas pasakojimas yra paprastas: automatinis kodavimo įrenginys yra ypatingas kodavimo dekoderio pavyzdys. Tai ypač naudinga, kai norime atsieti kodavimo įrenginį ir dekoderį, kad sukurtume kažką panašaus į skirtingą automatinį kodavimo įrenginį, kuris taip pat atleidžia mus nuo to, kad dekoderis turi būti simetriškas dizainui su koduotuvu (ty, kodavimo įrenginys gali būti dviejų sluoksnių konvoliucinis tinklas). o dekoderis galėtų būti 3 sluoksnių dekonvoliucinis tinklas). Įvairių variantų automatiniame kodekse latentinės erdvės idėja tampa aiškesnė, nes dabar mes iš tikrųjų susiejame įvestį (pvz., Atvaizdą ar dokumento vektorių) į latentinį kintamąjį, iš kurio rekonstruosime originalų / tą patį įvestį (pvz., Paveikslėlį). arba dokumentų vektorius).

Aš taip pat manau, kad daug painiavos kyla dėl netinkamo terminų vartojimo. Šiais laikais ML liaudies atstovai dažniausiai yra linkę maišyti ir derinti žodžius (kai kurie tai daro, kad viskas skambėtų šauniau arba rastumėte linksnius žodžius, kurie pritrauktų skaitytojus / rėmėjus / šlovę / šlovę ir pan.), Tačiau tai iš dalies gali būti dėl to, kad pervardyti žodžiai dirbtiniai neuroniniai tinklai kaip „gilus mokymasis“ ;-) [nes galų gale visi nori pinigų, kad galėtų toliau dirbti]


Atsakymas 2:

Iš tikrųjų.

Koderio-dekoderio architektūra turi kodavimo skyrių, kuris priima įvestį ir susieja ją su latentine erdve. Dekoderio skyrius užima tą latentinę erdvę ir susieja ją su išvestimi. Paprastai tai lemia geresnius rezultatus. Autokoderis tiesiog laiko x kaip įvestį ir bando rekonstruoti x (dabar x_hat) kaip išvestį.

Paprastai naudojimo atvejai yra skirtingi. Autoencoderiai paprastai bus naudojami neprižiūrimose mokymosi situacijose, nes, kaip matome, nereikia jokių etikečių, tik duomenys. Koderio-dekoderio architektūros dažnai naudojamos bendresniu būdu, kaip jūs minėjote su „SegNet“ popieriumi ir dažniau su NMT.