Запитання з тегом «autoencoders»

Я шукав у Google, Wikipedia, Google вченому тощо, але не міг знайти походження Autoencoders. Можливо, це одне з тих концепцій, що розвивалося дуже поступово, і неможливо простежити чітку вихідну точку, але все ж я хотів би знайти якийсь підсумок основних кроків їхнього розвитку. У розділі про автокодування в книзі Ієна …

14 neural-networks  autoencoders  history 

Наскільки мені відомо, і для автонекодерів, і для t-SNE використовують нелінійне зменшення розмірності. Які відмінності між ними і чому я повинен використовувати один проти іншого?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

Під час реалізації автокодера з нейронною мережею більшість людей використовуватиме сигмоїд як функцію активації. Чи можемо ми використовувати замість ReLU? (Оскільки ReLU не має обмежень на верхній межі, в основному означає, що вхідне зображення може мати піксель більше 1, на відміну від обмежених критеріїв для автокодера, коли використовується сигмоїд).

11 machine-learning  neural-networks  deep-learning  autoencoders 

Я впроваджував VAE і помітив в Інтернеті дві різні реалізації спрощеної універсальної гауссової дивергенції KL. Оригінальна розбіжність, як тут, є КLl o s s= журнал(σ2σ1) +σ21+ (мк1-мк2)22σ22-12КLлосс=журнал⁡(σ2σ1)+σ12+(мк1-мк2)22σ22-12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Якщо припустити, що наша попередня - це одиниця гаусса, тобто мк2= 0мк2=0\mu_2=0 і σ2= 1σ2=1\sigma_2=1, це спрощує вниз до КLl o s …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Мережі автоматичного кодування здаються набагато складнішими, ніж звичайні MLP-мережі класифікатора. Після декількох спроб використання Lasagne все, що я отримую на реконструйованому виході, - це щось, що в кращому випадку нагадує розмите усереднення всіх зображень бази даних MNIST, не залежно від того, що насправді є вхідною цифрою. Я вибрав структуру мереж …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

У CNN ми вивчимо фільтри для створення карти функцій у згортковому шарі. В Autoencoder окрему приховану одиницю кожного шару можна розглядати як фільтр. Яка різниця між фільтрами, вивченими у цих двох мережах?

9 machine-learning  neural-networks  conv-neural-network  autoencoders