Запитання з тегом «neural-networks»

Припустимо, я маю просту одношарову нейронну мережу з n входами та одним виходом (завдання бінарної класифікації). Якщо я встановив функцію активації у виходному вузлі як сигмоподібну функцію, то результат - класифікатор логістичної регресії. У цьому ж сценарії, якщо я зміню активацію виводу на ReLU (випрямлена лінійна одиниця), то отримана структура …

10 neural-networks  svm 

Задачі класифікації з нелінійними межами не можуть бути вирішені простим перцептроном . Наступний код R має ілюстративні цілі та заснований на цьому прикладі в Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1, -2,1, -1,1, 0,1, 1,1, 2,1, 3,1), ncol=2, byrow=T) y …

10 r  neural-networks  svm  kernel-trick  perceptron 

Я розумію, що попередня підготовка використовується для уникнення деяких проблем із звичайною підготовкою. Якщо я використовую backpropagation з, скажімо, автокодером, я знаю, що я зіткнуся з проблемами у часі, оскільки зворотне розповсюдження відбувається повільно, а також, що я можу зациклюватися на локальній оптимі і не вивчити певні функції. Я не …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

У завданні комп’ютерного зору, такому як класифікація об'єктів, за допомогою Convolutional Neural Networks (CNN), мережа забезпечує привабливу продуктивність. Але я не впевнений, як налаштувати параметри в згорткових шарах. Наприклад, зображення сірого масштабу ( 480x480), перший згортковий шар може використовувати конволюційний оператор типу 11x11x10, де число 10 означає кількість згорткових операторів. …

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

Я чула трохи про використання нейронних мереж для прогнозування часових рядів. Як я можу порівняти, який метод прогнозування моїх часових рядів (щоденні дані роздрібної торгівлі) кращий: auto.arima (x), ets (x) або nnetar (x). Я можу порівняти auto.arima з ets за AIC або BIC. Але як я можу порівняти їх з …

10 r  neural-networks  forecasting  arima  exponential-smoothing 

Я новачок в аналізі виживання, і нещодавно я дізнався, що існують різні способи зробити це з огляду на певну мету. Мене цікавить реальна реалізація та доцільність цих методів. Мені було представлено традиційні моделі коксо-пропорційного ризику , моделі прискореного відмови та нейронні мережі (багатошаровий перцептрон) як методи для виживання пацієнта з …

10 r  machine-learning  survival  neural-networks  cox-model 

Я потрапив у ситуацію, коли ваги моєї Нейронної мережі не збігаються навіть після 500 ітерацій. Моя нейронна мережа містить 1 вхідний шар, 1 прихований шар та 1 вихідний шар. Вони містять близько 230 вузлів у вхідному шарі, 9 вузлів у прихованому шарі та 1 вихідний вузол у вихідному шарі. Мені …

10 machine-learning  neural-networks 

І логістична функція, і стандартне відхилення зазвичай позначаються . Я буду використовувати і для стандартного відхилення.σσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))sss У мене є логістичний нейрон зі випадковим входом, середнє значення і стандартне відхилення я знаю. Я сподіваюся, що різницю від середньої можна добре оцінити деяким гауссовим шумом. Отже, з невеликим зловживанням нотацією, …

10 distributions  normal-distribution  neural-networks  mathematical-statistics  expected-value 

У документах AlphaGo Zero та AlphaZero DeepMind вони описують додавання шуму Діріхле до попередніх імовірностей дій з кореневого вузла (стан плати) в дереві Монте-Карло: Додаткова розвідка досягається додаванням шуму Діріхле до попередніх ймовірностей у кореневому вузлі с0s0s_0конкретно П( s , a ) = ( 1 - ε )pа+ εηаП(с,а)=(1-ε)pа+εηаP(s, a) …

10 machine-learning  neural-networks  dirichlet-distribution 

У статті під назвою " Глибоке навчання та принцип інформації " автори вказують у розділі II А) наступне: Одиничні нейрони класифікують лише лінійно відокремлювані входи, оскільки вони можуть реалізовувати лише гіперплани у своєму вхідному просторі . Гіперплани можуть оптимально класифікувати дані, коли входи є умовнонезалежними.u = w h + bу=шгод+бu …

10 bayesian  neural-networks  information-theory 

В останній роботі WaveNet автори посилаються на свою модель як зі складеними шарами розширених згортків. Вони також створюють наступні діаграми, пояснюючи різницю між "регулярними" згортками та розширеними згортками. Регулярні звивини виглядають так: Це згортання з розміром фільтра 2 та кроком 1, повторюваним у 4 шари. Потім вони показують архітектуру, використану …

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

Я прочитав про SVM та дізнався, що вони вирішують оптимізаційну задачу та ідея максимальної маржі була дуже розумною. Тепер, використовуючи ядра, вони можуть знайти навіть нелінійні межі поділу, що було чудово. Поки я справді не маю уявлення, як SVM (спеціальна машина ядра) та машини ядра пов'язані з нейронними мережами? Розгляньте …

10 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Я використовую двонаправлений RNN для виявлення події незбалансованого виникнення. Позитивний клас у 100 разів рідше, ніж негативний. Хоча не використовую регуляризацію, я можу отримати 100% точність на наборі поїздів і 30% на комплект перевірки. Я включаю регуляризацію l2, і результат - лише 30% точність на поїзді, а не довше навчання …

10 neural-networks  deep-learning  regularization  rnn 

Я дізнаюся про глибоке навчання (зокрема, CNN), а також про те, як зазвичай вимагає дуже багато даних для запобігання надмірного розміщення. Однак мені також сказали, що чим більша ємність / більше параметрів має модель, тим більше даних потрібно для запобігання надмірного розміщення. Тому моє запитання: чому ви можете не просто …

10 machine-learning  neural-networks  deep-learning  conv-neural-network 

Я намагаюся зрозуміти архітектуру RNN. Я знайшов цей підручник, який був дуже корисним: http://colah.github.io/posts/2015-08-U Understanding-LSTMs/ Особливо це зображення: Як це вписується у мережу передачі даних? Це зображення лише черговий вузол у кожному шарі?

10 neural-networks  lstm