Запитання з тегом «neural-networks»

Функція активації tanh: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Де , сигмоїдна функція, визначається як: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Запитання: Чи дійсно має значення між цими двома функціями активації (tanh vs. sigma)? Яка функція краще в яких випадках?

82 machine-learning  neural-networks  optimization  cost-maximization 

Останніми роками конволюційні нейронні мережі (або, можливо, глибокі нейронні мережі взагалі) стають все глибшими і глибшими: сучасні мережі переходять від 7 шарів ( AlexNet ) до 1000 шарів ( Залишкові мережі) в просторі 4 років. Причина підвищення продуктивності з більш глибокої мережі полягає в тому, що можна вивчити більш складну …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Епоха стохастичного градієнтного спуску визначається як один прохід через дані. Для кожної міні-партії SGD малюється зразків, обчислюється градієнт і параметри оновлюються. У налаштуваннях епохи проби беруть без заміни.kkk Але це здається непотрібним. Чому б не намалювати кожну міні-партію SGD так, як випадково витягується з усього набору даних при кожній ітерації? …

69 neural-networks  deep-learning  gradient-descent 

Я щойно чув, що хороша ідея вибирати початкові ваги нейронної мережі з діапазону , деd- кількість входів у даний нейрон. Передбачається, що множини нормалізуються - означають 0, дисперсію 1 (не знаю, чи це має значення).( - 1г√, 1г√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})гdd Чому це гарна ідея?

68 neural-networks  normalization 

Рекурентні нейронні мережі відрізняються від "регулярних" тим, що вони мають шар "пам'яті". Завдяки цьому шару, періодичні NN повинні бути корисними при моделюванні часових рядів. Однак я не впевнений, що я правильно розумію, як ними користуватися. Скажімо, у мене є такий часовий ряд (зліва направо):, [0, 1, 2, 3, 4, 5, …

67 time-series  machine-learning  neural-networks 

Чи є загальні вказівки щодо того, де розмістити шари, що випадають в нейронну мережу?

65 neural-networks  dropout 

Я треную нейронну мережу для класифікації набору об'єктів на n-класи. Кожен об'єкт може належати одночасно до декількох класів (багатокласний, багатозначний). Я читав, що для проблем із класом зазвичай рекомендується використовувати softmax та категоричну перехресну ентропію як функцію втрати замість mse, і я розумію більш-менш чому. У моїй проблемі мульти-етикетки не …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Людській дитині у віці 2 років потрібно близько 5 екземплярів автомобіля, щоб він міг ідентифікувати його з розумною точністю незалежно від кольору, виготовлення тощо. Коли моєму синові було 2 роки, він зміг ідентифікувати трамваї та потяги, хоча він і бачив лише декілька. Оскільки він зазвичай плутав один одного, очевидно, його …

64 neural-networks  neuroscience 

У мене складається враження, що коли люди посилаються на мережу "глибокої віри", що це в основному нейронна мережа, але дуже велика. Це правильно чи чи мережа глибоких переконань також означає, що алгоритм сам по собі відрізняється (тобто немає нейронної мережі вперед, але, можливо, щось із петлями зворотного зв'язку)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Я бачу, що багато алгоритмів машинного навчання краще працюють із середнім скасуванням та вирівнюванням коваріації. Наприклад, нейронні мережі мають тенденцію до конвергенції швидше, а K-Means, як правило, покращує кластеризацію за допомогою попередньо оброблених функцій. Я не бачу, щоб інтуїція, що стоїть за цими етапами попередньої обробки, призводила до покращення продуктивності. …

61 machine-learning  neural-networks  covariance  normalization 

Яка різниця між подачею і повторюваною нейронною мережею? Навіщо ти використовувати одне над іншим? Чи існують інші мережеві топології?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Тут і тут я знайшов два питання щодо цього питання, але поки немає очевидних відповідей чи пояснень. Я застосовую ту саму проблему, коли помилка перевірки менша, ніж помилка навчання в моїй нейронній мережі Convolution. Що це означає?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation 

І PCA, і autoencoder можуть зменшити деменсію, тож у чому різниця між ними? У якій ситуації я повинен використовувати один над іншим?

56 machine-learning  pca  neural-networks  autoencoders 

Мені було цікаво, чи є там якісь хороші бібліотеки R для глибокого вивчення нейронних мереж? Я знаю , що це nnet, neuralnetі RSNNS, але жоден з них не здається , здійснити глибокі методи навчання. Мені особливо цікаво непідконтрольне, за яким слід керуватися навчанням, і використовувати відмову для запобігання спільної адаптації …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Чи може хтось пояснити, що таке глобальний макс-пул об'єднання і чому і коли ми використовуємо це для тренування нейронної мережі. Чи мають вони перевагу перед звичайним максимумом шару пулу?

55 neural-networks  conv-neural-network  pooling