Запитання з тегом «neural-networks»

Моя втрата тренувань знижується, а потім знову вгору. Це дуже дивно. Втрата перехресної перевірки відстежує втрати тренувань. Що відбувається? У мене є два складених LSTMS наступним чином (на Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Я навчаю це протягом 100 епох: …

26 machine-learning  neural-networks  loss-functions  lstm 

Припустимо, я хочу зробити бінарну класифікацію (щось належить до класу A або класу B). Є кілька можливостей зробити це у вихідному шарі нейронної мережі: Використовуйте 1 вихідний вузол. Вихід 0 (<0,5) вважається класом A, а 1 (> = 0,5) вважається класом B (у випадку сигмоїдної) Використовуйте 2 вихідних вузла. Вхід …

26 machine-learning  classification  neural-networks 

Мене цікавить регресія з нейронними мережами. Нейронні мережі з нульовими прихованими вузлами + з'єднання пропускового шару є лінійними моделями. Що з тими ж нейронними мережами, але із прихованими вузлами? Мені цікаво, якою була б роль з'єднань пропускового шару? Інтуїтивно, я б сказав, що якщо включити з'єднання пропускового шару, то остаточна …

26 regression  machine-learning  neural-networks  deep-learning 

Мені було цікаво, чому так важливо принципове / теоретичне машинне навчання? З особистої точки зору як людини я можу зрозуміти, чому принципове машинне навчання було б важливим: людям подобається розуміти, що вони роблять, ми знаходимо красу і задоволення для розуміння. з теоретичної точки зору, математика - це весело коли існують …

25 machine-learning  neural-networks  conv-neural-network  theory 

Я хочу використовувати глибоке навчання у своєму проекті. Я переглянув пару паперів, і в мене виникло питання: чи є різниця між нейронною мережею згортки та глибоким навчанням? Ці речі однакові чи вони мають якісь основні відмінності, і що краще?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

Це запитання було перенесено із переповнення стека, оскільки на нього можна відповісти на перехресному підтвердженні. Мігрували 7 років тому . Я намагаюся дізнатися, як нейронна мережа працює на розпізнавання зображень. Я бачив кілька прикладів і став ще більше плутати. У прикладі розпізнавання літер зображення розміром 20x20 значення кожного пікселя стають …

25 machine-learning  neural-networks  image-processing 

З огляду на опуклу функцію витрат, використовуючи SGD для оптимізації, ми будемо мати градієнт (вектор) в певний момент під час процесу оптимізації. Моє запитання, з огляду на точку на опуклій, чи градієнт лише вказує в тому напрямку, в якому функція швидко збільшується / зменшується, або градієнт завжди вказує на оптимальну …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закрито 2 роки тому . Принципова проблема глибокого навчання та нейронних мереж загалом. Рішення, що відповідають даним навчальних даних, …

25 machine-learning  neural-networks  svm  deep-learning 

Які переваги, чому можна використовувати декілька LSTM, складених один на один, у глибокій мережі? Я використовую LSTM, щоб представляти послідовність входів як єдиний вхід. Тож як тільки я маю це єдине представництво - чому я б його передавав знову? Я запитую це, тому що я це бачив у програмі покоління …

25 classification  neural-networks  deep-learning  lstm  rnn 

Чому функції активації випрямлених лінійних одиниць (ReLU) вважаються нелінійними? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Вони лінійні, коли вхід позитивний, і з мого розуміння, щоб розблокувати репрезентативну потужність глибоких мереж, нелінійні активації є обов'язковими, інакше вся мережа може бути представлена ​​одним шаром.

25 neural-networks  deep-learning 

Я читав про оптимізатора Адама для глибокого навчання і натрапив на таке речення у новій книзі « Глибоке навчання » Бенджіо, Гудфлоу та Курвіля: Зазвичай Адам вважається досить надійним у виборі гіпер параметрів, хоча інтенсивність навчання іноді потрібно змінити із запропонованого за замовчуванням. якщо це правда, то велика справа, тому …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Я знаю, що моє запитання / назва не дуже конкретне, тому я спробую його прояснити: Штучні нейронні мережі мають відносно суворі конструкції. Звичайно, загалом на них впливає біологія і намагаються побудувати математичну модель реальних нейронних мереж, але наше розуміння реальних нейронних мереж недостатнє для побудови точних моделей. Тому ми не …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

У мене є 50 000 таких зображень: Вони зображують графіки даних. Я хотів отримати функції з цих зображень, тому я використав код автокодування, наданий Theano (deeplearning.net). Проблема полягає в тому, що ці автокодери, схоже, не вивчають жодних функцій. Я спробував RBM, і це те саме. Набір даних MNIST забезпечує приємні …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

У Олексія Крижевського та ін. Класифікація Imagenet із глибокими звивистими нейронними мережами вони перераховують кількість нейронів у кожному шарі (див. Схему нижче). Вхід в мережу є 150 528-мірним, а кількість нейронів у решті шарів мережі визначається 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000. 3D-перегляд Кількість нейронів для всіх шарів після першого зрозуміла. Один простий спосіб …

24 neural-networks  deep-learning  conv-neural-network 

Яка різниця між випадаючим і краплинним з'єднанням? AFAIK, випадання випадковим чином скидає приховані вузли під час тренування, але тримає їх у тестуванні, а краплі підключають краплі. Але чи не випадає з’єднання, рівнозначне видаленню прихованих вузлів? Чи не вузли (або з'єднання) - це лише набір ваг?

24 neural-networks  dropout