Запитання з тегом «neural-network»

Я вже деякий час використовую нейронні мережі. Однак одне, з чим я постійно борюся, - це вибір оптимізатора для тренінгу в мережі (використовуючи backprop). Що я зазвичай роблю, це просто почати з одного (наприклад, стандартний SGD), а потім спробувати інші інші, майже випадковим чином. Мені було цікаво, чи є кращий …

18 neural-network  optimization  backpropagation 

Із підручника Keras RNN: "RNN - складний. Вибір розміру партії важливий, вибір втрат та оптимізатор є критично важливими тощо. Деякі конфігурації не збігаються". Отже, це більш загальне питання про налаштування гіперпараметрів LSTM-RNN на Керасі. Я хотів би знати про підхід до пошуку найкращих параметрів для вашої RNN. Я почав із …

18 python  neural-network  deep-learning  keras  hyperparameter 

Я намагаюся зрозуміти роль похідної сигмоїдної функції в нейронних мережах. Спочатку я будую сигмоподібну функцію та похідну всіх точок з визначення за допомогою python. Яка саме роль цієї похідної? import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) def derivative(x, step): return (sigmoid(x+step) …

18 machine-learning  neural-network 

Розглянемо нейронну мережу: Для даного набору даних ми ділимо їх на навчальний, валідаційний та тестовий набір. Припустимо, ми робимо це в класичному співвідношенні 60:20:20, тоді ми запобігаємо надмірному встановленню, перевіряючи мережу, перевіряючи її на набір перевірки. Тоді яка необхідність перевірити його на тестовому наборі, щоб перевірити його працездатність? Чи не …

18 machine-learning  neural-network  cross-validation 

Тут відповідь стосується зникаючих та вибухових градієнтів, які були у sigmoidподібних функціях активації, але, я думаю, Reluмає недолік, і це його очікуване значення. немає обмежень на вихід Reluта, тому його очікуване значення не дорівнює нулю. Я пам'ятаю час , перш ніж популярність , Reluщо tanhбув найпопулярнішим серед машинного навчання фахівців …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Баггінг - це покоління декількох предикторів, яке працює так само симпатично, як і єдиний провісник. Випадання - це техніка, яка привчає нейронні мережі до порівняння всіх можливих підмереж. Дивлячись на найважливіші змагання Kaggle, здається, що ці дві техніки використовуються разом дуже часто. Я не бачу жодної теоретичної різниці, окрім реальної …

17 machine-learning  neural-network  deep-learning 

Я працюю над запитанням із онлайн-книги: http://neuralnetworksanddeeplearning.com/chap1.html Я можу зрозуміти, що якщо додатковий вихідний шар має 5 вихідних нейронів, я, ймовірно, міг би встановити зміщення в 0,5 і вагу 0,5 кожного для попереднього шару. Але тепер питання задати для нового шару з чотирьох вихідних нейронів - що більш ніж достатньо …

17 neural-network 

Я створюю corr()df з оригінального df. corr()ДФ вийшов 70 X 70 і неможливо уявити собі Heatmap ... sns.heatmap(df). Якщо я спробую відобразити corr = df.corr()таблицю, таблиця не відповідає екрану, і я бачу всі кореляції. Це спосіб або надрукувати весь, dfнезалежно від його розміру, або контролювати розмір теплової карти?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

У мене виникають певні труднощі з отриманням зворотного розповсюдження з ReLU, і я провів деяку роботу, але я не впевнений, чи я на правильному шляху. Функція витрат: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2деyyyявляє собою реальне значення, і у являє собою передбачене значення. Припустимо також, щоx> 0 завжди.y^y^\hat yxxx 1 шар ReLU, де вага на …

17 neural-network  backpropagation 

Я роблю проект з проблеми ідентифікації автора. Я застосував нормалізацію tf-idf для підготовки даних, а потім навчив SVM для цих даних. Тепер при використанні класифікатора слід нормалізувати і тестові дані. Я вважаю, що основна мета нормалізації - зробити так, щоб навчальне альго надавало більшої ваги важливішим особливостям під час навчання. …

17 machine-learning  neural-network  deep-learning 

Я трохи граю з конвенцями. Зокрема, я використовую набір даних кангл-котів проти собак, який складається з 25000 зображень, позначених як кішка або собака (12500 у кожному). Мені вдалося досягти близько 85% точності класифікації на моєму тестовому наборі, проте я поставив мету досягти 90% точності. Моя головна проблема - це надмірне …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

Я знаю, що на це запитання немає чіткої відповіді, але припустимо, що у мене величезна нейронна мережа з великою кількістю даних, і я хочу додати нову функцію у вхід. "Найкращим" способом було б протестувати мережу за допомогою нової функції та побачити результати, але чи є метод перевірити, чи функція НЕВІДОМНО …

16 machine-learning  neural-network  feature-selection  feature-extraction 

Припустимо, у нас є два види вхідних функцій, категоричні та безперервні. Категоричні дані можуть бути представлені у вигляді гарячого коду A, тоді як безперервні дані є просто вектором B у просторі N розмірів. Здається, що просто використання concat (A, B) не є вдалим вибором, оскільки A, B - це абсолютно …

16 neural-network  feature-selection  categorical-data  feature-construction 

Я студент-першокурсник (згадавши це, щоб ви могли пробачити мою незнайомість), який зараз займається дослідженнями за допомогою нейронних мереж. Я зашифрував тривузлову нейронну мережу (яка працює) на основі вказівок мого професора. Однак я хотів би продовжити кар'єру в галузі AI та Data Science, і я хотів би навчити себе більше про …

15 machine-learning  neural-network 

Скажімо, у мене зображення стрілки зверху вниз, і я хочу передбачити кут цієї стрілки. Це буде від до 360 градусів, або від 0 до 2 π . Проблема полягає в тому, що ця ціль кругла, 0 і 360 градусів точно така ж, і це інваріантність, яку я хотів би включити …

15 neural-network  deep-learning  loss-function  parameter-estimation