Запитання з тегом «tensorflow»

У більшості кодів Tensorflow, який я бачив, використовується оптимізатор Адама з постійною швидкістю навчання 1e-4(тобто 0,0001). Код зазвичай виглядає наступним чином: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Зокрема, я думаю, мені цікаво таке твердження: Майбутні основні версії TensorFlow дозволять градієнтам потрапляти в мітки, що вводяться на задній панелі, за замовчуванням. Що відображається при використанні tf.nn.softmax_cross_entropy_with_logits. У цьому ж повідомленні він закликає мене подивитися tf.nn.softmax_cross_entropy_with_logits_v2. Я переглянув документацію, але в ній вказано лише, що для tf.nn.softmax_cross_entropy_with_logits_v2: Зворотне розповсюдження …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Перш за все, я зрозумів, що якщо мені потрібно виконувати двійкові прогнози, я повинен створити принаймні два класи за допомогою кодування з гарячим кодуванням. Це правильно? Однак чи є бінарна перехресна ентропія лише для прогнозів, що мають лише один клас? Якби я використовував категоричну перехресну втрату ентропії, яка зазвичай зустрічається …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Я працював над проблемою регресії, де вводом є зображення, а мітка - це постійне значення між 80 і 350. Зображення містять деякі хімічні речовини після реакції. Колір, який виявляється, вказує на концентрацію іншого хімічного речовини, що залишився, і ось що виводить модель - концентрацію цієї хімічної речовини. Зображення можна обертати, …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

Я вивчав LSTM деякий час. Я на високому рівні розумію, як все працює. Тим НЕ менше, збирається реалізувати їх з допомогою Tensorflow я помітив , що BasicLSTMCell вимагає кількість одиниць (тобто num_units) параметра. З цього дуже ретельного пояснення LSTM я зрозумів, що одна одиниця LSTM - це одне з наступних …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Гінтон і Салаххутдінов у зменшенні розмірності даних за допомогою нейронних мереж Science 2006 запропонували нелінійну PCA шляхом використання глибокого автокодера. Я кілька разів намагався створити і навчити автокодер PCA з Tensorflow, але мені ніколи не вдалося отримати кращий результат, ніж лінійний PCA. Як я можу ефективно тренувати автокодер? (Пізніше редагуйте …

31 pca  python  deep-learning  tensorflow  autoencoders 

Не впевнений, чи належить це питання тут, але воно тісно пов'язане з градієнтними методами оптимізації, що, здається, тут є темою. У будь-якому разі сміливо мігруйте, якщо ви думаєте, що інша спільнота має кращі знання з цієї теми. Коротше кажучи, я шукаю покроковий приклад автоматичної диференціації у зворотному режимі . Існує …

27 optimization  derivative  tensorflow  automatic-differentiation 

майже в усіх прикладах коду, який я бачив у VAE, функції втрат визначаються наступним чином (це тензорфловий код, але я бачив подібне для theano, факела тощо. Це також для convnet, але це також не надто актуально , просто впливає на осі, на які беруться суми): # latent space loss. KL …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Нещодавно я бігав і вивчав тензорний потік і отримав кілька гістограм, які не знав, як інтерпретувати. Зазвичай я вважаю висоту брусків як частоту (або відносну частоту / рахунки). Однак мене не бентежить той факт, що немає барів, як у звичайній гістограмі, і той факт, що речі затінені. також здається, що …

23 machine-learning  neural-networks  conv-neural-network  tensorflow 

Я грав у простій Нейронній мережі з лише одним прихованим шаром, від Tensorflow, і тоді я спробував різні активації для прихованого шару: Relu Сигмоїдний Softmax (ну зазвичай softmax використовується в останньому шарі ..) Relu забезпечує найкращу точність поїздів та точність перевірки. Я не впевнений, як це пояснити. Ми знаємо, що …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

Я експериментую трохи автокодерами, і за допомогою tensorflow я створив модель, яка намагається відновити набір даних MNIST. Моя мережа дуже проста: X, e1, e2, d1, Y, де e1 і e2 - це кодуючі шари, d2 і Y - декодуючі шари (а Y - реконструйований вихід). X має 784 одиниці, e1 …

21 mse  autoencoders  tensorflow  cross-entropy 

Під час впровадження ResNet Tensorflow я вважаю, що вони використовують ініціалізатор дисперсійного масштабування, а також ініціалізатор xavier є популярним. Я не маю надто багато досвіду щодо цього, що краще на практиці?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Щодо мовлення нейронної мережі (y = вага * x + зміщення), як я можу знати, які змінні важливіші за інші? У мене є нейронна мережа з 10 входами, 1 прихованим шаром з 20 вузлами та 1 вихідним шаром, який має 1 вузол. Я не впевнений, як знати, які вхідні змінні …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Я переглядаю такий блог у нейронній мережі LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор переробляє вхідний вектор X як [зразки, часові кроки, особливості] для різної конфігурації LSTM. Автор пише Дійсно, послідовності літер є часовими кроками однієї ознаки, а не одним часовим кроком окремих ознак. Ми надали більше контексту для мережі, але не більше послідовності, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Tensorflow має приклад навчального посібника щодо класифікації CIFAR-10 . У підручнику середня поперечна втрата ентропії по всій партії зведена до мінімуму. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D …

17 neural-networks  loss-functions  tensorflow