Запитання з тегом «cross-entropy»

У наступній функції TensorFlow ми повинні подати активацію штучних нейронів у заключному шарі. Це я розумію. Але я не розумію, чому це називається logits? Це не математична функція? loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow  machine-learning  neural-network  deep-learning  cross-entropy 

Нещодавно я натрапив на tf.nn.sparse_softmax_cross_entropy_with_logits і не можу зрозуміти, у чому різниця порівняно з tf.nn.softmax_cross_entropy_with_logits . Єдина відмінність у тому, що навчальні вектори yповинні бути кодировані гарячими при використанні sparse_softmax_cross_entropy_with_logits? Читаючи API, я не зміг знайти жодної іншої різниці порівняно з softmax_cross_entropy_with_logits. Але навіщо нам тоді потрібна додаткова функція? Чи …

111 neural-network  tensorflow  softmax  cross-entropy 

Я знаю, що існує багато пояснень, що таке перехресна ентропія, але я все ще бентежусь. Це лише метод опису функції втрат? Чи можемо ми використовувати алгоритм градієнтного спуску, щоб знайти мінімум за допомогою функції втрат?

93 machine-learning  cross-entropy 

Проблеми класифікації, такі як логістична регресія або багатономіальна логістична регресія, оптимізують перехресну ентропію . Зазвичай шар перехресної ентропії слід за шаром softmax , який виробляє розподіл ймовірностей. У тенсорному потоці існує принаймні десяток різних функцій перехресної ентропії : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Який з них працює …

83 python  tensorflow  neural-network  logistic-regression  cross-entropy