Чому в машинному навчанні замість підписок використовуються надписи?

Я беру курс Ендрю Нґ з машинного навчання через Coursera . Для рівнянь замість підписок використовуються суперскрипти. Наприклад, у наступному рівнянні замість використовується : $x^{(i)}$ $x_i$

$J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2}$

Мабуть, це звичайна практика. Моє запитання: навіщо використовувати надписи замість підписок? Надписи вже використовуються для експоненції. Зрозуміло, я, здається, зможу розмежовувати між випадками використання верхніх сценаріїв та експоненціації, звертаючи увагу на наявність чи в дужках думок, але це все ще здається заплутаним.

machine-learning notation

— entpnerd
джерело

Я підозрюю, що це можливо тому, що деякі люди з інформатики не розбираються в стандартних математичних позначеннях, і тому складають власні позначення. Актуарі роблять це теж іноді, і страшно, коли ви переходите до складніших понять.

— rocinante

Чи є iіндексація над розміром набору даних або над елементами вектора x? Якщо перший, це абсолютно стандарт. Якщо останнє, це абсолютно нестандартно. А причина, по якій використовується суперскрипт, полягає в тому, що іноді ви хочете посилатися на елемент вектора за допомогою індексу.

— Рекс Керр

@rocinante lol немає, це тому, що підписки вже взяті для індексації векторів.

— Ніл G

@rocinante Це досить нахабно. Що щодо противаріантних векторів / позначення Ейнштейна ?

— Буде Вузден

@rocinante Мені доводиться повторювати інших, підкреслюючи, що ваше формулювання невдале. Усі ми схильні вважати те, що є місцевим та звичним, як стандарт.

— Нік Кокс

Відповіді:

Якщо позначає вектор то є стандартним позначенням для ї координати , тобто $x$ $x \in \mathbb R^m$ $x_i$ $i$ $x$

x = (x_{1}, x_{2}, \dots, x_{m}) \in R^{m} .

$x = (x_1, x_2, \ldots, x_m)\in\mathbb R^m.$

Якщо у вас є колекція з таких векторів, як би ви позначили -й вектор? Ви не можете писати , це має інше стандартне значення. Тому іноді люди пишуть і саме тому я вважаю, чому це робить Ендрю Нг. $n$ $i$ $x_i$ $x^{(i)}$

Тобто

x^{(1)} = (x_{1}^{(1)}, x_{2}^{(1)}, \dots, x_{m}^{(1)}) \in R^{m} x^{(2)} = (x_{1}^{(2)}, x_{2}^{(2)}, \dots, x_{m}^{(2)}) \in R^{m} \dots x^{(n)} = (x_{1}^{(n)}, x_{2}^{(n)}, \dots, x_{m}^{(n)}) \in R^{m} .

$\begin{equation} x^{(1)} = (x_1^{(1)}, x_2^{(1)}, \ldots, x_m^{(1)}) \in \mathbb R^m\\ x^{(2)} = (x_1^{(2)}, x_2^{(2)}, \ldots, x_m^{(2)}) \in \mathbb R^m\\ \ldots \\ x^{(n)} = (x_1^{(n)}, x_2^{(n)}, \ldots, x_m^{(n)}) \in \mathbb R^m.\\ \end{equation}$

— Амеба каже Відновити Моніку
джерело

Я не згоден, але часто

використовується, тобто для повторних вимірювань.

x_{i j}

$x_{ij}$

— Кліф АВ

Так, але

еквівалентно моєму

; що було б еквівалентом

x_{i j}

$x_{ij}$

x_{j}^{(i)}

$x^{(i)}_j$

x^{(i)}

$x^{(i)}$

— Амеба каже, що повернеться до Моніки

так, це перевага. Я думаю,

використовується іноді, але це можна переплутати з

x_{i .}

$x_{i.}$

\sum_{j = 1}^{n} x_{i j} / m

$\sum_{j= 1}^n x_{ij}/m$

— Cliff AB

Якщо ви хочете перебрати матриці, то

видається найбільш інтуїтивним способом зробити це. Тому позначення залишаються послідовними при переході від векторів до матриць.

x_{m n}^{(i)}

$x_{mn}^{(i)}$

— Джош

@JAB Так, це зробить позначення більш явними ("натяк на тип", як ви говорите). Звичайно, можна погодитися використовувати

для

-го вектора і

для

-го елемента

-го вектора. Можливі різні умовності, це лише одна з них. Я навіть не кажу, що це найкраще, просто пояснюю обґрунтування цього.

x_{i}

$x_i$

i

$i$

x_{i j}

$x_{ij}$

j

$j$

i

$i$

— Амеба каже: Відновити Моніку

Як ви заявили, використання супер-сценаріїв я вважаю, що не дуже часто зустрічається в машинній літературі. Мені доведеться переглянути нотатки курсу НГ, щоб підтвердити, але якщо він буде використовувати це, я б сказав, що він був би джерелом поширення цього позначення. Це можливість. Так чи інакше, не бути надто доброзичливим, але я не думаю, що багато студентів в мережі Інтернет публікують літературу про машинне навчання, тому це позначення не дуже поширене у власній літературі. Зрештою, це вступні курси з машинного навчання, а не курси доктора наук.

Що дуже спільно для супер-скриптів, це позначати ітерацію алгоритму за допомогою супер-скриптів. Наприклад, ви можете написати ітерацію методу Ньютона як

$\theta^{(t+1)} = \theta^{(t)} - H(\theta^{(t)}) ^{-1} \nabla \theta^{(t)}$

де - гессіан і - градієнт. $H(\theta^{(t)})$ $\nabla \theta^{(t)}$

(... так, це не зовсім найкращий спосіб реалізувати метод Ньютона через інверсію гессіанської матриці ...)

Тут представляє значення в ітерації . Це найпоширеніше (але, звичайно, не тільки) використання супер-скриптів, про які я знаю. $\theta^{(t)}$ $\theta$ $t^{th}$

EDIT: Для уточнення, в первісному питанні, виявився , припустити , що в позначеннях М.Л., був еквівалентний статистичної - х нотація. У своїй відповіді я стверджую, що це по-справжньому поширене в літературі про ML. Це правда. Однак, як вказує @amoeba, в літературі про ML є досить багато надписних нотацій, але в цих випадках зазвичай не означає спостереження одного вектора . $x^{(i)}$ $x_i$ $x^{(i)}$ $i^{th}$ $x$

— Кліф АВ
джерело

Зіткнення із застосуванням круглих чи скорбованих суперскриптів для підрахунків ітерацій (позначення, що є загальним для використання в широкому діапазоні областей) - справді важлива річ.

— Glen_b -Встановити Моніку

Він також часто використовується для позначення індексу вибірки у навчальному наборі, який є як ітерація, але не зовсім однаковий, тому що ви зазвичай закінчуєте ітерацію через свій навчальний набір багато разів.

— Рекс Керр

Я також бачив підрахунки ітерацій, помічені за допомогою підписок (

), а також у рядку (

). Ось чому, використовуючи певні позначення, я зазвичай ставлю щось на початку, щоб розібратись (наприклад, сказати "у наступній серії, бла-бла-бла", а потім покласти математику). Таким чином, якими б позначеннями не користувалися, читачі можуть (сподіваємось) інтуїти сенс для потенційно неоднозначних випадків, а не в тому, щоб здогадуватися, виходячи з відомих їм умов.

a_{n + 1} = a_{n} + 1

$a_{n+1} = a_n + 1$

a (n + 1) = a (n) + 1

$a(n+1) = a(n) + 1$

— JAB

Я згоден з @JAB. Загалом, я не думаю, що людям, які пишуть і використовують код, запозичувати нотації з програмного забезпечення в математичних методах лікування, не думаю. Наприклад, і, контерентно, люди з обчисленнями випереджають багато математичних груп у використанні чистих позначень, таких як

, що оцінюються як 1, якщо істинно, і 0, якщо помилково, замість непотрібних формалізмів, таких як

; тут я просто слідую за Дональдом Кнутом.

(x > 0)

$(x > 0)$

I (x > 0)

$I(x > 0)$

— Нік Кокс

@NickCox Я зазвичай бачу форму

тоді, коли мова йде про ймовірність; інакше

- лише обмеження нерівності. Що стосується математичних рівнянь, то вони або розбиваються на кусочні уявлення, або вони просто представляють саме рівняння як нерівність, оскільки інакше може викликати неоднозначність. (Це схоже на те, як

у математиці є більш тонким, ніж будь-яка мова, або в більшості мов програмування; вона вводить обмеження чи визначення, а не фактичне призначення чи перевірку рівності.)

I (x > 0)

$I(x > 0)$

x > 0

$x > 0$

=

$=$ ===

— JAB

Надписи вже використовуються для експоненції.

У математиці надписи використовуються ліворуч та праворуч залежно від галузі. Вибір - це завжди історична спадщина, не більше того. Хто вперше потрапив у поле, встановив умову використання під- або надзаписів.

$f(x)^{(n)}$

$R^i_i$ $i$ $j$ $T_i^k=R_i^jC_j^k$

$^i_jB_k^l$

Отже, вибір надписів від Ng теж суто історичний. Немає жодних реальних причин використовувати або не користуватися ними, або віддавати перевагу підпискам. Власне, я вважаю, що тут люди, що займаються МЛ, використовують тензорні позначення. Вони, безумовно, добре розбираються в темі, наприклад, дивіться цей документ.

— Аксакал
джерело

Ще один приклад для вашої точки зору: Позначення Ейнштейна

— Ніл G