Які класичні позначення статистики, лінійної алгебри та машинного навчання? І які зв’язки між цими позначеннями?

Коли ми читаємо книгу, розуміння позначень відіграє дуже важливу роль у розумінні змісту. На жаль, різні спільноти мають різні умовні позначення для формулювання моделі та проблеми оптимізації. Чи міг би хтось узагальнити деякі формулювальні позначення тут і навести можливі причини?

Я наведу приклад тут: У літературі лінійної алгебри класичною книгою є вступ Странга до лінійної алгебри . Найбільш використовувані позначення в книзі

Де $A$ - матриця коефіцієнтів , $x$ - розв'язувані змінні, а $b$ - вектор правої частини рівняння . Причина книга вибрати це позначення є основним завданням лінійної алгебри є рішення лінійної системи і з'ясувати , що вектор $x$ . Враховуючи таку формулювання, проблема оптимізації OLS є

У статистиці або машинному навчанні грамотних (з книги « Елементи статистичного навчання» ) люди використовують різні позначення, щоб представляти одне і те ж:

Де - матриця даних , - коефіцієнти або ваги, які слід вивчити , y - відповідь. У Причина люди використовують це тому , що люди в статистиці або машинного навчання спільноти керованих даними , тому дані і реакція найбільш цікава річ для них, де вони використовують X і Y представляють.$X$$\beta$$y$$X$$y$

Тепер ми можемо побачити, що все можливе плутанина може бути там: $A$ в першому рівнянні такий же, як і $X$ у другому рівнянні. А у другому рівнянні $X$ не потрібно щось вирішувати. Також для термінів: $A$ - матриця коефіцієнтів у лінійній алгебрі, але це дані в статистиці. $\beta$ також називають "коефіцієнтами".

Крім того, я згадав, що $X \beta=y$ не є саме тим, що люди широко застосовують у машинному навчанні, люди використовують напіввекторизовану версію, яка підсумовує всі точки даних. Як от

Я думаю, що причина цього в тому, що це добре, коли говорити про стохастичний градієнтний спуск та інші різні функції втрат. Також стислі позначення матриці зникають для інших задач, ніж лінійна регресія.

Матричне позначення для логістичної регресії

Чи може хтось дати більше резюме на позначеннях, що перетинають різну літературу? Я сподіваюся, що розумні відповіді на це питання можуть бути використані як хороший орієнтир для людей, які читають книги, що перетинають різну літературу.

будь ласка, не обмежуйтеся моїм прикладом і . Є багато інших. Як от$A x=b$$X \beta=y$

Чому існує дві різні логістичні формулювання втрат / позначень?

Можливо, пов'язане питання: "Які слова вживаються різними мовами, і які зв'язки між цими словами?"

Позначення є певним чином схожим на мову:

• Деякі слова мають регіональне значення; деякі слова широко розуміються.
• Як потужні нації поширюють свою мову, успішні галузі та впливові дослідники поширюють своє уявлення.
• Мова розвивається з часом: мова має поєднання історичного походження та сучасного впливу.

Ваше конкретне запитання ...

• Я б не погоджувався з вашою твердженням, що вони виконують "абсолютно різні позначення". І і для позначення матриць використовують великі літери. Вони не такі різні.$X\boldsymbol{\beta} = \boldsymbol{y}$$A\mathbf{x} = \mathbf{b}$
• Машинне навчання дуже пов'язане зі статистикою, великим і зрілим полем. Використання для представлення матриці даних майже напевно є найбільш читаною, найбільш стандартною умовою, яку слід дотримуватися. У той час як є стандартним для вирішення лінійних систем, це НЕ як люди роблять статистику писати нормальні рівняння. Ви спробуєте заплутатися у своїй аудиторії, якщо спробуєте це зробити. Коли в Римі ...$X$$A\mathbf{x} = \mathbf{b}$
• У певному сенсі суть вашого переглянутого питання полягає в тому, "Які історичні джерела статистики використовують букву для подання даних, а літеру для відображення невідомої змінної, яку слід вирішити?" $x$$\beta$
  • Це питання до істориків-статистиків! Коротко пошукаючи, я бачу, що впливовий британський статистик та кембриджський академік Удні Юле використовував для представлення даних у своєму Введенні до теорії статистики (1911). Він написав рівняння регресії у вигляді , причому найменші квадрати як мінімізація , і з рішенням . Принаймні, це повертається до того часу ...$x$$x_1 = a + bx_2$$\sum\left( x_1 - a - bx_2\right)^2$$b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
  • Ще більш впливовий Р. А. Фішер використав для залежної змінної та для незалежної змінної у своїй книзі « Статистичні методи для дослідників 1925 року» . (Підказка на капелюх до @Nick Cox для надання посилання з інформацією.)$y$$x$

Гарне позначення - це як гарна мова. Уникайте польового жаргону, коли це можливо. Напишіть у математичному еквіваленті високої англійської мови BBC, мовою, зрозумілою більшості тих, хто говорить англійською. Потрібно, коли це можливо, писати, використовуючи чіткі та зрозумілі позначення.