Що таке визначення "найкращий", як використовується у терміні "найкраще" та перехресне підтвердження?

Якщо ви встановите нелінійну функцію до набору точок (якщо вважати, що для кожної абсциси є лише одна ордината), результат може бути:

1. дуже складна функція з невеликими залишками
2. дуже проста функція з великими залишками

Перехресне підтвердження зазвичай використовується для пошуку "найкращого" компромісу між цими двома крайнощами. Але що означає "найкраще"? Це "найімовірніше"? Як би ви навіть почали доводити, що найімовірніше рішення?

Мій внутрішній голос говорить про те, що CV знаходить якесь мінімальне енергетичне рішення. Це змушує мене думати про ентропію, яка, як я нечітко знаю, виникає як у статистиці, так і у фізиці.

Мені здається, що "найкраще" пристосування генерується мінімізацією суми функцій складності та помилок, тобто

minimising m where m = c(Complexity) + e(Error)

Це має сенс? Якими були б функції c і e?

Будь ласка, можете пояснити, використовуючи не математичну мову, тому що я не буду розуміти багато математики.

Я думаю, що це відмінне питання. Я збираюсь парафазувати це лише для того, щоб переконатися, що я правильно це зробив:

Здавалося б, існує маса способів вибору функції покарання складності та функції покарання помилок e . Вибір "найкращий". Що найкраще навіть означає ?$c$$e$

Думаю, що відповідь (якщо така є) перенесе вас за межі просто перехресної перевірки. Мені подобається, як це питання (і тема в цілому) гарно пов'язується з бритвою Оккама та загальною концепцією парцювання, яка є фундаментальною для науки. Я аж ніяк не експерт у цій галузі, але мені здається, що це питання надзвичайно цікаве. Найкращий текст, який я знаю в таких питаннях, - це " Універсальний штучний інтелект " Маркуса Хаттера (не задайте мені жодних запитань з цього приводу, я більшість із них не читав). Я пішов на розмову Хаттера і пару років тому і був дуже вражений.

Ви праві, думаючи, що десь є мінімальний аргумент ентропії ( якийсь спосіб використовується для функції складності покарання ). Хаттер виступає за використання складності Колмогорова замість ентропії. Також визначення Хаттера як "найкращий" (наскільки я пам’ятаю) - це (неофіційно) модель, яка найкраще прогнозує майбутнє (тобто найкраще прогнозує дані, які будуть спостерігатися в майбутньому). Я не можу пригадати, як він формалізував це поняття.$c$

Я запропоную коротку інтуїтивну відповідь (на досить абстрактному рівні), поки кращу відповідь не запропонує хтось інший:

По-перше, зауважте, що складні функції / моделі досягають кращого пристосування (тобто мають нижчі залишки), оскільки вони використовують деякі локальні особливості (шум думки) набору даних, які відсутні в усьому світі (продумуйте систематичні зразки).

По-друге, при виконанні перехресної перевірки ми розділили дані на два набори: навчальний набір і набір перевірки.

Таким чином, коли ми виконуємо перехресну перевірку, складна модель може не дуже добре передбачити, оскільки за визначенням складна модель буде використовувати локальні особливості навчального набору. Однак локальні особливості навчального набору можуть бути дуже різними порівняно з локальними особливостями набору перевірок, що призводить до поганої прогнозованої роботи. Тому ми маємо тенденцію вибирати модель, яка фіксує глобальні особливості тренінгу та набори валідації даних.

Підсумовуючи, перехресне підтвердження захищає від надмірного вибору, вибираючи модель, яка фіксує глобальні зразки набору даних, і уникаючи моделей, що використовують деякі локальні особливості набору даних.

У загальному розумінні машинного навчання відповідь досить проста: ми хочемо побудувати модель, яка матиме найвищу точність при прогнозуванні нових даних (невидимих ​​під час навчання). Оскільки ми не можемо безпосередньо перевірити це (у нас немає даних про майбутнє), ми робимо моделювання Монте-Карло такого тесту - і це, в основному, ідея під перехресною валідацією.

Можливо, є деякі питання щодо того, що таке точність (наприклад, бізнес-клієнт може стверджувати, що перевищення коштує 5 євро за одиницю, і підкреслити 0,01 € за одиницю, тому краще створити менш точну, але більш підкреслену модель), але в цілому це є досить інтуїтивно зрозумілим відсотком правдивих відповідей у ​​класифікації та широко використовуваною поясненою дисперсією регресії.

Дуже багато людей мають відмінні відповіді, ось мій 0,02 дол.

Є два способи розглянути "найкращу модель" або "вибір моделі", кажучи статистично:

1 Пояснення максимально просте, але не простіше (Attrib. Einstein)

- This is also called Occam's Razor, as explanation applies here.
- Have a concept of True model or a model which approximates the truth
- Explanation is like doing scientific research

2 Прогнозування - інтерес, подібний до інженерної розробки.

- Prediction is the aim, and all that matters is that the model works
- Model choice should be based on quality of predictions
- Cf: Ein-Dor, P. & Feldmesser, J. (1987) Attributes of the performance of central processing units: a relative performance prediction model. Communications of the ACM 30, 308–317.

Широко поширена (помилкова) концепція:

Вибір моделі еквівалентний вибору найкращої моделі

Для пояснення нам слід насторожити, щоб існувало кілька (приблизно) однаково хороших пояснювальних моделей. Простота допомагає як у передачі понять, втілених у моделі, так і в тому, що психологи називають узагальненням, здатність «працювати» у сценаріях, дуже відрізняється від тих, в яких вивчалася модель. Тож є премія за кількома моделями.

Для прогнозування: (Доктор Ріплі) хорошою аналогією є вибір між думками експертів: якщо у вас є доступ до великої групи експертів, як би ви використовували їх думку?

Перехресне підтвердження дбає про аспект прогнозування. Детальніше про резюме див. У цій презентації доктора Б.Д. Ріплі, презентації доктора Брайана Д. Ріплі щодо вибору моделі

Цитування: Будь ласка, зауважте, що все у цій відповіді відбувається з цитованої вище презентації. Я великий шанувальник цієї презентації і мені це подобається. Інші думки можуть відрізнятися. Назва презентації: "Вибір серед великих класів моделей" і була проведена на симпозіумі на честь 80-річчя Джона Нельдера, Імперський коледж, 29/30 березня 2004 р., Доктор Брайан Д. Ріплі.

Тут велика дискусія, але я думаю, що перехресне підтвердження відрізняється від відповідей поки що (я думаю, що mbq і я на одній сторінці). Тож я покладу свої два центи, ризикуючи забруднити воду ...

Перехресне підтвердження - це статистична методика оцінки змінності та упередженості, зумовленої помилкою вибірки, у здатності моделі підходити та прогнозувати дані. Таким чином, "найкращою" була б модель, яка забезпечує найнижчу помилку узагальнення, яка була б в одиницях змінності та зміщення. Такі методи, як байосіанське та середнє моделювання Bootstrap, можуть використовуватися для оновлення моделі алгоритмічним способом на основі результатів крос-перевірки.

Цей FAQ дає хорошу інформацію для більш детального контексту того, що відповідає моїй думці.

Функція помилки - це помилка вашої моделі (функції) на навчальних даних. Складність є деякою нормою (наприклад, квадратом l2 норми) функції, яку ви намагаєтеся засвоїти. Мінімізація терміну складності, в основному, сприяє гладким функціям, які добре справляються не тільки з навчальними даними, але і з тестовими даними. Якщо ви представляєте свою функцію набором коефіцієнтів (скажімо, якщо ви робите лінійну регресію), то покарання складності за допомогою квадратної норми призведе до малих значень коефіцієнта у вашій функції (покарання інших норм призводить до різних понять контролю складності).

$(p,q)\geq 1,\;\lambda>0$

$(1)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p+\lambda||\beta||_q$

еквівалентно

$(2)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p$

$s.t.$ $||\beta||_q\leq\lambda$

$||\beta||_q\leq\lambda$$q=1,2$$\hat{\beta}$$\hat{\beta}$

$\lambda$$\lambda=\infty$$(x,y)$$(1)-(2)$$\lambda$$\hat{\beta}|\lambda$

$e()=||y-m(x,\beta)||_p$$p=1$$p=2$$m()$