Поради та рекомендації для початку статистичного моделювання?

Я працюю в галузі видобутку даних і мало офіційне навчання статистики. Останнім часом я читав багато робіт, присвячених байєсівським парадигмам для вивчення та видобутку, які мені здаються дуже цікавими.

Моє запитання: (у кількох частинах), враховуючи проблему, чи існує загальна рамка, за якою можна побудувати статистичну модель? Які перші дії ви робите, отримуючи набір даних, з яких ви хочете змоделювати базовий процес? Чи є там хороші книги / навчальні посібники, які пояснюють цей процес чи це питання досвіду? Чи є висновок на перший план у вашій думці під час побудови вашої моделі чи ви спочатку прагнете описати дані, перш ніж хвилюватися про те, як використовувати їх для обчислення?

Будь-яке розуміння буде дуже вдячне! Дякую.

У статистиці, як у Data Mining, ви починаєте з даних та мети. У статистиці велика увага приділяється висновкам, тобто відповіді на запитання рівня населення за допомогою вибірки. При обробці даних основна увага приділяється прогнозуванню: ви створюєте модель зі свого зразка (навчальні дані), щоб передбачити дані тесту.

Процес статистики - це:

1. Вивчіть дані за допомогою підсумків та графіків - залежно від того, як статистик керується даними, деякі будуть більш відкритими, дивлячись на дані з усіх ракурсів, а інші (особливо соціологи) будуть дивитись на дані через об'єктив питання, що цікавить (наприклад, сюжет особливо змінних, що цікавлять, а не інших)

   1. Виберіть відповідне сімейство статистичних моделей (наприклад, лінійна регресія для безперервної Y, логістична регресія для двійкової Y або Пуассона для даних підрахунку) та виконайте вибір моделі

   2. Оцініть кінцеву модель

   3. Тестування припущень моделей, щоб переконатися, що вони доцільно виконані (відмінні від тестування на точність прогнозування при обробці даних)

   4. Використовуйте модель для висновку - це головний крок, який відрізняється від пошуку даних. Слова "р-значення" надходить сюди ...

Погляньте на будь-який підручник з основними статистичними даними, і ви знайдете розділ «Дослідницький аналіз даних» з подальшими деякими розподілами (які допоможуть обрати розумні моделі наближення), потім висновки (довірчі інтервали та тести гіпотез) та регресійні моделі.

Я описав вам класичний статистичний процес. Однак у мене з цим багато питань. Орієнтація на висновок повністю домінувала в полях, тоді як передбачення (що є надзвичайно важливим і корисним) майже нехтується. Більше того, якщо ви подивитесь, як соціальні вчені використовують статистику для висновку, ви побачите, що вони використовують її зовсім по-іншому! Більше про це можна дізнатися тут

Що стосується книг, "Елементи статистичного навчання" Хасті, Тібширані та Фрідмана дуже хороші.

Повна книга доступна на веб-сайті авторів ; ви можете поглянути, щоб переконатися, чи він взагалі підходить для ваших потреб.

Що стосується (он-лайн) посилань, я б рекомендував переглянути підручники Ендрю Мура щодо статистичного обміну даними .

Існує багато підручників з видобутку даних та машинного навчання; можливо, хорошим початком є Принципи обміну даними , від Hand et al., та Вступ до машинного навчання , від Alpaydin.

Найкраща знайдена нами байесівська книга - це аналіз даних - навчальний посібник Байєса . Це цілком практично.