Чи схвалив журнал Science «Сад форкінгу патетів»?

Ідея адаптивного аналізу даних полягає в тому, що ви змінюєте свій план аналізу даних, коли ви дізнаєтесь більше про них. Що стосується дослідницького аналізу даних (EDA), це, як правило, гарна ідея (ви часто шукаєте непередбачені зразки в даних), але для підтверджуючого дослідження це широко сприймається як дуже хибний метод аналізу (якщо не всі кроки чітко визначені та належним чином сплановані наперед).

При цьому, адаптивний аналіз даних зазвичай полягає в тому, скільки дослідників насправді проводять свої аналізи, що дуже шкодить статистикам. Як таке, якби це можна було зробити статистично обґрунтованим чином, це зробило б революційну статистичну практику.

Наступна стаття Science стверджує, що знайшла спосіб зробити таке (прошу вибачення за платну стіну, але якщо ви перебуваєте в університеті, ви, ймовірно, маєте доступ): Dwork et al, 2015, Проведення повторного використання: Збереження дійсності в адаптивному аналізі даних .

Особисто я завжди скептично ставився до статистичних статей, опублікованих у Science , і ця не відрізняється. Насправді, прочитавши статтю двічі, включаючи додатковий матеріал, я не можу зрозуміти (взагалі), чому автори стверджують, що їх метод перешкоджає надмірному розміщенню.

Я розумію, що у них є набір даних про тримання, який вони повторно використовуватимуть. Вони, схоже, стверджують, що "запаленням" результатів підтверджуючого аналізу на наборі даних про тримання, запобігання надмірного пристосування буде попереджено (варто відзначити, що наплавлення, здається, просто додає шум, якщо обчислена статистика на даних тренувань є достатньо далеко з обчисленої статистики за даними про тримання ). Наскільки я можу сказати, немає жодної реальної причини, яка мала б запобігти надмірному розміщенню.

Я помиляюся, що пропонують автори? Чи є якийсь тонкий ефект, який я не помічаю? Чи наука схвалила найгіршу статистичну практику на сьогоднішній день?

Є публікація авторів у блозі, яка описує це на високому рівні.

Цитувати з початку цієї публікації:

Щоб зменшити кількість змінних та спростити наше завдання, спочатку вибираємо кілька перспективних змінних, наприклад, ті, які мають позитивну кореляцію із змінною відповіді (систолічний артеріальний тиск). Потім ми підходимо до лінійної регресійної моделі на вибраних змінних. Щоб виміряти корисність нашої моделі, ми витягли стандартний F-тест з нашого улюбленого підручника зі статистики та повідомимо про отримане p-значення.

Фрідман показав, що повідомлене р-значення сильно вводить в оману - навіть якщо дані були абсолютно випадковими, без кореляції між змінною відповіді та точками даних, ми, ймовірно, спостерігатимемо значне p-значення! Упередженість пов'язана з тим, що ми вибрали підмножину змінних адаптивно на основі даних, але ми ніколи цього не враховуємо. Існує величезна кількість можливих підмножин змінних, які ми вибрали. Сам факт того, що ми вибрали один тест над іншим, заглянувши в дані, створює зміщення вибору, що визнає недійсними припущення, що лежать в основі F-тесту.

Парадокс Фрідмана є важливим уроком. Рівень значущості стандартних процедур не охоплює величезної кількості аналізів, які можна вибрати для проведення чи опущення. З цієї причини адаптивність - одне з основних пояснень того, чому результати досліджень часто хибні, як це стверджували Гельман та Локен, які влучно називають адаптивність «садом шляхних шляхів».

Я взагалі не бачу, як їхня техніка вирішує це питання. Отож, відповідаючи на ваше запитання, я вважаю, що вони не звертаються до Саду прогулянкових шляхів, і в цьому сенсі їхня техніка примхне людей до помилкового почуття безпеки. Не сильно відрізняється від того, що сказати "я використав перехресну перевірку" багато хто - хто використав невкладене резюме - в помилковому почутті безпеки.

Мені здається, що більша частина публікацій у блозі вказує на їхню техніку як кращу відповідь на те, як уберегти учасників змагань у стилі Кагла від підйому градієнта тестового набору. Що є корисним, але не стосується безпосередньо розгалужувальних шляхів. Складається враження, що він має аромат Wolfram та Google New Science, де величезна кількість даних перейме на себе. Ця розповідь має неоднозначний досвід, і я завжди скептично ставлюсь до автоматизованої магії.

Я впевнений, що я надто спрощую цю диференціальну техніку конфіденційності тут, але ідея має сенс на високому рівні.

Коли ви отримаєте алгоритм, щоб виплюнути хороший результат (ух, точність на моєму тестовому наборі дійсно покращилася), ви не хочете відразу ж переходити до висновку. Ви бажаєте прийняти це лише тоді, коли вдосконалення значно більше, ніж попередній алгоритм. Ось причина для додавання шуму.

EDIT: Цей блог має хороші пояснення та R-коди для демонстрації ефективності шумозахисту, http://www.win-vector.com/blog/2015/10/a-simpler-explanation-of-differential-privacy/

Твердження, що додавання шуму допомагає запобігти надмірному оснащенню, справді затримує воду тут, оскільки те, що вони насправді роблять, обмежує спосіб їх використання . Їх метод насправді робить дві речі: він обмежує кількість запитань, які можна задати учасникам, і скільки кожної з відповідей розкривається про дані про проведення.

$k$$k$$n$$n/k$

$n/\sqrt{k}$$k$

Основою їх методу є взаємозв'язок між алгоритмічною стійкістю та пристосованістю, яка сягає кінця 1970-х років (Devroye і Wagner 1978). Приблизно, це говорить

$A$$X$$q=A(X)$$A$$X$$P$$q$$x$$q$$P$

$A(\cdot)$$f(A(\cdot))$$f$$q$$A$$A$

Зараз існує досить багато робіт, які аналізують, як різні процедури додавання шуму контролюють пристосування. Відносно читається такий: Руссо та Зуу ( https://arxiv.org/abs/1511.05219 ). Деякі новітні подальші документи про початкову роботу Dwork et al. також може бути корисно подивитися. (Відмова: У мене є два статті на цю тему, останній пояснює зв'язок із тестуванням адаптивних гіпотез: https://arxiv.org/abs/1604.03924 .)

Сподіваюся, що все допомагає.

Я заперечую проти вашого другого речення. Думка про те, що повний план аналізу даних слід визначити заздалегідь, є невиправданою навіть в умовах, коли ви намагаєтесь підтвердити існуючу наукову гіпотезу. Навпаки, будь-який гідний аналіз даних вимагатиме певної уваги до фактично отриманих даних. Дослідники, які вважають інакше, - це, як правило, дослідники, які вважають, що перевірка значимості - це початок і кінець аналізу даних, і це не має жодної ролі для описової статистики, графіків, оцінки, прогнозування, вибору моделі тощо. виправити свої аналітичні плани заздалегідь має сенс , так як звичайні способи , в яких р-розрахунки, що розраховуються, вимагають, щоб розмір вибірки та тести, що проводяться, приймалися заздалегідь, перш ніж побачити будь-які дані. Ця вимога стримує аналітика, а тому є однією з багатьох вагомих причин не використовувати тести на значимість.

Ви можете заперечити, що дозволити аналітикові вибирати, що робити після того, як побачити дані, дозволяє переоцінити. Так, але хороший аналітик покаже всі проведені ними аналізи, чітко скаже, яка інформація в даних використовувалася для прийняття аналітичних рішень, та використовує методи, такі як перехресна перевірка. Наприклад, звичайно чудово перекодувати змінні на основі отриманого розподілу значень, але вибираючи для деякого аналізу 3 провідники з 100, які мають найбільш близьку спостережувану асоціацію до залежної змінної, означає, що оцінки асоціації будуть позитивними упереджений, за принципом регресії до середнього. Якщо ви хочете робити вибір змінних в прогнозованому контексті, вам потрібно вибрати змінні всередині складених між собою схем перехресної перевірки або використовувати лише дані навчання.