Що роблять статистики, що неможливо автоматизувати?

Чи з часом програмне забезпечення зробить статистиків застарілими? Що робиться, що неможливо запрограмувати на комп’ютер?

@ Адам, якщо ви думаєте про статистичних дослідників аналогічно тим, хто в інших галузях - людям, які ґрунтуються на існуючій методології та знаннях - то, можливо, буде чіткіше зрозуміло, що відповідь на ваше перше питання - «Ні».

Статистики, які заробляють на життя, просто застосовуючи консервовані програмні пакети, цілком можливо замінять комп'ютери на кожен крок, крім написання дискусійного розділу статті, де результати повинні бути інтерпретовані. Тож у цьому сенсі так - це могло б бути автоматизованим (хоча це повинно було бути складним програмним забезпеченням, яке має пекло природного мовного процесора).

Однак, як більшість дослідників зрештою з'ясовує, "консервовані" процедури, які люди часто використовують, досить обмежені і повинні бути модифіковані (або нові методи повинні бути повністю розроблені) для відповіді на спеціалізовані дослідницькі питання - саме тут людський аспект статистики незамінний . Або дослідник повинен просто вирішити дещо інше, але пов'язане з цим питання дослідження, на яке можна відповісти класичними методами.

Більшість статистиків, яких я знаю, працюють у науково-дослідних роботах (наприклад, професори, науковці), де їх основна роль полягає у розробці нової методології. Якщо цей процес міг би бути автоматизованим, це означає, що комп'ютер може сформулювати та запустити корисну нову методологію, то я боюся, що дослідники в кожній галузі були б застарілими.

Комп'ютери зроблять статистику застарілою лише тоді, коли сильний ШІ зробить людину в цілому застарілою.

Питання нагадує мені питання про те, "Якщо існують усі ці надійні статистичні методи, чому люди все ще використовують інші методи?" Частина відповіді - це звичка та тренування, але багато в чому полягає в тому, що питання є наївним: "надійна" не означає "вам не потрібно думати і розуміти, що ви робите", як випливає з питання.

Я маю на увазі, ви можете скачати пакет статистики R сьогодні і робити будь-яку основну статистичну техніку вже до ночі. Потім ви можете завантажити пару пакунків і почати використовувати методи настільки езотеричні, що більшість з нас навіть не чули про них. Питання: чи отримаєте ви розумні відповіді? Відповідь: напевно, ні.

Алгоритми автоматизовані, але вам все одно доведеться робити багато викликів судження по всьому слідчому шляху: від плану нападу до остаточного судження про те, чи мають результати насправді сенс. Щоб дійти до цього пункту, ви справді говорите про комп’ютери, подібні до Star-Trek, де ви можете сказати: "Комп'ютер, скажи мені ...", завдяки чому майже кожне людське покликання застаріле.

Що може зробити статистик, що комп'ютер не може? Напишіть оригінальну програму, яку вони замінять.

Крім цього дещо нерозумної відповіді, корінь питання полягає в ігноруванні фактичної науки про статистику на користь її механіки і повністю дисконтує роль творчого процесу в статистичному аналізі. Це на прикладі автомобіля Пітера Флома, як, наприклад, кажуть, що автомобілі побудовані за допомогою заклепок і зварних швів, тому немає ніяких причин, щоб новий Mustang не міг бути спроектований клепами та зварюванням роботів.

Величезна кількість статистичних даних передбачає експертизу предметів, виклики суджень та креативність. "Консервований" аналіз, що працює на алгоритмі, часто не дає найкращої відповіді, і є безліч документально підтверджених прикладів, коли використання автоматизованих методів насправді дає неправильну відповідь - або, принаймні, не ту відповідь, яку ви думаєте, що отримуєте. Використання поетапних процедур вибору змінних на основі величини p та значення, заснованих на суто числових квантових квантилах, - це два, з якими я найбільше знайомий, але я впевнений, що ви можете знайти безліч інших.

Навіть якщо все, що все ще було якось автоматизовано, є питання інтерпретації результатів. Робота статистика (або статистично схильного вченого) не виконується, коли ви отримуєте коефіцієнт регресії або p-значення. Що це знайти середнє . Що таке застереження? Що це означає у контексті того, що було раніше?

Нарешті, у вас є розробка нових методів. Статистика - це не те, що давно було просто викладено людьми, чиї імена ми впізнаємо - Фішер, Кокс і т. Д. Це поле, що розвивається, і ви не можете запрограмувати новий метод в комп'ютер, поки людина сама не розробить метод.

Іншим способом інтерпретації цього питання може бути: "чи стрімке зростання автоматизованих статистичних методик в останні роки відповідало зменшенню попиту на роботу на виділених статистиків та аналітиків даних?"

Ми можемо вирішити це питання, переглянувши дані

Дані люб'язно опубліковано в блозі zaista.com і революцій

Я не повністю згоден з передумовою питання, тобто я думаю, що немає жодного способу, яким комп’ютери могли б сподіватися замінити статистиків, але навести конкретний приклад, чому я вважаю, що:

Робота, яку проводять статистики з вченими, зокрема, в розробці та інтерпретації експериментів, вимагає не лише людського розуму, але навіть філософського викривлення, яке неможливо уявити комп'ютерам.

Якщо, звичайно, ми не опинимось у ситуації, що стосується типу Skynet, я, звичайно, тоді я вважаю, що всі ставки, мабуть, не стосуються майбутнього всього людства, не маючи на увазі лише статистиків :-)

Питання натякає наївне уявлення статистиків - що це все, щоб перевірити, чи є ap <0,05, і повідомити про деякі числа та стандартні графіки. Якщо це ви маєте на увазі під статистикою, то ви сумніваєтесь у тому, що значна частина цього може бути повністю автоматизована. Але це не те, що означає статистик.

Визначте свій термін статистик, і ви можете отримати кращі відповіді.

Завантаження пакету статистики на комп’ютер не робить вас статистиком більше, ніж придбання автомобіля дає змогу керувати автомобілем.

Навіть якщо статистик просто застосовує "консервовані" процедури, виникає багато питань.

1. Яка рутина? Яка рутина відповість на запитання клієнта?
2. З якими змінними? і чи повинні вони перетворюватися? Чи слід поєднувати деякі рівні? Що слід примусити до моделі?
3. З якими даними? Чи слід видалити залишків? Обрізаний? Можливо, надійний метод?

і так далі.

Але завдання починається до того, як комп’ютер увімкнено, і закінчується довго після вимкнення статистичного пакету.

Перед: Що хоче зробити клієнт? Часто це велика робота! Які дані має клієнт? Ой вей! Змінні позначені від V1 до V828171 Які це? Який стан літератури? Що очікує клієнт? Наскільки це повинно бути технічним?

Після того, як : Що результати означають ? (а не лише "це означає, що регресія є істотною") Як слід пояснити результати клієнту? Які ще питання викликають результати?

Думаю, пройде багато часу, перш ніж комп'ютери зможуть це зробити.

Академічні дослідження, які вивчають ймовірність автоматизації різних професій чи завдань, не вважають, що статистиків незабаром замінять комп'ютери. Дивіться, наприклад, суперечливе дослідження Frey & Osborne (2013), яке займає класифікацію професій відповідно до їхньої ймовірності комп’ютеризації, статистики займають низьке 213 місце із 702 з вірогідністю 22% (див. Таблицю в додатку). Якщо вас більше цікавить, дивіться також статтю Шифер тут .

Arntz та ін. (2016) ( тут стаття The Economist) розглядає завдання, а не професії для Європейського Союзу, і приходить до аналогічного висновку: ведення "складної математики або статистики" статистично суттєво негативно пов'язане з автоматизацією роботи (див. Таблицю 3).

Але доцільна деяка обережність, науковці та / або економісти не завжди були дуже гарними у прогнозуванні майбутнього (нобелівський лауреат Роберт Лукас, наприклад, укладений у 2003 році, за кілька років до фінансових криз, що "центральна проблема запобігання депресії як вирішено для всіх практичних цілей і фактично вирішується протягом багатьох десятиліть. " ). Обидва дослідження представляються робочим документом, який широко обговорюється, але не публікується у стандартних рецензованих журналах.

Щодо академічних дебатів, тут можна знайти оглядову статтю про стан досліджень з автоматизації.

Я думаю, що AI лише зробить статистиків розумнішими та конкурентоспроможнішими. Чому? Тому що це задум штучного інтелекту з моменту їх зачаття багато десятиліть тому ...