Як ви керуєте очікуванням на роботі?


22

З усього голосу навколо наукових даних, машинного навчання та всіх історій успіху існує багато виправданих, а також завищених очікувань від науковців даних та їх прогнозних моделей.

Моє запитання до практикуючих статистиків, експертів машинного навчання та науковців даних - як ви керуєте очікуваннями бізнесменів вашої компанії, особливо щодо точності прогнозування моделей? Тобто, якщо ваша найкраща модель може досягти 90% точності, а керівництво очікує не менше 99%, як ви вирішите такі ситуації?


1
Приємне запитання! Але, мабуть, має бути вікі спільноти
Олексій Григорьов

1
Приємне запитання. Був там, зробив (і робив) що: D
Світанок33

Відповіді:


11

Раціональні ділові люди не платять за точність, вони платять будь-якому

  • заощадити гроші на прибутковому процесі (тим самим зробивши його більш вигідним) або
  • створення нових грошей (створення нових прибуткових процесів).

Отже, будь-який проект, який було здійснено, повинен бути складений у термінах, які це відображають. Перший крок - це завжди зрозуміти, над яким із двох процесів ви працюєте, і ви повинні мати чітке уявлення про те, як це можна досягти, маючи на увазі, що при просуванні деталі того, як ви це зробите, можуть змінитися.

Якщо ви зможете підвищити точність процесу, ви, ймовірно, можете заробити гроші на фірмі, і ділові люди вкладуть гроші у ваш прогрес. Єдина раціональна причина, яку бізнес-бізнес може наполягати на наполяганні на 99-відсотковій точності та відхиленні 90 відсотків, це якщо вони вже мали спосіб зробити це краще, ніж 90 відсотків. Якщо це так, вони, звичайно, виправдовують свою позицію.

Розуміння та представлення ділових випадків проектів, над якими ви працюєте, з точки зору, які ділові люди розуміють, є частиною процесу дозрівання будь-якого інженера. Це зовсім не властиво Data Science, хоча Data Science має деякі унікальні аспекти (наприклад, нижча зрілість, але більша ймовірність випадкового відкриття серединності - принаймні, в сучасних умовах.

Відповідний процес, близький до Data Science, який робить цей крок явним, можна знайти тут: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Але більшість корпоративних структур архітектури аналогічно застосовні.


1
Чудово зроблено. Ваша відповідь начебто обмежує очікування від реальності. Браво!
без

Як не дивно, публікація тут не зареєстрована в моїх пунктах.
Майк Мудрий

10

Збирайте конкурентні аналоги. Спробуйте визначити сучасний стан і подивіться, як ваші моделі порівнюються з цим. Це також сильно залежить від того, як довго ваша команда працювала над цим. Науково-орієнтовані моделі не створюються статично, вони динамічно розвиваються, тому що хороший вчений завжди намагатиметься знайти шляхи його вдосконалення.

Персонал вищого керівництва повинен знати, що науковець досліджує нові методи, іноді / часто, не знаючи їх якості. Вони повинні знати, що методи машинного навчання не створюють ідеальних моделей відразу. Якби вони це зробили, це все одно не буде складним завданням.

Науковця даних слід оцінювати, як він виправдовує та обговорює свої результати та як планує майбутнє. Спосіб управління персоналом може впоратися зі своїми очікуваннями - не мати нереально високих.

Але якщо очікуються розумні результати в контексті, подумайте над цими питаннями:

  1. Чи покращилися / чи покращаться результати з часом?
  2. Чи позитивні майбутні очікування?
  3. Наскільки добре результати порівняно з аналогічними системами (у конкурентів)?

5

Мені подобається це питання, тому що це стосується політики, яка існує в кожній організації. На мій погляд, і значною мірою очікування щодо продуктивності моделі є функцією культури та ступеня, до якої організація є "технічно грамотною". Один із способів зрозуміти, що я маю на увазі, - це розглянути відмінності між 4-ма великими "науковими даними" сутностями - Google, FB, Amazon та Yahoo - порівняно з 4-ма великими агентствами, що займають організацію - WPP, Omnicon, Interbrand та Publicis. Google та ін. Дуже технічно грамотні. З іншого боку, відомо, що агенції схиляються до технічної фобії. Які докази цього? По-перше, технічно грамотну групу було засновано або керують інженери, комп'ютерні вчені, вундеркінги та люди з сильним технічним досвідом. Хто керує неграмотними компаніями? Маркетологи, які піднялися на видатність завдяки м'якому спілкуванню та вмінням людей. І не тільки це, працюючи в деяких із цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як не «пристосовані» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову кришку. Це чітке твердження про очікування ринку, і для неграмотних це не високо. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? працюючи в деяких з цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як такі, що не «підходять» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? працюючи в деяких з цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як такі, що не «підходять» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? якщо врахувати їх сукупний обсяг (фондового) обмеження на ринку, то грамотна група приносить близько 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? якщо врахувати їх сукупний обсяг (фондового) обмеження на ринку, то грамотна група приносить близько 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів?

Отже, враховуючи той культурний прорив і залежно від того, куди ви падаєте, у вас повинні бути більш-менш реалістичні очікування. Звичайно, різні "неграмотні" суб'єкти матимуть менеджерів, які знають, що роблять, але здебільшого в цих структурах переважає ідіотизм найнижчого загального знаменника технічних навичок, тобто людей, які в кращому випадку є технічними напівграмотні (і небезпечні) або, звичайно, зовсім незліченні, але цього не знаю. У конкретному випадку, я працював над хлопцем, який хотів слова, схожі на "кореляція", вичищені з колод c-suite. Це крайній випадок: адже кожен секретар знає, що таке "кореляція".

Це ставить питання про те, як можна мати справу з безумно наївними та незліченними, коли вони задають справді німецьке запитання на кшталт "Чому ти не отримуєш 99% точності прогнозування?" Хороша відповідь - відповісти на запитання типу "Чому ви вважаєте, що такий нереально високий рівень ПТ навіть можливий?" Інший може бути: "Тому що, якби я фактично отримав 99% ПА, я б припустив, що я щось роблю не так". Це, ймовірно, правда, навіть при 90% ПТ.

Тут є більш фундаментальний питання про наполягання на ПА як єдиному критерії вартості моделі. Покійний Лео Брейман залишив багато слідів у спільноті статистичного та прогнозного моделювання, однією з яких є ПТ. Його головна турбота щодо ПА полягала у тому, щоб звернутися до багатьох критичних зауважень у 90-х роках щодо нестабільності та помилок, властивих керуванню одним деревом CART. Його рішення полягало в мотивації «випадкових лісів» як приблизного та попереднього методу, який би максимізував точність та зменшив нестабільність шляхом усунення структури дерева. Він порівняв нижчий MSE від ~ 1000 ітеративних РЧ «міні-моделей» проти помилки однієї логістичної регресійної моделі. Єдина проблема полягала в тому, що він ніколи не намагався згадати яскраві яблука для порівняння апельсинів:

Премія Netflix за 2008 рік запропонувала значну грошову винагороду будь-якому статистику чи команді, здатній покращити стан MSE своєї системи рекомендацій. У той час Netflix витрачав 150 мільйонів доларів на рік на цю систему, переконавшись, що витрати були більш ніж повернені на лояльність клієнтів та придбання фільмів, які інакше ніколи б не були обрані. Учасники переможців використали складний ансамбль із 107 різних моделей.

Як дізнався Netflix, справжньою проблемою було те, що з точки зору повністю завантаженої вартості фактичне поліпшення помилок у порівнянні з їхньою моделлю було лише 0,005% зниженням 5-бальних рейтингів. Не кажучи вже про те, що витрати на ІТ в часі, важкий підйом та обслуговування переможного ансамблю із 107 моделей більше ніж анулюють будь-які вигоди від зменшення помилок. Враховуючи це, Netflix врешті відмовився від пошуку MSE, і більше призів Netflix не було присуджено

І в цьому справа: мінімізація помилок прогнозування може бути легко ігровою або хакерською, і схильна до шахрайства з аналітиком (тобто, знайти рішення, яке прославить навички моделювання аналітика, позитивно впливаючи на його потенційний бонус на кінець року). Більше того, це цілком статистичне рішення та цілі, поставлені в економічному та діловому вакуумі. Показник забезпечує незначний або взагалі не враховує допоміжні, заставні витрати - цілком реальні операційні наслідки, оцінені від А до Я, які повинні бути невід'ємною частиною будь-якого повного завантаженого процесу, прийнятого на основі компромісу.

Це стало одним із тих питань, які закладені в організації і які дуже і дуже важко змінити. Іншими словами, я цілком усвідомлюю, що я нахиляюся на вітряках із цією скандалом про застереження із застосуванням ПА.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.