Мені подобається це питання, тому що це стосується політики, яка існує в кожній організації. На мій погляд, і значною мірою очікування щодо продуктивності моделі є функцією культури та ступеня, до якої організація є "технічно грамотною". Один із способів зрозуміти, що я маю на увазі, - це розглянути відмінності між 4-ма великими "науковими даними" сутностями - Google, FB, Amazon та Yahoo - порівняно з 4-ма великими агентствами, що займають організацію - WPP, Omnicon, Interbrand та Publicis. Google та ін. Дуже технічно грамотні. З іншого боку, відомо, що агенції схиляються до технічної фобії. Які докази цього? По-перше, технічно грамотну групу було засновано або керують інженери, комп'ютерні вчені, вундеркінги та люди з сильним технічним досвідом. Хто керує неграмотними компаніями? Маркетологи, які піднялися на видатність завдяки м'якому спілкуванню та вмінням людей. І не тільки це, працюючи в деяких із цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як не «пристосовані» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову кришку. Це чітке твердження про очікування ринку, і для неграмотних це не високо. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? працюючи в деяких з цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як такі, що не «підходять» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? працюючи в деяких з цих магазинів в Нью-Йорку, я можу засвідчити, що ці організації систематично карають та / або витісняють високотехнічно грамотні типи як такі, що не «підходять» до культури. Далі, розглянемо їх сукупний обсяг (фондового) обмеження на ринку. Технограмотна група додає приблизно 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? якщо врахувати їх сукупний обсяг (фондового) обмеження на ринку, то грамотна група приносить близько 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів? якщо врахувати їх сукупний обсяг (фондового) обмеження на ринку, то грамотна група приносить близько 800 мільярдів доларів, тоді як неграмотна група - 80 мільярдів. Технограмотні суб'єкти на 10 разів більше, ніж інші, які мають ринкову обмеженість. Це чітке висловлення очікувань ринку, і це неписьменно. Отже, шляхом екстраполяції, яку надію ви можете оскаржити на очікування "точності прогнозування" таких бозосів?
Отже, враховуючи той культурний прорив і залежно від того, куди ви падаєте, у вас повинні бути більш-менш реалістичні очікування. Звичайно, різні "неграмотні" суб'єкти матимуть менеджерів, які знають, що роблять, але здебільшого в цих структурах переважає ідіотизм найнижчого загального знаменника технічних навичок, тобто людей, які в кращому випадку є технічними напівграмотні (і небезпечні) або, звичайно, зовсім незліченні, але цього не знаю. У конкретному випадку, я працював над хлопцем, який хотів слова, схожі на "кореляція", вичищені з колод c-suite. Це крайній випадок: адже кожен секретар знає, що таке "кореляція".
Це ставить питання про те, як можна мати справу з безумно наївними та незліченними, коли вони задають справді німецьке запитання на кшталт "Чому ти не отримуєш 99% точності прогнозування?" Хороша відповідь - відповісти на запитання типу "Чому ви вважаєте, що такий нереально високий рівень ПТ навіть можливий?" Інший може бути: "Тому що, якби я фактично отримав 99% ПА, я б припустив, що я щось роблю не так". Це, ймовірно, правда, навіть при 90% ПТ.
Тут є більш фундаментальний питання про наполягання на ПА як єдиному критерії вартості моделі. Покійний Лео Брейман залишив багато слідів у спільноті статистичного та прогнозного моделювання, однією з яких є ПТ. Його головна турбота щодо ПА полягала у тому, щоб звернутися до багатьох критичних зауважень у 90-х роках щодо нестабільності та помилок, властивих керуванню одним деревом CART. Його рішення полягало в мотивації «випадкових лісів» як приблизного та попереднього методу, який би максимізував точність та зменшив нестабільність шляхом усунення структури дерева. Він порівняв нижчий MSE від ~ 1000 ітеративних РЧ «міні-моделей» проти помилки однієї логістичної регресійної моделі. Єдина проблема полягала в тому, що він ніколи не намагався згадати яскраві яблука для порівняння апельсинів:
Премія Netflix за 2008 рік запропонувала значну грошову винагороду будь-якому статистику чи команді, здатній покращити стан MSE своєї системи рекомендацій. У той час Netflix витрачав 150 мільйонів доларів на рік на цю систему, переконавшись, що витрати були більш ніж повернені на лояльність клієнтів та придбання фільмів, які інакше ніколи б не були обрані. Учасники переможців використали складний ансамбль із 107 різних моделей.
Як дізнався Netflix, справжньою проблемою було те, що з точки зору повністю завантаженої вартості фактичне поліпшення помилок у порівнянні з їхньою моделлю було лише 0,005% зниженням 5-бальних рейтингів. Не кажучи вже про те, що витрати на ІТ в часі, важкий підйом та обслуговування переможного ансамблю із 107 моделей більше ніж анулюють будь-які вигоди від зменшення помилок. Враховуючи це, Netflix врешті відмовився від пошуку MSE, і більше призів Netflix не було присуджено
І в цьому справа: мінімізація помилок прогнозування може бути легко ігровою або хакерською, і схильна до шахрайства з аналітиком (тобто, знайти рішення, яке прославить навички моделювання аналітика, позитивно впливаючи на його потенційний бонус на кінець року). Більше того, це цілком статистичне рішення та цілі, поставлені в економічному та діловому вакуумі. Показник забезпечує незначний або взагалі не враховує допоміжні, заставні витрати - цілком реальні операційні наслідки, оцінені від А до Я, які повинні бути невід'ємною частиною будь-якого повного завантаженого процесу, прийнятого на основі компромісу.
Це стало одним із тих питань, які закладені в організації і які дуже і дуже важко змінити. Іншими словами, я цілком усвідомлюю, що я нахиляюся на вітряках із цією скандалом про застереження із застосуванням ПА.