Новий революційний спосіб передачі даних?

Наступний уривок - це інтерв'ю із стабільно успішним менеджером хедж-фондів Джаффрі Вудріфом ( майстер 2012 року) Швагера ( Wizzards Market Wizzards) (травень 2012 року):

На питання: "Які найстрашніші помилки люди роблять при обробці даних?":

Дуже багато людей вважають, що це нормально, оскільки вони використовують взіркові дані для тренінгу, а позамобільні дані для тестування. Потім вони сортують моделі, грунтуючись на тому, як вони працювали на даних проб, і вибирають найкращі для тестування на вибіркових даних. Тенденція людини полягає у тому, щоб брати моделі, які продовжують добре працювати з вибірковими даними, і вибирати ті моделі для торгівлі. Цей тип процесу просто перетворює позабіржові дані в частину навчальних даних, оскільки він вибирає моделі, які найкраще підходили за період поза вибіркою. Це одна з найпоширеніших помилок, яку роблять люди, і одна з причин того, що пошук даних, як правило, застосовується, дає жахливі результати.

Інтерв'юер запитує: "Що ти повинен робити замість цього?":

Ви можете шукати шаблони, коли в середньому всі моделі, що не є зразками, продовжують працювати добре. Ви знаєте, що у вас все добре, якщо середній показник для моделей, що не є вибіркою, становить значний відсоток від показника в вибірці. Взагалі кажучи, ви дійсно кудись потрапляєте, якщо результати поза вибіркою становлять понад 50 відсотків від вибірки. Бізнес-модель QIM ніколи б не працювала, якби SAS та IBM будували чудове програмне забезпечення для прогнозування.

Мої запитання
Чи це має сенс? Що він означає? Чи є у вас підказки - чи, можливо, навіть назва запропонованого методу та деякі посилання? Або цей хлопець знайшов святий грааль, якого ніхто більше не розуміє? Він навіть каже в цьому інтерв'ю, що його метод може потенційно революціонувати науку ...

Чи має це сенс ? Частково.

Що він означає? Будь-ласка, запитайте його.

Чи є у вас підказки - чи, можливо, навіть назва запропонованого методу та деякі посилання?

Перехресне підтвердження. http://en.wikipedia.org/wiki/Cross-validation_(statistics)

Або цей хлопець знайшов святий грааль, якого ніхто більше не розуміє? Ні.

Він навіть каже в цьому інтерв'ю, що його метод може потенційно революціонувати науку ... Можливо, він забув включити посилання на це твердження ...

Не впевнений, чи будуть відповіді на інші "рейтингові" відповіді, але ось мій.

Перехресне підтвердження жодним чином не є "новим". Крім того, крос-валідація не використовується, коли знайдені аналітичні рішення. Наприклад, ви не використовуєте перехресну перевірку для оцінки бета-версій, ви використовуєте OLS або IRLS або якесь інше "оптимальне" рішення.

Те, що я бачу як очевидно очевидний пробіл у цитаті, - це не посилання на жодне поняття про фактичну перевірку "найкращих" моделей, щоб побачити, чи мають вони сенс. Взагалі, хороша модель має сенс на якомусь інтуїтивному рівні. Схоже, твердження полягає в тому, що резюме - це срібна куля для всіх проблем передбачення. Там також не говорити від установки на більш високому рівні структури моделі - ми використовуємо SVM , регресія дерева , Підвищуючи , Bagging , МНК , GLMS , GLMNS. Чи регулюємо ми змінні? Якщо так, як? Чи групуємо змінні разом? Чи хочемо ми стійкості до розрідженості? Чи є у нас аутлаєри? Чи слід моделювати дані в цілому або по шматочках? Занадто багато підходів для вирішення на основі резюме .

І ще один важливий аспект - які комп'ютерні системи доступні? Як зберігаються та обробляються дані? Чи є відсутність - як ми це враховуємо?

І ось головне: чи є у нас достатньо хороші дані, щоб зробити хороші прогнози? Чи існують відомі змінні, яких у нашому наборі даних немає? Чи є наші дані представниками того, що ми намагаємось передбачити?

$K$$K-2$

$n$$p$$n$$p$$n$$p$

Його пояснення щодо поширеної помилки в пошуку даних здається розумним. Його пояснення того, що він робить, не має жодного сенсу. Що він має на увазі, коли каже: "Загалом кажучи, ви дійсно кудись потрапляєте, якщо результати поза вибіркою становлять більше 50 відсотків від вибірки"? Тоді SAS і IBM з поганою обробкою також не виглядають дуже розумними. Люди можуть мати успіх на ринку, не розуміючи статистики, а частиною успіху є удача. Неправильно ставитись до успішних бізнесменів так, ніби вони прогнозують гуру.

Ви можете шукати шаблони, коли в середньому всі моделі, що не є зразками, продовжують працювати добре.

Моє розуміння слова візерунків тут, він означає різні ринкові умови. Наївний підхід проаналізує всі наявні дані (ми всі знаємо, що більше даних є кращими), підготувати найкращу модель підгонки кривої, потім запустити її на всіх даних і постійно торгувати з ними.

Більш успішні менеджери хедж-фондів та алгоритмічні трейдери використовують свої знання на ринку. Як конкретний приклад, перші півгодини торгової сесії можуть бути більш мінливими. Тож вони спробують моделі на всіх своїх даних, але лише протягом перших півгодини та на всіх своїх даних, але виключаючи перші півгодини. Вони можуть виявити, що дві їх моделі добре справляються в перші півгодини, але вісім з них втрачають гроші. Тоді як, коли вони виключають цю першу півгодини, сім їх моделей заробляють гроші, три втрачають гроші.

Але замість того, щоб брати ці дві виграшні моделі та використовувати їх у перші півгодини торгів, вони кажуть: це погана пора дня для алгоритмічної торгівлі, і ми взагалі не збираємося торгувати. Решту дня вони використовуватимуть свої сім моделей. Тобто, здається, що ринок легше передбачити за допомогою машинного навчання в той час, тому ці моделі мають більше шансів надійності йти вперед. (Час дня - не єдиний малюнок; інші, як правило, пов'язані з новинними подіями, наприклад, ринок є більш мінливим до того, як будуть оголошені ключові економічні показники.)

Це моє тлумачення того, що він говорить; це може бути абсолютно неправильним, але я сподіваюся, що це все-таки корисна їжа для роздумів для когось.

Як професіонал фінансів, я знаю достатньо контексту, що ця заява не представляє ніякої неоднозначності. Фінансові часові ряди часто характеризуються зміною режиму, структурними перервами та зрушенням концепції, тому перехресне підтвердження, як це практикується в інших галузях, не є таким успішним у фінансових сферах. У другій частині він посилається на фінансову метрику - або коефіцієнт рентабельності інвестицій за коефіцієнтом Шарпа (прибуток у чисельнику), а не MSE або інша функція збитку. Якщо стратегія вибірки дає 10% прибутку, то в реальній торгівлі вона цілком реально може скласти лише 5%. "Революційна" частина, безумовно, стосується його власного підходу до аналізу, а не до цитат.