Цікаве запитання. Це насправді не відповідь, але коментар задовгий.
Я думаю, що ваш експериментальний дизайн оскаржується з цих причин:
1) Це не відображає те, як фактично оцінюється збір запасів у реальному світі. В якості кращого прикладу, припустимо, що акціонер A вибрав 1 акцію, яка подорожчала на 1000%, і 9, яка знизилася на 1%, і інкасатор B вибрав 10 акцій, які зросли на 1%. Якби ці запаси були фактично використані для побудови індексу, то очевидно, що A був би кращим показником, але B зробив би набагато краще у вашому експерименті. Більш цікавою фінансово проблемою було б скласти портфель і порівняти його ефективність з результатами S&P 500. У свою чергу, існує загальновживаний механізм для оцінки такої ефективності: просто скористайтеся лінійною регресією щоденних повернень портфеля порівняно з рейтингом S&P. Термін перехоплення (часто його називають "альфа") вимірює середню ефективність "над ринком і вище". Оскільки це коефіцієнт лінійної регресії, то тривіальна справа побудувати 95% довірчий інтервал, якщо ви вирішите. Потім порівняйте це з гонорарами, які її банк стягуватиме за цю послугу.
2) Не зважаючи на 1, оскільки звучить так, як ви обоє вже домовились про форму експерименту, подумайте, як це можна було б грати. Припустимо, у мене був магічний оракул, який сказав мені, що ймовірність того, що кожна акція буде перевищувати її поточну ціну на місяць (скажіть). Тоді я міг просто вибрати п ять акцій з найвищими такими ймовірностями, і, швидше за все, понад 50% з них дійсно зростуть. Зараз такі ймовірності кодуються (недосконало) у різних цінах на опціони. Наприклад, я можу придбати так званий «бінарний варіант», який в основному є лише азартною групою на подію «Акція X буде вище ціни Y на дату Z». Ціноутворення таких причин передбачає ймовірність цієї події (хоча чим ближче дата Z до сьогодення, тим менш надійною вона буде). Оскільки сліпо слідувати "мудрості натовпу" не потрібна спеціальна експертиза, Я б заперечував, що виконання такої стратегії слід вважати "шансами" для вашого конкретного експерименту. Крім того, ви представляєте їй список запасів на свій вибір і даєте їй вказати, чи вважає вона, що кожен буде вгору чи вниз, разом із впевненістю у кожному передбаченні. Потім згрупуйте всі відповіді за рівнем довіри і подивіться, наскільки тісно вони вирівнюються (тобто, про ті запаси, щодо яких вона впевнена на 90%, чи правильно вона прогнозувала їх 90%?). Існує стандартний спосіб її кількісної оцінки; Я не пам’ятаю начебто того, як це називається, але ви можете прочитати про це у Супер прогнозах Філа Тетлока. і попросіть її вказати, чи вважає вона, що кожен буде вгору чи вниз, разом із впевненістю у кожному передбаченні. Потім згрупуйте всі відповіді за рівнем довіри і подивіться, наскільки тісно вони вирівнюються (тобто, про ті запаси, щодо яких вона впевнена на 90%, чи правильно вона прогнозувала їх 90%?). Існує стандартний спосіб її кількісної оцінки; Я не пам’ятаю начебто того, як це називається, але ви можете прочитати про це у Супер прогнозах Філа Тетлока. і попросіть її вказати, чи вважає вона, що кожен буде вгору чи вниз, разом із впевненістю у кожному передбаченні. Потім згрупуйте всі відповіді за рівнем довіри і подивіться, наскільки тісно вони вирівнюються (тобто, про ті запаси, щодо яких вона впевнена на 90%, чи правильно вона прогнозувала їх 90%?). Існує стандартний спосіб її кількісної оцінки; Я не пам’ятаю начебто того, як це називається, але ви можете прочитати про це у Супер прогнозах Філа Тетлока.