Розмір зразка, необхідний для визначення, який із набору рекламних оголошень має найвищу швидкість кліку

Я є дизайнером програмного забезпечення в галузі торгівлі, і працюю над проектом для клієнта, і хотів би переконатися, що мій аналіз є статистично обгрунтованим.

Розглянемо наступне: у нас є n рекламних оголошень (n <10), і ми просто хочемо знати, яке оголошення найкраще. Наш сервер оголошень буде випадково розміщувати одну з цих оголошень. Успіх - якщо користувач натискає оголошення - наш сервер це відстежує.

Дано: Інтервал довіри: 95%

Питання: Який орієнтовний розмір вибірки? (Скільки всього реклами ми повинні розміщувати), чому? (пам'ятаю, що я манекен)

Дякую

— Джонатан
джерело

Чи можете ви пояснити, що ви маєте на увазі під «помилкою помилки 5%»?

— onestop

@onestop - гарне уточнення - я його зняв із запитання. Я щойно взяв цю змінну з наступного калькулятора розміру вибірки: raosoft.com/samplesize.html Але я не думаю, що її відношення стосується цього питання. Дякую!

— Джонатан

Для багатьох тестів можна обчислити розмір вибірки таким чином, що тест досягає певної потужності, враховуючи розмір ефекту, що передбачається (фіксований). Іншими словами, ви повинні спочатку вказати ці речі: 1) який тест ви хочете використовувати? 2) якою потужністю ви хочете мати тест? умовний 3) розмір ефекту, який ви вважаєте цікавим. 1) це те, що люди, можливо, можуть вам допомогти. 2) може бути пов'язано з вказаними вами 95%. 3) однак, що ви повинні надати заздалегідь: наскільки різні ймовірності повинні бути визнані цікаво різними?

— каракал

Тож якщо мені доведеться навести більше параметрів, тут ви йдете: 1. тест на використання - не маю ідеї - у вас є пропозиції? 2. влада : навіть переглянувши визначення вікіпедії - я не знаю, як розумно відповісти на це. 3. розмір ефекту : Скажімо, на 10% краще

— Джонатан

Тест, який ви, мабуть, хочете - це точний тест Фішера . На жаль, враховуючи ймовірно дуже низьку частоту кліків і невеликий очікуваний розмір ефекту, вам знадобиться величезна кількість N для досягнення потрібного інтервалу довіри. Скажімо, що "справжній" показник кліків для вашої найкращої реклами - це11, а ваш другий кращий .1. Далі, скажімо, ви хочете, щоб ймовірність того, що ви неправильно відхилите нульову гіпотезу (про те, що між двома оголошеннями немає різниці), була меншою ніж .20. Якщо це так, вам знадобиться N порядку 10 000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Як запропонував коментатор, вам, ймовірно, не варто піклуватися про десятивідсоткові різниці в ефективності реклами. При більш великих відмінностях необхідний розмір зразків швидко зменшується.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— фрегг
джерело