Що сказати клієнту, який вважає, що інтервали довіри занадто широкі, щоб бути корисними?

Припустимо, я консультант і хочу пояснити своєму клієнту корисність довірчого інтервалу. Клієнт каже мені, що мої інтервали занадто широкі, щоб бути корисними, і він вважає за краще використовувати їх наполовину ширше.

Як я повинен відповісти?

Це залежить від того, що означає клієнт під «корисним». Пропозиція вашого клієнта про те, що ви довільно звужуєте інтервали, здається, відображає непорозуміння, що, звужуючи інтервали, ви якось чарівно зменшили похибку. Якщо припустити, що набір даних вже зібраний і виправлений (якщо це не так, жарт @ shabbychef в коментарях дає вам свою відповідь), будь-яка відповідь вашому клієнту повинна підкреслювати та описати, чому немає "безкоштовного обіду" і що ви які жертвуючи що - то звужуючи інтервали.

Зокрема, оскільки набір даних фіксований, єдиний спосіб зменшити ширину довірчого інтервалу - зменшити рівень довіри. Таким чином, у вас є вибір між більш широким інтервалом, який ви впевненіші, містить справжнє значення параметра або більш вузький інтервал, в якому ви менш впевнені. Тобто, більш широкі інтервали довіри більш консервативні. Звичайно, ви ніколи не можете просто безглуздо оптимізувати або ширину, або рівень довіри, оскільки ви можете вакуумно генерувати довірчий інтервал, дозволяючи йому охопити весь простір параметрів і отримати безмежно вузький інтервал довіри, хоча він буде мати 0 % покриття. $100 \%$$0 \%$

Наскільки корисніший менш менш консервативний інтервал чи ні, явно залежить як від контексту, так і від того, як ширина інтервалу змінюється залежно від рівня довіри, але у мене виникають труднощі при розробці програми, де для отримання значно нижчого рівня довіри для отримання більш вузькі інтервали були б кращими. Також варто зазначити, що довірчий інтервал став настільки всюдисущим, що важко буде виправдати, чому ви, наприклад, використовуєте 60 % інтервал довіри. $95 \%$$60\%$

Я б сказав, що це повністю залежить від того, для чого ваш клієнт хоче використовувати інтервали довіри.

1. Якийсь звіт / публікація / тощо. де зазвичай повідомляється про 95% ІС. Я б дуже міг сказати йому "Це не є статистично виправданим" і залиште його там, залежно від того, чи прагне клієнт відмовитись від вашої експертизи. Якщо вони цього не роблять, вам доведеться судити про власний професійний комфорт із тим, що вони хочуть.
2. Якийсь внутрішній документ - я б дав зрозуміти, що ви не погоджуєтесь, і ясна зрозуміти, який тип інтервалу довіри читач зараз дивиться, оскільки це не 95%.
3. Як міру невизначеності оцінки, скажімо, щоб визначити, скільки аналізу чутливості можна зробити? Я б дав їм цифру, що показує повний розподіл як з 95% ІС, так і з на зразок 68% ІС, і нехай вони мають це.

Я був би дуже гордий за себе, якби мені вдалося утримати "Отже, проведіть більшу студію", щоб це не було першим ділом у мене.

Використовуйте Стандартне відхилення, як це робить більшість людей. 95% ІС може бути страшним, коли люди звикли до 68% ІС.

Ви надаєте довірчий інтервал на певному стандартному рівні, наприклад, 90% або 95%. Клієнт може судити про те, чи занадто широкий інтервал, щоб бути корисним. Але це, звичайно, не означає, що ви можете скоротити його, щоб зробити його корисним. Можна припустити, що збільшення розміру вибірки зменшить ширину інтервалу на заданому рівні довіри, оскільки воно зменшиться приблизно на коефіцієнт квадратного кореня розміру вибірки.