Як перевірити надзвичайно низькі показники помилок

Я зіткнувся зі спробою продемонструвати за допомогою тестування надзвичайно низького рівня помилок для датчика (не більше 1 помилки в 1 000 000 спроб). У нас обмежений час на проведення експерименту, тому ми передбачаємо, що не зможемо отримати більше ніж 4000 спроб. Я не бачу проблем із тим, що датчик не відповідає вимозі, оскільки навіть одна помилка в 4000 спроб дасть 95% довірчий інтервал для рівня помилок із нижньою межею, що перевищує 0,000001. Однак, виявлення того, що воно відповідає вимогам, є проблемою, оскільки навіть 0 помилок у 4000 спробах все одно призводить до нижньої межі, що перевищує 0,000001. Будь-які пропозиції будуть дуже вдячні.

Це поширена проблема, особливо з сучасними компонентами або системами, які можуть мати низький рівень відмов $10^{-9}$ . Щоб вирішити це, потрібно зробити припущення, створити моделі та / або включити інші форми даних.

Лі Кадвальдер з INL пише ,

Коли немає даних про досвід експлуатації для компонента, такого як компонент на стадії проектування, аналітик має кілька варіантів:

• Декомпозиція - деконструкція компонента на його складові частини, а потім присвоєння частинам показників відмов підручника. Якщо аналітик впевнений у точності даних про деталі, ця методика втомлива, але корисна; якщо дані про деталі не є точними, слід використовувати інші методи.

• Аналітичне судження - може вимагати зворотної оцінки на основі вимог щодо доступності системи або просто інженерного судження про загальний рівень відмов для цього класу компонента.

• Експертна думка - отримання якісних думок від експертів з предметних питань та їх поєднання для розробки рівня відмов у порядку.

• Компонентні методики, наприклад, метод Томаса для трубопроводів.

Про декомпозицію часто використовують електронні частини, про що свідчить посібники про рівень відмов компонентів .

Інші джерела дозволяють використовувати галузеві дані чи досвід для інформування або замість тестування даних.

Інші методи, обговорювані на Weibull.com, включають

Для оцінки часу зношування компонента можуть знадобитися довгострокові випробування. У деяких випадках 100% робочий цикл (працює шини в тренажері зносу дорожнього руху 24 години на добу) може забезпечити корисне тестування протягом місяця. В інших випадках фактичне використання продукту може бути 24 години на добу, і немає ніякого способу прискорити робочий цикл. Фізичні навантаження високого рівня, можливо, знадобляться для скорочення часу випробувань. Це нова технологія оцінки надійності під назвою QALT (Кількісне тестування прискореного життя), яка вимагає врахування фізики та техніки досліджуваних матеріалів.

З огляду на застереження, схоже, існує тісна паралель між цією проблемою та оцінкою інших рідкісних подій, таких як удари астероїдів та катастрофічні збої у фінансовій системі - «чорні лебеді» Талеба. . Останні показники були, як відомо, заниженими.

Неможливо довести рівень помилок <1/1 000 000 лише за 4 000 випробувань. Вам потрібно якось вибрати помилки (паралельно проводити більше судових процесів і лише спостерігати за випадками, які призводять до помилки) або застосувати якийсь стрес, який би збільшив шанс помилки, а потім екстраполірувавшись із стресових умов на звичайні умови.

Так би зробили генетики, все одно….

Взагалі кажучи, ви не можете. Я б дуже насторожено ставився до методик, які стверджують, що я можу довести це$1/10^6$ лише вказаний показник помилок $4000$тести. Часто такі види техніки передбачають десь припущення про незалежність, яке неможливо надійно підтвердити: це лише стрибок віри. Такі види хибних міркувань призвели до серйозних збоїв у світі критично важливих для безпеки систем.

Можуть бути деякі особливі випадки, коли ви можете продемонструвати бажаний рівень надійності, використовуючи таку обмежену кількість тестів, наприклад, взявши до уваги щось про фізику ситуації. Але вони рідкісні, і таке міркування є крихким.