З інженерної точки зору, які недоліки занадто точної моделі?

Мені було цікаво з інженерної точки зору, з яких причин може бути занадто велика точність моделювання?

З наукової точки зору здається, що це майже завжди користь, окрім випадків, коли потрібно витрачати менше часу на обчислення.

Тож з інженерної точки зору, окрім часу (або обчислювальної потужності), чому вам слід цього уникати?

Остерігайтеся надягання . Більш точна модель зібраних даних із системи може не бути кращим прогнозом майбутньої поведінки системи.

На наведеному вище зображенні показані дві моделі деяких даних.

Лінійна лінія дещо точна на даних тренувань (точки на графіку), і (можна було б очікувати) буде дещо точною щодо даних тестування (де бали, ймовірно, будуть для x <5 та x> -5 ).

Навпаки, поліном на 100% точний для даних тренувань, але (якщо ви не маєте жодних підстав вважати, що поліном 9-го ступеня з якоїсь фізичної причини є розумним), ви припускаєте, що це буде вкрай поганим провісником для x> 5 і х <-5.

Лінійна модель "менш точна", заснована на будь-якому порівнянні помилок із зібраними нами даними. Але це більш загальне.

Крім того, інженерам доводиться менше турбуватися про свою модель і більше про те, що люди будуть робити з цією моделлю.

Якщо я скажу вам, що ми ходимо на прогулянку спекотним днем ​​і очікується, що це триватиме 426 хвилин. Ви, ймовірно, принесуть менше води, ніж якщо я скажу, що прогулянка триватиме 7 годин, а ще менше, ніж якщо я скажу, що прогулянка триватиме 4-8 годин. Це тому, що ви відповідаєте на мій загальний рівень впевненості в моєму прогнозі, а не на середину моїх заявлених часів.

Якщо ви дасте людям точну модель, люди зменшать свою помилку. Це призводить до більших ризиків.

Приміром прогулянки на спекотний день, якщо я знаю, що прогулянка триватиме 4-8 годин у 95% випадків, з певною невизначеністю щодо навігації та швидкості ходьби. Ідеально знаючи нашу швидкість ходьби, зменшиться невизначеність 4-8 фігур, але це не вплине суттєво на "шанс у нас зайняти стільки часу, що вода стане проблемою", оскільки це майже повністю керується невизначеною навігацією, а не невизначена швидкість ходьби.

Найбільш очевидний недолік - це вартість, всі інженерні проекти мають обмежений бюджет, а витрачаються більше грошей, ніж потрібно, - це явно погано, не кажучи вже про те, щоб витрачати час.

Можуть бути і більш тонкі питання. Такі речі, як аналіз ІСЕ, завжди є наближеннями, а іноді додавання зайвих деталей може ввести артефакти та ускладнити усунення моделі. Наприклад, ви можете отримати розриви, які призводять до підвищення напруги

Існує також думка, що навіть якщо ви володієте обчислювальною здатністю комфортно обробляти велику групу постачальників даних і клієнтів, можливо, це не можливо, і в багатьох випадках передача великих файлів все ще є вузьким місцем.

Аналогічно, якщо у вас більше параметрів, ніж вам потрібно, ви потенційно створюєте додаткову роботу вниз по лінії управління та налагодження файлів.

Знову ж таки, навіть якщо зараз у вас є достатньо часу та ресурсів, можливо, комусь далі за лінією потрібно користуватися цією моделлю без тієї самої розкоші, особливо якщо вона входить до складу товару, який ви продаєте покупцям.

Причин декілька.

З суто прагматичної точки зору, це пов'язано з часовими обмеженнями. Необхідний час для розв’язання моделі збільшується набагато швидше, ніж рівень точності, і будь-який рівень буде прийнятий суб'єктивно.

$\pm5$$15\%$

Завдяки цьому немає сенсу бути занадто точним. Але дійсно, може бути вигідно навіть не намагатися бути занадто точним. Однак причини цього здебільшого психологічні. В основному, ви не хочете, щоб ваша модель була надто точною, і ви не хочете виводити свої результати із семи десяткових знаків, тому що не хочете викликати помилкове почуття впевненості.

Людський мозок важко думати, що 1,2393532697 є більш точним значенням, ніж 1,2. Але це насправді не так. Зважаючи на всі невизначеності в реальному світі, ваша модель не може бути врахована (особливо зважаючи на поточні обмеження на обладнання), 1.2 майже точно так само є дійсним результатом, як і 1.2393532697. Тому не виключайте ні себе, ні того, хто бачить вашу модель. Просто виведіть 1.2, що прозоро вказує на те, що ви насправді не знаєте, що відбувається після цієї другої цифри.

Надзвичайно точна модель може вимагати надмірної кількості вхідних даних. Наприклад, можна створити чудову модель погодних систем, наприклад, взявши за вклад положення та швидкість кожної молекули газу в атмосфері. На практиці така модель не була б корисною, оскільки немає реального способу отримання належного вкладу. Менш точна модель, яка вимагає лише обмежених вхідних даних, була б кращою у цьому випадку.

"Занадто точний" не є монотонним. Це насправді може створити ілюзію вірності, яка змушує вас думати, що варто витрачати більше грошей на моделювання. Це стає дуже важливим, коли ви представляєте дані моделей змішаної точності, де одні деталі дуже детальні, а інші - дуже грубі.

Приклад із реального життя я включав вибіркові висоти над місцевістю. Команда вирішила спробувати місцевість у 1024 шматках, щоб досягти максимальної вірності. Наш клієнт хотів відповісти ReallyGood (tm).

Тепер мене турбували хіти виконання, які спричинив саме цей алгоритм, і я хотів зрозуміти, скільки вірності я фактично плачу. Я не бачив жодних даних про місцевість, тому запитав їх, як вони це завантажують. Відповідь була "ой, у нас немає місцевості. Це просто рівна".

Так звучало так, ніби я мав дивовижну високоточну модель, яка набрала 1024 бали. Насправді у мене була модель з низькою точністю, яка зробила не краще, ніж відібрати 1 бал у 1024 рази, але пробігла цілу тону повільніше і маскувалась як модель вищої точності!

У реальному інженерному світі лідери не завжди мають можливість вивчити всю архітектуру моделі. Насправді я б сказав, що у них ніколи немає часу. Наше керівництво приймало рішення, припускаючи, що у нас є дивовижна 1024-бальна модель. Ніхто не був винним, це просто те, що відбувається, коли ви налаштуєте вірність занадто високо на одній частині моделі, а в іншій - низька вірність. Її природа звіра зі змішаною вірністю.

Насправді є дані, які ми маємо, і є дані, яких ми не маємо. Майже завжди кількість даних, яких ми не маємо, набагато більше, ніж ми могли сподіватися зібрати з практичних чи економічних причин.

Намагаючись відверто пристосувати дані до кількох зразків, тому ми ризикуємо змусити нашу модель робити дуже погані оцінки в області, де ми, чесно, не маємо підказки (через брак даних). Тоді наша модель дасть нам помилкове відчуття безпеки.

Тож з інженерної точки зору, окрім часу (або обчислювальної потужності), чому вам слід цього уникати

З точки зору машинобудування найбільша причина полягає в тому, що ви берете на себе додаткові зусилля, лише якщо вони дають значно інші результати.

Якщо рівень точності у вашій моделі на порядок вищий, ніж рівень точності, який ви могли б забезпечити при виконанні дизайну, ви витрачаєте свої зусилля. Якщо рівень точності, описаний у вашій моделі, вище того, що потрібно, що впливає на клієнта. Ви витрачаєте гроші. Наприклад, якщо ви вказуєте більш високу точність, ніж вимагає конструкція (наприклад, +/- .00001 мм довжиною вентиляційного отвору), ви витрачаєте гроші своїх клієнтів, тому що витяжка в атмосферу 350 мм виконує приблизно таку ж роботу, як і вентиляційний отвір 350 0005 мм в атмосферу, але останнє значно дорожче виробляти.

В університеті ми всі навчилися моделювати фізичний світ, використовуючи ньютонівську фізику, хоча добре встановлено, що постньютонівська фізика представляє більш точну модель фізичної поведінки. Незважаючи на це, я не знаю жодної програми машинобудування, яка за замовчуванням не враховує ньютонівські моделі як занадто неточні. Якщо ми використаємо більш точну модель і придумаємо відповідь, що на 0,1% ближче до теоретичної істини, яка не вплине на наш остаточний дизайн у переважній більшості випадків. Якщо наша напруга на вихід відрізняється на 0,1%, це дає нам незначну різницю в нашому необхідному перерізі, що призводить нас до вибору точно такого ж розміру променевої балки за будь-яким методом. У цьому випадку витрати на додаткові зусилля не приносять додаткової користі.

Зараз існують ситуації, коли для створення працездатної конструкції необхідна точність, наприклад, моделювання деяких супутників, необхідних для релятивістської фізики. За цих обставин нам потрібно знайти модель, яка забезпечує необхідний рівень точності, і нам потрібно розробити модель. Якщо нам потрібно обчислити розміри до +/- 0,0001%, це повністю витрачено зусилля, якщо наші розміри деталі становлять +/- 0,1%. У реальних умовах розміри частин останнього ступеня точності набагато частіше, ніж перші.

Вартість: вартість часу або витрати на обчислювальну потужність і вартість точності - якщо інші змінні мають допуск 5%, наприклад, чому обчислення призводить до 1% ...

У попередніх відповідях згадувалися вхідні дані та вартість. Якщо ви хочете точності, наприклад. в оптимізації виробничих параметрів вам, ймовірно, потрібно більше вимірювань, і спочатку вам потрібно проаналізувати, наскільки ви можете зменшити витрати порівняно з тим, на скільки робочих годин, таким чином, збільшиться витрата на збільшення частоти вимірювань або вартість автоматизованої системи, яка замінить ручний збір даних. Другий приклад, якщо ви отримуєте дуже точні результати, в які ви вклали час та інші ресурси для отримання, чи є у вас адекватне обладнання для контролю якості, промислових вимірювань тощо або навіть технологія. Якщо ваші результати марні, ніж витрачений час на отримання, їх неправильно.

Чи повинен Хоу потрібен супутниковий знімок із сантиметровою роздільною здатністю, щоб визначити ліси за кольором? Звичайно, ні. Я був би згубний, оскільки вам доведеться вирішити будь-який незелений пластир на 10 квадратних сантиметрів. Те ж саме для моделювання: роздільна здатність деталей повинна відповідати роздільній здатності цільових особливостей. Якщо ні, ви втратите час скорочення.

Більшість реальних відповідей виключаються вашим штучним обмеженням, що обчислювальна потужність і час обчислення не враховуються. Модель, на яку потрібно оцінювати години або дні, не дозволяє швидких ітерацій дизайну і сповільнить роботу в людському масштабі, збільшуючи вартість і, можливо, призводить до нижчих результатів. Уміло спростити моделі, не втрачаючи занадто великої точності, може бути дуже корисним підходом, тоді груба сила може бути використана для перевірки остаточної ітерації.

Можливо, надмірно складні моделі можуть маскувати основні помилки в моделі, або робота, необхідна для збору інформації, щоб практично використати модель, максимально переважить будь-яку потенційну користь. Наприклад, якщо вам потрібно знати характеристики матеріалу в більшій мірі точності, ніж постачальник може контролювати їх, ви можете або прийняти смуги помилок, або перейти і протестувати кожну партію матеріалу для налаштування моделі.