Які вказівки щодо проведення обчислювальних експериментів?

Фізика, біологія, хімія тощо мають різні набори правил проведення експериментів: які події вважаються релевантними, як уникнути забруднення зразків, як створити та зафіксувати відтворювальний процес тощо.

Які стандарти, протоколи та найкраща практика забезпечення точності та відтворюваності в числових експериментах?

Про те, як проектувати, виконувати та звітувати про результати обчислювальних експериментів написано багато. Це має очевидні зв’язки із програмним забезпеченням з відкритим кодом та більш широким рухом «відкрита наука». Ще одне важливе питання - різниця між дослідженнями "мій код швидше, ніж ваш", що допомагає нам краще зрозуміти властивості алгоритмів.

Деякі посилання на обчислювальні експерименти та тестування, які ви можете переглянути, включають:

Труна, Марі та Метью Дж. Зальцман. 2000. " Статистичний аналіз обчислювальних випробувань алгоритмів та евристики ". Журнал INFORMS з обчислювальної техніки 12 (1): 24–44.

Кроудер, Харлан, Рон С. Дембо та Джон М. Мулві. 1979. « Про звітність обчислювальних експериментів з математичним програмним забезпеченням ». Трансакції ACM на математичне програмне забезпечення (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. " Експериментальна інформатика: необхідність культурних змін ".

Хукер, Джон Н. 1995. " Евристика тестування: у нас все неправильно ". Журнал евристики 1 (1): 33–42.

McGeoch, Catherine C. 2012. Посібник з експериментальної алгоритміки. Cambridge University Press.