Порівняння двох генетичних алгоритмів

У мене є дві реалізації генетичного алгоритму, які повинні поводитися однаково. Однак через технічні обмеження, які неможливо вирішити, їх вихід не є абсолютно однаковим з огляду на один і той же вхід.

Я все-таки хотів би показати, що суттєвої різниці в продуктивності немає.

У мене є 20 запусків з однаковою конфігурацією для кожного з двох алгоритмів, використовуючи різні початкові насіння випадкових чисел. Для кожного запуску і генерації мінімальної помилки пристосованість кращої особини в популяції була зафіксована. В алгоритмі використовується механізм збереження еліти, тому придатність найкращого індивіда монотонно знижується. Пробіг складається з 1000 поколінь, тому я маю 1000 значень на пробіг. Я не можу отримати більше даних, оскільки розрахунки дуже дорогі.

Який тест я повинен використовувати? Найпростішим способом було б, мабуть, лише порівняти помилку в останніх поколіннях (знову ж, який тест я б тут використав)? Але можна також подумати про порівняння поведінки конвергенції взагалі.

Тестування стохастичних алгоритмів може бути досить складним!

Я працюю в системній біології, і для моделювання моделі є багато стохастичних тренажерів. Тестування цих тренажерів є складним, оскільки будь-які дві реалізації однієї моделі будуть типово різними.

У dsmts ми обчислили (аналітично) очікуване значення та дисперсію конкретної моделі. Потім ми проводимо тест гіпотези, щоб визначити, чи симулятор відрізняється від істини. У розділі 3 керівництва користувача наведено реквізити. По суті, ми робимо t-тест для середніх значень та тест-чи-квадрат на дисперсії.

У вашому випадку ви порівнюєте два тренажери, тому вам слід просто використовувати двопробний t-тест замість цього.

Можливо, ви могли б виміряти середню різницю між двома запусками одного і того ж алгоритму до середньої різниці двох прогонів від різних алгоритмів. Це не вирішує проблему, як виміряти цю різницю, але може бути більш простежуваною проблемою. І індивідуальні значення часового ряду включатимуться у розрахунок різниці, а не розглядатися як окремі точки даних, які слід оцінювати один проти одного (я також не думаю, що особлива різниця на n-му кроці - це те, що ви насправді хочете зробити робити заяви про).

Оновлення Щодо детальної інформації - ну які особливості часового ряду вас цікавлять, крім остаточної помилки? Я думаю, у вас насправді є три різні питання для вирішення:

1. Що для вас являє собою подібність, тобто що ви маєте на увазі, говорячи, що не вірите, що два способи різні?
2. Як ви її кількісно оцінюєте - можна відповісти через 1 та
3. Як ви можете перевірити суттєві відмінності між вашими двома методами?

У першому дописі я говорив, що відповідь на (1), ймовірно, не враховує індивідуальних відмінностей у кожному з 1000 поколінь. І що я б радив придумати скалярне значення для кожного часового ряду або принаймні подібності між тимчасовим рядом. Тільки тоді ви переходите до фактичного питання статистики (про який я знаю щонайменше з усіх трьох пунктів, але мені було рекомендовано використовувати парний тест у подібному питанні, яке я щойно запитував, маючи скалярне значення на елемент).