Вибір параметрів генетичного алгоритму

Як можна вибрати належну кількість параметрів генетичного алгоритму для моделювання заданої системи?

Наприклад, скажіть, що ви хочете оптимізувати виробництво автомобілів, і у вас є 1000 вимірювань погодинної ефективності при різних завданнях для кожного з 1000 різних співробітників. Отже, у вас є 1 000 000 точок даних. Більшість із них, ймовірно, слабко співвідносяться із загальною ефективністю вашої фабрики, але не настільки слабко, що можна сказати, що вони не мають відношення до статистичної впевненості. Як ви займаєтеся вибором вхідних даних для свого GA, щоб у вас не було 1 000 000+ ступенів свободи, що призводить до дуже повільної конвергенції або взагалі відсутності конвергенції?

Зокрема, які алгоритми можна використати для попереднього вибору або вибіркового усунення функцій?

Один підхід , який я використовував себе в цьому сценарії еволюціонувати вибір параметрів сам, так що я міг би мати батьків , як {a,b,c}, {b,d,e,q,x,y,z}і так далі. Тоді я б мутував дітей, щоб додати або відкинути функції. Це добре працює для кількох десятків функцій. Але проблема в тому, що вона неефективна, якщо є велика кількість ступенів свободи. У такому випадку ви переглядаєте 10^nкомбінації (у прикладі вище 10^1,000,000), що робить деяку попередню фільтрацію функцій критичною для отримання будь-якої корисної продуктивності.

Перш за все - приклад здається не дуже підходящим, оскільки ви, ймовірно, використовуєте якісь регресії або класичні методи ML для вирішення цього питання. По-друге - ви маєте на увазі загальну проблему вибору ознак (Kira, Rendell, 1992) або вибір атрибутів (Hall, Holmes, 2003) або змінний вибір (Guyon, Elisseeff, 2003) або вибір змінних підмножин (Stecking, Schebesch, 2005) або вилучення особливостей (Hillion, Masson, Roux, 1988) або зменшення розмірності (Roweis, Saul, 200) або абстракція стану (Amarel, 1968). Ця проблема є актуальною не лише для генетичних алгоритмів, але і майже для всіх методів машинного навчання при роботі з високомірними даними.

Тут можна виділити три випадки: останній екземпляр цієї проблеми, відомий як абстракція стану , зазвичай пов'язаний з моделюванням процесів (що відповідає вашому прикладу, але не контексту GA). Перші три, тобто вибір функції , вибір атрибута або змінний вибір , як видається, найбільш актуальний при прийомі на ваше запитання буквально. У цьому контексті поширеним рішенням є підхід mRMR (Peng, Long, Ding, 2005) . З мого досвіду, це не завжди добре працює з постійними даними - однак взаємна інформація може бути замінена іншими коефіцієнтами, наприклад кореляцією. Іншим можливим підходом є використання перехресної перевірки (Picard, Cook, 1984)для цього. Ви можете мати кілька моделей, кожна з яких використовує різні функції, і за допомогою вибору моделі за допомогою методів перехресної перевірки ви вибираєте найкращу модель, яка дає вам інформацію про те, які функції найкраще працюють для даного завдання.

У добуванні ознак і скорочення розмірних випадків дозволяють не тільки вибрати початкові функції, а й їх комбінацію. Добре відомим прикладом рішення для цього випадку є алгоритм PCA (Pearson, 1901) , який дає оптимальний, з точки зору поясненої дисперсії, набір функцій, що представляють собою лінійні комбінації вхідних ознак.

Також зауважте, що існує багато моделей, які самостійно вирішують завдання витягання. Ось кілька прикладів: зростаюча мережа нейронного газу (Fritzke, 1995) , LASSO (Tibshirani, 2011) , RFE SVM (Zeng, Chen, Tao, 2009) , дерева рішень (Quinlan, 1986) .

Список літератури:

• Кенджі Кіра та Ларрі А. Ренделл. 1992. Практичний підхід до вибору функцій. У працях дев'ятого міжнародного семінару з машинного навчання (ML92), Дерек Слейман та Пітер Едвардс (ред.). Morgan Kaufmann Publishers Inc., Сан-Франциско, Каліфорнія, США, 249-256.

• Холл, магістратура; Холмс, Г., "Методи вибору атрибутів бенчмаркінгу для дискретного обміну даними класу", "Знання та інженерія даних", транзакції IEEE, т. 15, № 6, стор.1437,1447, листопад-груд. 2003 рік

• Ізабель Гіон та Андре Еліссеф. 2003. Вступ до вибору змінних та функцій. Дж. Мах. Дізнайтеся. Рез. 3 (березень 2003 р.), 1157-1182.

• Ральф Стекінг, Клаус Б. Шебеш. 2005. Вибір змінної підмножини для підрахунку кредитів за допомогою векторних машин, Операційне дослідження 2005, Springer Berlin Heidelberg, (2005), с.251-256

• Hillion, A .; Массон, П .; Roux, C., "Непараметричний підхід до вилучення лінійних ознак; застосування до класифікації бінарних синтетичних текстур", Розпізнавання візерунків, 1988., 9-а Міжнародна конференція по, т., №, стор.1036,1039 т.2, 14 -17 листопада 1988 року

• Нелінійне зменшення розмірності шляхом локального лінійного вбудовування. Сем Ровейс та Лоуренс Сол. Наука, т.290 №5500, груд.22, 2000. Сп.2323--2326.

• Amarel, S. (1968). Про уявлення проблем міркувань про дії, Machine Intelligence, (3), 131--171

• Пен, Н .; Фульмі Лонг; Дін С., "Вибір функцій на основі критеріїв взаємної інформації щодо максимальної залежності, максимальної релевантності та мінімальної надмірності", Аналіз шаблонів та машинний інтелект, транзакції IEEE, т. 27, № 8, стор.1226, 1238, серпень 2005

• Річард Р. Пікард та Р. Денніс Кук, журнал Американської статистичної асоціації Vol. 79, № 387 (вересень, 1984), стор 575-583

• На лініях і площинах, найбільш близьких до систем точок у космосі Філософський журнал, Vol. 2, № 6. (1901), стор 559-572 К. Пірсон

• Зростаюча мережа нейронного газу вивчає топології, Бернд Фріцке, Конференція: Системи нейронної обробки інформації - NIPS, с. 625-632, 1994

• Усадка регресії та вибір через ласо: ретроспектива, Роберт Тібширані, Журнал Королівського статистичного товариства, серія B, 2011, том. 73, випуск 3, сторінки 273-282

• Xiangyan Zeng; Єнь-Вей Чень; Caixia Tao; Ван Альфен, Д., "Вибір особливостей за допомогою рекурсивного усунення функцій для розпізнавання рукописних цифр", Інтелектуальне приховування інформації та обробка мультимедійних сигналів, 2009. IIH-MSP '09. П'ята міжнародна конференція, т. №, стор.1205,1208, 12-14 вересня 2009 р

• JR Quinlan 1986. Індукція дерев рішень. Мах. Дізнайтеся. 1, 1 (березень 1986 р.), 81-106.

Я ніколи цього не робив і, очевидно, не маю доступу до зазначених даних, але потенційно хороший спосіб зробити це через кластеризацію . Для кожного працівника ми маємо n-мірний вектор, де кожен вимір відповідає одному завданню. Тоді ми можемо використовувати кластеризацію для групування «подібних» співробітників разом; однак, це буде залежати виключно від ваших даних, тобто цілком можливо, що з урахуванням лише 1000 співробітників, що кластеризація дасть групи працівників, які насправді не так пов’язані, і, хоча ми можемо зменшити чисельність населення, це може бути за рахунок втрати інформації.