Це дійсно має значення, що вхід до алгоритму: як вказати групу?
Якщо ви хочете, щоб групи, задані генераторами та реляторами, я б запропонував теорію комбінаторних груп , Магнусом, Каррасом та Солітаром (але алгоритми існують нечасто, оскільки занадто багато важливих проблем не можна визначити).
Якщо ви хочете автоматичних груп (групи, елементами яких є рядки символів і групові операції яких виконуються на кінцевих автоматах, із додатками в маломірній топології), я б запропонував Word Processing in Groups by Epstein (не я!), Cannon, Holt , Леві, Патерсон і Терстон.
Якщо вам потрібні групи перестановки (тип групово-теоретичного алгоритму, який є найбільш релевантним, наприклад, для ізоморфізму графів), тоді Сересс має книгу «Алгоритми перестановкової групи», але у мене немає копії, тому я не можу сказати, чи корисна вона.
Тут має бути четвертий абзац про алгоритми матричної групи, але я не знаю книги на цю тему. Трохи висвітлення у книзі Сереси.