Існують плюси та мінуси для автентифікації на основі pw або ключа.
У деяких випадках, наприклад, автентифікація на основі ключів менш безпечна, ніж автентифікація пароля. В інших випадках його безпека на основі pw менш безпечна. В одних випадках одне зручніше, в інших - менше.
Все зводиться до цього: Коли ви робите автентифікацію на основі ключів, ви повинні захистити свій ключ парольною фразою. Якщо у вас не працює ssh-агент (ssh-agent не позбавляє вас кожного разу вводити свою парольну фразу), ви нічого не отримуєте з точки зору зручності. Безпека є суперечливою: вектор атаки зараз перемістився з сервера на ВАС, або ваш рахунок, або вашу особисту машину, (...) - це може бути, а може і не простіше зламати.
Подумайте поза коробкою, вирішуючи це. Від того, чи ви отримаєте ви, чи втратите з точки зору безпеки, залежить решта вашого оточення та інші заходи.
редагувати: О, щойно я побачив, що ви говорите про домашній сервер. Я був у тій же ситуації, що завжди зі мною були "пароль" або "USB-паличка з ключем"? Я пішов за колишнім, але змінив порт прослуховування SSH на щось інше, ніж 22. Це зупиняє всі ці кульгаві сценарії дітлахів грубої форсування цілих діапазонів мережі.