У мене була така ж проблема, як у вас. Я не експерт, але рішення, яке працювало для мене, полягало в тому, щоб видалити ключі з каталогу ~ / .ssh. Це приклад того, що я бачив.
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ ssh-add -d ~/.ssh/id_rsa.pub
Identity removed: /home/user/.ssh/ybot_rsa.pub (/home/user/.ssh/id_rsa.pub)
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Після переміщення id_rsa (і id_rsa.pub) з папки ~ / .ssh, ssh-агент перестав мати посвідчення особи. Що я зробив:
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ mv ~/.ssh/id_rsa ~/.ssh/id_rsa.pub ~/
$ ssh-add -l
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Я здогадуюсь (я можу помилятися), що якби у вас не працював демон Gnome Keyring (gnome-keyring-daemon), ця поведінка зміниться. Можливо, оригінальне (і логічне) рішення спрацювало б, але не друге.
openssh
6.2p1-1