Як Googlebot знаходить URL-адреси, видимі лише автентифікованим користувачам?

Ось один із моїх клієнтів, який виконує певні дії після входу в його акаунт. Унікальний маркер - це просто зашифрований ідентифікатор користувача + часова мітка.

94.254.xxx.xxx - - [02 / лип / 2011: 22: 25: 46 +0200] "GET / деяка дія / унікальний-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla / 5.0 (сумісний; MSIE 9.0; Windows NT 6.1; Trident / 5.0) "

Тепер Googlebot якось дізнався про це унікальне посилання та спробував отримати доступ до тієї самої URL-адреси через тиждень.

66.249.71.179 - - [10 / лип / 2011: 09: 56: 01 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 302 - "-" "Mozilla / 5.0 (сумісний; Googlebot / 2.1; + http: //www.google.com/bot.html) "

(код статусу - 302, оскільки маркер закінчився)

Дозвольте підкреслити, що це унікальна URL-адреса, яку було видно рівно один раз, лише за 2 секунди, перш ніж користувач натиснув її та перейшов до цієї сторінки. Він не надсилався в електронній пошті та не публікувався в будь-якому місці.

Що тут відбувається, як можливо Google знайшов цю унікальну URL-адресу?

Важко сказати точно, але тут можливі сценарії:

• У користувача встановлена ​​панель інструментів веб-переглядача або розширення, яка повідомляє URL-адреси, які вони відвідують у Google.

• Хтось, хто зв’язався з цією URL-адресою та Google, знайшов її, скануючи сторінку із цим посиланням.

Я щойно зрозумів, що користувач, мабуть, знайшов вихідне посилання на цій автентифікованій сторінці, а потім просочив приватну URL-адресу, як Refererпри натисканні на якийсь інший веб-сайт. Це єдине можливе пояснення, і воно повинно було бути очевидним з самого початку.

Після витоку приватна URL-адреса, можливо, піддавалася Google різними способами, наприклад, цільовий сайт може публічно публікувати свої журнали доступу. Примітка: жодне із вихідних посилань не використовувало Google Analytics, тому це не вказує на те, що Googlebot використовує URL-адреси рефералів від Analytics.

Навчався урок: ніколи не вводьте конфіденційні дані в URL-адреси, якщо ви не використовуєте https, і в такому випадку браузер залишився б Refererпорожнім.