Відновлення втраченого веб-сайту без резервної копії?

На жаль, наш хостинг-провайдер зазнав 100% втрати даних, тому я втратив весь вміст для двох розміщених веб-сайтів блогу:

• http://blog.stackoverflow.com
• http://www.codinghorror.com

(Так, так, я абсолютно повинен був зробити повне резервне копіювання за межами сайтів. На жаль, всі мої резервні копії були на самому сервері. Тому збережіть лекцію; ви на 100% абсолютно праві, але це мені зараз не допомагає. Давайте зупиніться на питанні тут!)

Я починаю повільний, болісний процес відновлення веб-сайту з кеш-пам’яті веб-сканерів.

Існує кілька автоматизованих інструментів для відновлення веб-сайту з веб-павуків (Yahoo, Bing, Google тощо), таких як Warrick , але у мене були погані результати, використовуючи це:

• Мій IP-адресу було швидко заборонено Google використовувати його
• Я отримую безліч помилок 500 і 503 і "чекаю 5 хвилин ..."
• Зрештою, я можу відновити текстовий вміст швидше вручну

Мені набагато пощастило, скориставшись списком усіх публікацій блогів, натиснувши на кеш Google і зберегти кожен окремий файл як HTML. Хоча є багато повідомлень в блозі, тобто не що багато, і я вважаю , що я заслуговую самобичування за не маючи краще стратегії резервного копіювання. У будь-якому разі, важливим є те, що мені пощастило отримати текст повідомлення в блозі таким чином, і я, безумовно, в змозі витягнути текст веб-сторінок з кешів Інтернету. Виходячи з того, що я зробив до цього часу, я впевнений, що зможу відновити весь втрачений текст публікації блогу та коментарі .

Однак, зображення, які йдуть із кожною публікацією блогу, виявляються… складніше.

Якісь загальні поради щодо відновлення сторінок веб-сайтів з кеш-пам'яток Інтернету, зокрема, місця для відновлення заархівованих зображень із сторінок веб-сайту ?

(І знову ж таки, будь-ласка, жодних резервних лекцій. Ви цілком, повністю, абсолютно праві! Але правильність не вирішує мою безпосередню проблему ... Якщо ви не маєте машину часу ...)

Ось мій дикий удар в темряві: налаштуйте веб-сервер на повернення 304 для кожного запиту зображення, а потім натовпу відновлення, розмістивши десь список URL-адрес і попросивши в подкасті всі ваші читачі завантажити кожну URL-адресу та зібрати будь-які зображення які завантажуються з локальних кешів. (Це може працювати лише після відновлення самих HTML-сторінок у комплекті з <img ...>тегами, які, як видається, означають, що ви зможете зробити це.)

Це в основному химерний спосіб сказати: "дістаньте це з кешів веб-браузера ваших читачів". У вас є багато читачів і слухачів подкастів, тому ви можете ефективно мобілізувати велику кількість людей, які, ймовірно, нещодавно переглянули ваш веб-сайт. Але вручну знайти та витягнути зображення з кешів різних веб-браузерів складно, і весь підхід працює найкраще, якщо це досить просто, що багато людей спробують це та будуть успішними. Таким чином, підхід 304. Від читачів потрібно лише те, що вони клацають на низку посилань і перетягують будь-які зображення, які завантажуються у веб-переглядачі (або клацніть правою кнопкою миші та збережіть як і т.д.), а потім надішліть їх електронною поштою або завантажте на центральне місце, яке ви створили, або будь-що інше. Основним недоліком такого підходу є те, що кеші веб-браузера не заходять так далеко в часі. Але для того, щоб врятувати навіть дуже старий образ, потрібен лише один читач, який випадково завантажував публікацію з 2006 року. При достатньо великій аудиторії все можливо.

Деякі з нас стежать за вами за допомогою RSS-зчитувача і не очищають кеші. У мене є повідомлення в блозі, які, схоже, відносяться до 2006 року. Ніяких зображень, з того, що я бачу, але може бути кращим, ніж те, що ти зараз робиш.

(1) Витягніть список імен файлів усіх відсутніх зображень із резервних копій HTML. Вам залишиться щось на кшталт:

• stay-puft-marshmallow-man.jpg
• internet-properties-dialog.png
• yahoo-homepage-small.png
• пароль-шоу-анімовані.gif
• tivo2.jpg
• michael-abrash-graphics-програма

(2) Зробіть пошук зображень Google для цих файлів. Схоже, МНОГО з них були, як наслідок, "дзеркальними відображеннями" інших блогерів і дозріли для прийняття, оскільки вони мають однакове ім'я файлу .

(3) Ви можете зробити це в автоматизованому вигляді, якщо це виявиться успішним для, скажімо, 10+ зображень.

Перейшовши до пошуку зображень Google і ввівши, site:codinghorror.comви можете принаймні знайти ескізні версії всіх своїх зображень. Ні, це не обов'язково допомагає, але це дає вихідну точку для отримання цих тисяч зображень.

Схоже, в деяких випадках Google зберігає ескіз :

Google зліва, Бінг справа.

Вибачте, що чую про блоги. Не збираюся читати лекції. Але я знайшов те, що здається вашими образами на Imageshack. Вони справді ваші чи хтось зберігав їх копію.

http://profile.imageshack.us/user/codinghorror

Вони, схоже, мають 456 зображень, які мають повний розмір. Це може бути найкращим варіантом для відновлення всього. Можливо, вони можуть вам навіть дати смітник.

Джефф, я написав що - то для вас тут

Якщо коротко, я пропоную вам це:

1. Налаштуйте веб-сервер для повернення 304 для кожного запиту зображення. 304 означає, що файл не модифікується, і це означає, що браузер виймає файл із кешу, якщо він там присутній. (кредит: ця відповідь SuperUser )

2. На кожну сторінку веб-сайту додайте невеликий сценарій, щоб захопити дані зображення та відправити їх на сервер.

3. Збережіть дані зображення на сервері.

4. Вуаля!

Ви можете отримати сценарії з даного посилання.

Спробуйте цей запит на машині Wayback :

http://web.archive.org/web/*sa_re_im_/http://codinghorror.com/*

У результаті ви отримаєте всі зображення з сайту codinghorror.com, заархівовані archive.org. Це повертає 3878 зображень, деякі з яких є дублікатами. Це не буде повноцінним, але все-таки гарним початком.

Для решти зображень ви можете використовувати ескізи з кешу пошукової системи, а потім зробити зворотний пошук за допомогою цих даних на веб- сайті http://www.tineye.com/ . Ви надаєте йому ескіз зображення, і він надасть попередній перегляд та вказівник на тісне узгодження зображень, знайдених в Інтернеті.

+1 за ddрекомендацією, якщо (1) необроблений диск десь доступний; та (2) зображення були простими файлами. Тоді ви можете використовувати криміналістичний інструмент «вирізання даних», щоб (наприклад) витягнути всі достовірні діапазони, які здаються JPG / PNG / GIF. Я відновив 95% + фотографій на iPhone, які були стерті таким чином.

Для цього можна використовувати інструменти з відкритим кодом «головне» та його наступник «скальпель»:

http://foremost.sourceforge.net/

http://www.digitalforensicssolutions.com/Scalpel/

На щастя, майбутнім поколінням буде добре.

Навіть лише з цієї великої скелі вчені / мовознавці багато чого зрозуміли.

Якщо кілька знімків відсутнє, залиште це комусь, щоб розібратися через пару тисяч років.

Сподіваємось, ти трохи смієшся. :)

Ви завжди можете спробувати archive.org. Використовуйте зворотну машину. Я використовував це для відновлення зображень з моїх веб-сайтів.

Отже, абсолютно гірший випадок, ви не можете відновити щось. Блін.

Спробуйте схопити мінімізовані google та перенести їх через TinEye , пошукову систему зворотного зображення. Сподіваємось, він повинен захопити будь-які дублікати або повторні врожаї, які люди зробили.

Це довгий постріл, але ви можете врахувати:

• Опублікувавши точний список зображень, які ви відсутні
• процес пошуку натовпу через весь Інтернет-кеш ваших читачів.

Наприклад, перегляньте переглядач кешу Nirsoft Mozilla :

_{(джерело: nirsoft.net )}

Він може швидко викопати будь-яку картинку "blog.stackoverflow.com", яку, можливо, все ще має простий командний рядок:

MozillaCacheView.exe -folder "C:\Documents and Settings\Administrator\Local Settings\Application Data\Mozilla\Firefox\Profiles\acf2c3u2.default\Cache" 
/copycache "http://blog.stackoverflow.com" "image" /CopyFilesFolder "c:\temp\blogso" /UseWebSiteDirStructure 0

Примітка. У них однаковий провідник кешу для Chrome .

_{(джерело: nirsoft.net )}

(Я повинен мати 15 днів фотографій blog.stackoverflow.com)

І Internet Explorer , або Opera .

Потім оновіть загальнодоступний список, щоб відобразити те, що читачі повідомляють про знаходження у своєму кеші.

Раніше я використовував http://www.archive.org/, щоб підтягувати кешовані зображення. Це свого роду хіт чи промах, але це спрацювало на мене.
Крім того, коли я намагаюся відновити фотографії, які я використовував на старому сайті, www.tineye.com чудово підходить, коли у мене є лише ескізи і мені потрібні зображення в повному розмірі.

Я сподіваюся, що це вам допоможе. Щасти.

Це, мабуть, не найпростіше або найповніше рішення, але такі послуги, як Evernote, зазвичай зберігають текст і зображення, коли вони зберігаються всередині програми - можливо, деякі корисні читачі, які зберегли ваші статті, зможуть зберегти зображення та надіслати їх вам назад. ?

У мене був великий досвід роботи з archive.org . Навіть якщо ви не в змозі витягнути всі ваші публікації блогу з сайту, вони зберігають періодичні знімки:

Таким чином ви можете перевірити кожну сторінку та побачити зроблені вами публікації в блозі. Імена всіх публікацій ви можете легко знайти їх у кеші Google, якщо архів.org не має цього. Архів намагається зберегти зображення, кеш-пам’ять Google матиме зображення, а я кеш-пам'ять нещодавно не спорожняв, тому я можу вам допомогти з новими публікаціями блогу :)

Ви спробували власний кеш локального браузера? Досить хороші шанси, що деякі з останніх матеріалів все ще є. http://lifehacker.com/385883/resurrect-images-from-my-web-browser-cache

(Або ви можете скласти список усіх відсутніх зображень, і кожен може перевірити кеш, щоб побачити, чи можемо ми заповнити заготовки)

Пропозиція на майбутнє: я використовую Windows Live Writer для ведення блогів, і це зберігає локальні копії публікацій на моїй машині, окрім публікації їх у блозі.

Близько п’яти років тому раннє втілення зовнішнього жорсткого диска, на якому я зберігав усі свої цифрові фотографії, погано вийшло. Я створив зображення жорсткого диска за допомогою ddі написав рудиментарний інструмент для відновлення всього, що було схоже на зображення JPEG. З цього вийшло більшість моїх фотографій.

Отже, питання полягає в тому, чи можете ви отримати копію образу диска віртуальної машини, який містив зображення?

Веб-архів кешує зображення. Зараз він знаходиться під великим навантаженням, у вас повинно бути добре до 2008 року.

http://web.archive.org/web/20080618014552rn%5F2/www.codinghorror.com/blog/

Я пропоную комбінацію archive.org та анонімізатор запиту на зразок [Tor] [2]. Я пропоную використовувати анонімний інструмент, оскільки таким чином кожен ваш запит матиме випадковий IP-адресу та розташування, і таким чином ви зможете уникнути заборони архівом.org (як Google зробив) для незвично великої кількості запитів.

Удачі, у цьому блозі багато дорогоцінних каменів.

Машина зворотного зворотного зв'язку буде деякою. Кеш Google і подібні кеші будуть такими.

Одна з найефективніших речей, яку ви зможете зробити, - це надіслати електронною поштою оригінальні плакати, попросивши допомоги.

У мене фактично є деякі інфраструктурні рекомендації, оскільки після цього все очищено. Основна проблема насправді не створює резервні копії, це відсутність реплікації сайту та відсутність аудиту. Якщо ви надішлете мені електронний лист із вмістом у приватному полі електронної пошти, то пізніше, коли ви знову на ногах, я хотів би обговорити цю проблему з вами.

Якщо ваші зображення зберігалися на зовнішній службі, наприклад Flickr або CDN (як зазначено в одному з ваших подкастів), у вас все ще можуть бути ресурси для зображень.

Деякі зображення можна знайти за допомогою Google Images і натиснути «Знайти подібні зображення» , можливо, на інших сайтах є копії.

archive.org іноді приховує зображення. Отримайте кожну URL-адресу вручну (або напишіть короткий сценарій) і запитайте їх у такий спосіб:

string.Format ("GET / * / {0}", nextUri)

Звичайно, це буде досить біль для пошуку.

Можливо, у мене є кеш браузера. Якщо я це зроблю, я кудись їх прийму.

Якщо ви сподіваєтесь спробувати викреслити кеші користувачів, ви можете налаштувати сервер відповідати 304 Not Modifiedна всі умовно-GET ("If-Modified-Since" або "If-None-Match"), якими користуються браузери. оновити кешований матеріал.

Якщо ваші початкові заголовки кешування на статичний вміст, як-от зображення, були досить ліберальними - дозволяючи кешувати речі протягом днів або місяців - ви можете на деякий час отримувати повторні оновлення запитів. Встановіть cookie на ці запити та зверніться до тих користувачів, щоб запустити скрипт проти кешу, щоб витягти зображення, які вони все ще є.

Але будьте обережні: щойно ви починаєте викладати будь-який текстовий контент із вбудованими ресурсами, яких ще немає, ви можете витирати ці кешовані версії, коли ревалідатори потрапляють у 404.

Ви можете використовувати TinEye для пошуку дублікатів своїх зображень , шукаючи ескізи кеша Google . Це допоможе лише із зображеннями, які ви взяли з іншого сайту.

Ризикуючи вказати на очевидне, спробуйте виправити резервні копії власного комп’ютера для зображень. Я знаю, що моя стратегія резервного копіювання є достатньо небезпечною, що у мене є кілька копій безлічі файлів, що розвішуються на зовнішніх накопичувачах, записаних дисках та у файлах zip / tar. Удачі!

Мені вдалося відновити ці файли з мого кеша Safari на Snow Leopard:

bad-code-offset-back.jpg
bad-code-offset-front.jpg
code-whitespace-invisible.png
code-whitespace-visible.png
coding-horror-official-logo-small.png
coding-horror-text.png
codinghorror-search-logo1.png
crucial-ssd-128gb-ct128m225.jpg
google-microformat-results-forum.png
google-microformat-results-review.png
kraken-cthulhu.jpg
mail.png
powered-by-crystaltech-web-hosting.png
ssd-vs-magnetic-graph.png

Якщо хтось хоче спробувати, я написав сценарій Python, щоб витягти їх до ~ / codinghorror / ім'я файлу, який я розмістив тут в Інтернеті .

Я сподіваюся, що це допомагає.

Чи отримали ви змогу побачити, чи є у вашого постачальника хостингу резервна копія взагалі (деякі старіші версії)?

Скільки коштують ці дані? Якщо це коштує значної суми (тисячі доларів), тоді варто попросити свого постачальника хостингу про жорсткий диск, який використовується для зберігання даних для вашого веб-сайту (у випадку втрати даних через збій обладнання). Після цього ви можете взяти диск із проїзною або іншою службою відновлення даних, щоб побачити, що можна дістати з накопичувача. Це може бути складно домовитись через можливість неповернення даних інших людей на накопичувачі, але якщо вам це дійсно цікаво, ви, ймовірно, зможете це розробити.

Дуже шкода, що це чую, і я дуже роздратований за вас, і терміни - я хотів отримати офлайн-копію кількох ваших дописів і зробив HTTrack на всьому своєму сайті, але довелося вийти (це було пару тижнів тому) і Я зупинив це.

Якщо хост наполовину походить - і, мабуть, я здогадуюсь, що ви хороший клієнт ... я б попросив їх або надіслати вам жорсткі диски (як я здогадуюсь, вони повинні використовувати RAID) або зробити відновлення самостійно.

Хоча це може бути не швидким процесом, я зробив це з одним хостом для клієнта і зміг відновити цілі бази даних неушкодженими (... в основному, хост спробував оновити панель керування, яку вони використовували, і заплутав її.) але нічого не було переписано).

Що б не сталося - удачі від усіх ваших шанувальників на сайтах SO!