Увійдіть до трафіку браузера HTTP та HTTPS, дешифруючи останні

Чи є спосіб, щоб я міг зберегти всі повідомлення HTTP та HTTPS-браузера (включаючи запит, відповідь, повні заголовки та тіло) у файли на своєму комп'ютері?

Зв'язки HTTPS повинні бути збережені розшифрованими.

В ідеалі я б шукав щось на зразок розширення для Firefox або Google Chrome.

Він повинен працювати в Linux.

HAR - це архів HTTP, і це саме те, що ви хочете зберегти (він включає HTTPS незашифровані).

На щастя, це тепер є основною особливістю всіх основних браузерів (це було не тоді, коли ви задавали питання). Більше не потрібно сторонніх розширень.

У Firefox (v41 +):

• Запустіть Інструменти для розробників Firefox у мережевому режимі (верхнє право меню> Розробник> Мережа або ctrl-shift-Q)
• Відтворити цільовий сценарій
• Збережіть захоплення, клацнувши правою кнопкою миші на сітці та вибравши "Зберегти все як HAR"
• Експортуйте захоплення у файл HAR

Інший браузер:

В останній версії всього браузера ви можете легко зберегти HAR:

https://toolbox.googleapps.com/apps/har_analyzer/

HTTPFox - це розширення Firefox, яке зробить цю роботу.

=== EDIT ===

Клацніть правою кнопкою миші панель запитів і натисніть "Скопіювати всі рядки". Тоді ви можете зберегти його до будь-якого редактора, який вам подобається - наприклад, електронної таблиці Openoffice. Будь ласка, дивіться зображення, яке я надав.

Fiddler - це, безумовно, те, про що слід розглянути, навіть якщо це не розширення, а окрема програма.

Я знайшов цю відповідь, що хоче це зробити, і жодна з відповідей тут мені не підходила, тому що мені потрібно було скинути органи реагування HTTPS, як і ОП. Отже, для тих, хто приземлився тут, як я, ось що я знайшов.

Я врешті-решт приземлився на mitmproxy , який не є розширенням Firefox, але досягає мети реєстрації всього трафіку Firefox. Це все Python, тому я встановив його pip install mitmproxy- використовуйте керування пакетами, якщо хочете.

Розпочав це з mitmproxyпочаткової установки / налагодження, а потім використовував mitmdumpдля скидання потоку, як тільки я працював і вдосконалювався.

Я просто встановив Firefox використовувати 127.0.0.1:8080як проксі-сервер (8080 - порт за замовчуванням mitmproxy), і я побачив, як весь мій трафік Firefox проходить через mitmproxy. Щоб увімкнути трафік HTTPS, ви повинні прийняти сертифікат, який створює mitmproxy - із налаштованим проксі-сервером, просто перейдіть на "магічну адресу" http://mitm.it у Firefox, натисніть кнопку "Інше", встановіть прапорці довірити церт і натиснути ОК.

Щоб скинути нешифроване тіло відповідей, мені довелося використовувати дуже простий вбудований сценарій :

from libmproxy.model import decoded

def response(context, flow):
    with decoded(flow.response):  # automatically decode gzipped responses.
        with open("body.txt","ab") as f:
            f.write(flow.response.content)

Тут є історія - завантажте її як save_response.pyі використовуйте mitmdump -s save_response.py. Органи реагування почнуть накопичуватися body.txt.

mitmproxy також має ряд корисних фільтрів, які ви можете вказати, щоб mitmdump захопити саме те, що вам потрібно.

httpFox, httpScoop (лише для Mac) та httpWatch (IE, Firefox, Windows) - це всі інструменти, які я використовую для цього. Крім того, ви можете також спробувати Fiddler (як попередньо запропоновано), а також якщо yuo використовуєте Mac, ви можете спробувати Charles Proxy. Мій особистий фаворит - httpWatch (ви можете легко відфільтрувати заголовки, вміст, URL тощо), але це дорого, тому це може не бути варіантом.

Ви також можете ознайомитись з проектом HAR (HAR розшифровується як HTTP Archive) і це стандартний підхід до запису http-транзакцій, заголовків, вмісту тощо. Ряд згаданих інструментів здатний експортувати вам файли HAR для перегляду за допомогою він HAR Viewer (з яким ви будете знайомі, якщо переглянули функцію водоспаду у Firebug). Насправді, ви можете використовувати Firebug для створення цих файлів / журналів, а також за допомогою NetExport.

FWIW httpScoop - хороший метод налагодження / відстеження трафіку HTTP у бездротовій мережі, я писав статтю про це деякий час тому: http://blog.adtools.co.uk/trace-debug-mobile-application-http- запити, що використовують-macos /

Wireshark можна використовувати для зйомки мережевих пакетів, включаючи речі в шарі протоколу http, та збереження їх на комп'ютері. Він також може захоплювати інформацію https, але я сумніваюся, що ви зможете налаштувати її на що-небудь розшифрувати.