Як порівняти бінарні файли в Linux?

Мені потрібно порівняти два двійкові файли та отримати вихід у вигляді:

<fileoffset-hex> <file1-byte-hex> <file2-byte-hex>

для кожного різного байта. Так що якщо file1.binє

  00 90 00 11

у бінарній формі і file2.binє

  00 91 00 10

Я хочу отримати щось подібне

  00000001 90 91
  00000003 11 10

Чи можна це зробити в Linux? Я знаю про, cmp -lале в ньому використовується десяткова система для зміщення та восьмерична для байтів, чого я хотів би уникнути.

Це надрукує зміщення та байти у шістнадцятковій формі:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Або $1-1перше друковане зміщення починається з 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

На жаль, strtonum()характерний для GAWK, тому для інших версій awk, наприклад, mawk, вам потрібно буде використовувати функцію перетворення восьмидесятих у десяткові. Наприклад,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Розроблено для читабельності:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Як ~ quack зазначив:

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

І потім

 % diff b1.hex b2.hex

або

 % vimdiff b1.hex b2.hex

diff + xxd

Спробуйте diffскористатись такою комбінацією заміну процесу zsh / bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Де:

• -y показує відмінності поруч (необов’язково).
• xxd є інструментом CLI для створення гексадумного виводу бінарного файлу.
• Додати -W200до diffякомога ширшої виходу (з 200 символів в рядку).
• Для кольорів використовуйте, colordiffяк показано нижче.

colordiff + xxd

Якщо у вас є colordiff, він може розфарбувати diffвихід, наприклад:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{В іншому випадку встановити через: sudo apt-get install colordiff.}

Вибірка зразка:

vimdiff + xxd

Ви також можете використовувати vimdiff, наприклад

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Підказки:

• якщо файли занадто великі, додайте ліміт (наприклад -l1000) для кожногоxxd

Є інструмент під назвою DHEX, який може виконувати цю роботу, і є ще один інструмент під назвою VBinDiff .

Для суворого підходу командного рядка спробуйте їїodiff .

Метод, який працює для додавання / видалення байтів

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Створіть тестовий випадок з одним видаленням байта 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Вихід:

64d63
<  40

Якщо ви також хочете побачити версію символу ASCII:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Вихід:

64d63
<   40   @

Тестовано на Ubuntu 16.04.

Я віддаю перевагу odбільш , xxdтому що:

• це POSIX , xxdне є (постачається з Vim)
• має -Anвидалити адресний стовпець без awk.

Пояснення команди:

• -Anвидаляє стовпчик адреси. Це важливо, інакше після додавання / видалення байта всі рядки будуть відрізнятися.
• -w1ставить один байт на рядок, так що diff може споживати його. Важливо мати один байт на рядок, інакше кожен рядок після видалення стане поза фазою та відрізнятиметься. На жаль, це не POSIX, але присутнє в GNU.
• -tx1 це представлення, яке ви хочете, зміни на будь-яке можливе значення, якщо ви зберігаєте 1 байт на рядок.
• -vзапобігає абревіатурі повторення зірочки, *яка може заважати розл
• paste -d '' - -приєднується кожні два рядки. Він потрібен тому, що шістнадцятковий і ASCII переходять в окремі суміжні лінії. Взято з: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• ми використовуємо дужки ()для визначення, bdiffа не {}для обмеження сфери внутрішньої функції f, див. також: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Дивитися також:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-s размера
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Коротка відповідь

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

При використанні шістнадцяткових і текстових розбіжностей для порівняння бінарних файлів, особливо xxd, додавання та видалення байтів стають зрушеннями в адресації, що може ускладнити їх розбір . Цей метод вказує xxd не виводити адреси, а виводити лише один байт на рядок, що в свою чергу показує, які саме байти були змінені, додані чи видалені. Пізніше ви можете знайти адреси, шукаючи цікаві послідовності байтів у більш "звичайному" шестигранному (вихідний xxd first.bin).

Я рекомендую hexdump для скидання бінарних файлів у текстовий формат та kdiff3 для різного перегляду.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

Це hexdiffпрограма, покликана робити саме те, що ви шукаєте.

Використання:

hexdiff file1 file2

Він відображає шістнадцятковий (і 7-бітний ASCII) двох файлів один над одним, з будь-якими відмінностями. Подивіться на man hexdiffкоманди, котрі рухатимуться у файлі, і проста qвийде.

Це може не відповісти строго на питання, але я використовую це для різних бінарних файлів:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Він друкує обидва файли у вигляді шістнадцяткових та ASCII значень, по одному байту на рядок, а потім використовує різний інструмент Vim для візуального їх відображення.

dhex http://www.dettus.net/dhex/

DHEX - це не просто ще один шестигранний редактор: він включає в себе різний режим, який можна використовувати для легкого та зручного порівняння двох бінарних файлів. Оскільки він заснований на ncurses і є тематичним, він може працювати на будь-якій кількості систем та сценаріїв. За допомогою використання журналів пошуку можна легко відслідковувати зміни в різних ітераціях файлів.

Ви можете використовувати інструмент gvimdiff , який входить до пакету vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Потім ви можете порівняти два шістнадцяткові файли, використовуючи наступні команди:

ubuntu> gvimdiff <hex-file1> <hex-file2>

Та все. Сподіваюся, що допоможе!

Інструмент аналізу вбудованого програмного забезпечення binwalkтакож має це як функцію через опцію -W/ --hexdumpкомандного рядка, яка пропонує такі варіанти, як лише показ різних байтів:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

На прикладі ОП binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff - чудовий інструмент користувальницького інтерфейсу для порівняння бінарних файлів, відкритих останнім часом.

Доступ до продукту з відкритим кодом на Linux (і все інше) - це Radare, який radiff2явно пропонує для цього. Я проголосував за те, щоб закрити це, оскільки у мене та інших є те саме питання, у питанні, яке ви ставите

для кожного різного байта

Це божевільно. Оскільки за запитом, якщо ви вставите один байт у перший байт у файл, ви знайдете, що кожен наступний байт був різним, і тому diff повторив би весь файл за фактичну різницю в один байт.

Трохи практичніше radiff -O. Код -Oє для "" Чи відрізняється код усіма байтами, а не лише фіксованими байтами коду ""

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Як і IDA Pro, Radare є основним інструментом для бінарного аналізу, ви також можете показати дельту, що відрізняється -d, або відобразити розібрані байти замість шістнадцяткових -D.

Якщо ви задаєте подібні запитання, перевірте

• Переповнення стека для питань програмного забезпечення,
• Обмін зворотним стеком
• Радаре radiff2для двійкових відмінностей