Як зібрати текстовий файл, який містить деякі двійкові дані?

grep повертається

Бінарний файл test.log відповідає

Наприклад

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Бажаю, щоб результат показав рядок1 та рядок3 (всього два рядки).

Чи можливо за допомогою trперетворити недруковані дані у читабельні дані, щоб знову працювати grep?

Ви можете запустити файл даних через cat -v, наприклад,

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

які потім можна буде додатково обробити для видалення мотлоху; це найбільш аналогічно вашому запиту щодо використання trдля виконання завдання.

grep -a

Це не може бути простішим за це.

Один із способів - просто поводитися з бінарними файлами як текстом у будь-якому випадку, grep --textале це може призвести до надсилання двійкової інформації на ваш термінал. Це не дуже гарна ідея, якщо ви використовуєте термінал, який інтерпретує вихідний потік (наприклад, VT / DEC або багато інших).

Крім того, ви можете надіслати файл через trнаступну команду:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Це змінить що-небудь менше, ніж пробіл (крім нового рядка) і що-небудь більше, ніж 126, в .символ, залишивши лише друковані.

Якщо ви хочете, щоб кожен "незаконний" символ замінився на інший, ви можете використовувати щось на зразок наступної програми C, класичного стандартного фільтра введення:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Це дасть вам зрозуміти {{NN}}, де NNзнаходиться шістнадцятковий код символу. Ви можете просто налаштувати printfбудь-який стиль виводу, який ви хочете.

Ви можете побачити цю програму в дії тут, де вона:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Ви можете використовувати "рядки" для витягування рядків, наприклад, з двійкового файлу

strings binary.file | grep foo

Ви можете змусити grep переглядати бінарні файли за допомогою:

grep --binary-files=text

Ви також можете додати -o( --only-matching), щоб ви не отримали тонни двійкових хитрощів, які будуть обробляти ваш термінал.

Починаючи з Grep 2.21, бінарні файли трактуються по-різному :

Під час пошуку бінарних даних grep тепер може розглядати нетекстові байти як термінатори рядків. Це може значно підвищити продуктивність.

Отже, що відбувається зараз - це те, що з двійковими даними всі нетекстові байти (включаючи нові рядки) трактуються як термінатори рядків. Якщо ви хочете змінити цю поведінку, ви можете:

• використання --text. Це забезпечить, що лише нові рядки є термінаторами лінії

• використання --null-data. Це забезпечить, що лише нульові байти є термінаторами рядків

grep -a змусить grep шукати і виводити файл, який, на думку grep, є двійковим. grep - повторний тест.log

Як вже сказав Джеймс Сельвакумар, grep -aце робить трюк. -a або --текст змушує Грепа обробляти вхідний потік як текст. Див. Сторінку Manpage http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

спробуйте

cat test.log | grep -a somestring

Ви можете зробити

strings test.log | grep -i

це перетворить подання виводу у вигляді читабельної рядки в греп.

Ви також можете спробувати інструмент Word Extractor . Word Extractor може використовуватися з будь-яким файлом на вашому комп'ютері для відділення рядків, що містять людський текст / слова від двійкового коду (наприклад, програми, DLL).

Ось що я використовував у системі, в якій не було встановлено команди "string"

cat yourfilename | tr -cd "[:print:]"

Це друкує текст і видаляє недруковані символи одним махом, на відміну від "cat -v filename", який вимагає деякої післяобробки для видалення небажаних речей. Зауважте, що деякі бінарні дані можуть бути надруковані, тому ви все одно отримаєте певний обхід між корисними матеріалами. Я думаю, що струни також знімають цю хитрість, якщо ви можете це використовувати.