Чи можливо в баші почати читати файл із зміщення підрахунку байтів довільного обміну?

Я хочу знайти дату, яка знаходиться десь у журналі 8 Гб (текст).

Чи можу я трохи обійти повне послідовне читання і спочатку зробити двійкові розщеплення файлу (розмір) або якимось чином переміститися по файловій системі inodes(про яку я дуже мало знаю ), щоб почати читання з кожного розділеного пункту, поки не знайду відповідного зміщення від з чого почати пошук тексту для рядка, що містить дату?

tailЧитання останнього рядка не використовує звичайне послідовне зчитування, тому мені цікаво, чи цей інструмент якимось чином доступний у bash, чи мені потрібно використовувати Python чи C / C ++ ... але мене конкретно цікавить bashваріант ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

який .. не створює файлів із розділеним тимчасовим режимом, пропускає блоки * 512 Мб даних при кожному запуску, зчитує 64 байти з цього положення та обмежує вихід на перший рядок із цих 64 байтів.

ви можете налаштувати 64 на все, що ви вважаєте, що вам потрібно.

Це звучить так, як хочеться:

tail -c +1048576

або будь-яку кількість байтів, які ви хочете пропустити. Знак "плюс" повідомляє хвіст вимірювати з початку файлу замість кінця. Якщо ви використовуєте версію хвоста GNU, ви можете записати це як:

tail -c +1M

Щоб отримати фіксовану кількість байтів після вирізання, замість всього решти файлу просто переведіть його через голову:

tail -c +1048576 | head -c 1024

Я б спробував щось подібне, щоб розділити журнал на шматки 512MiB для швидшого розбору.

split <filename> -b 536870912

Якщо ви шукаєте файл, працює наступне:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Використовуйте цей вихід, щоб визначити, який файл зібрати для вашої дати.

Ось мій сценарій, я шукаю перший рядок, коли перше поле відповідає моєму номеру. Рядки сортуються відповідно до першого поля. Я використовую dd для перевірки першого рядка блоків 128K, потім переходжу до блоку та здійснюю пошук. Це підвищує ефективність файлу понад 1М.

Будь-який коментар чи виправлення вдячні!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* EDIT * ** Grep набагато швидше і вивів ще краще