Швидкий метод розщеплення рядка з текстового файлу?

У мене є два текстові файли: string.txt та lengths.txt

String.txt:

abcdefghijklmnopqrstuvwxyz

lengths.txt

5
4
10
7

Я хочу отримати файл

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Я працюю з близько 28 000 записів, і вони варіюються від 200 до 56000 символів.

На даний момент я використовую:

start=1
end=0
i=0
while read read_l
do
    let i=i+1
    let end=end+read_l
    echo -e ">Entry_$i" >>outfile.txt
    echo "$(cut -c$start-$end String.txt)" >>outfile.txt
    let start=start+read_l
    echo $i
done <lengths.txt

Але це дуже неефективно. Якісь кращі ідеї?

Ви можете зробити

{
  while read l<&3; do
    {
      head -c"$l"
      echo
    } 3<&-
  done 3<lengths.txt
} <String.txt

Це вимагає певного пояснення:

Основна ідея полягає у використанні { head ; } <fileта походить від заниженої відповіді @mikeserv . Однак у цьому випадку нам потрібно використовувати багато heads, тому whileвводиться цикл і трохи налаштовується з дескрипторами файлів, щоб перейти до headвведення з обох файлів (файл String.txtяк основний файл для обробки, а рядки - від length.txtаргументу до -cпараметра) . Ідея полягає в тому, що вигода в швидкості повинна виходити з того, що не потрібно шукати String.txtкожен раз команду, яка подобається headабо cutвикликається. Потрібно echoлише надрукувати новий рядок після кожної ітерації.

Наскільки це швидше (якщо є) і додавання >Entry_iміж рядками залишається як вправа.

Як правило, ви не хочете використовувати петлі оболонки для обробки тексту . Тут я б використав perl:

$ perl -lpe 'read STDIN,$_,$_; print ">Entry_" . ++$n' lengths.txt < string.txt
>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Це одна команда, яка читає (з буферизацією набагато ефективніше, ніж команда оболонки, readяка читає один байт (або кілька байтів для звичайних файлів) одночасно) обидва файли лише один раз (не зберігаючи їх повністю в пам'яті), так це буде на кілька порядків більш ефективним, ніж рішення, які виконують зовнішні команди в циклі оболонки.

(додайте -Cпараметр, якщо ці числа повинні бути числами символів у поточному локалі на відміну від кількості байтів. Для символів ASCII, як у вашому зразку, це не матиме ніякої різниці).

bash, версія 4

mapfile -t lengths <lengths.txt
string=$(< String.txt)
i=0 
n=0
for len in "${lengths[@]}"; do
    echo ">Entry_$((++n))"
    echo "${string:i:len}"
    ((i+=len))
done

вихід

>Entry_1
abcde
>Entry_2
fghi
>Entry_3
jklmnopqrs
>Entry_4
tuvwxyz

Про що awk?

Створіть файл, названий process.awkцим кодом:

function idx(i1, v1, i2, v2)
{
     # numerical index comparison, ascending order
     return (i1 - i2)
}
FNR==NR { a[FNR]=$0; next }
{ i=1;PROCINFO["sorted_in"] = "idx";
        for (j in a) {
                print ">Entry"j;
                ms=substr($0, i,a[j])
                print ms
                i=i+length(ms)
        }
}

Збережіть його та виконайте awk -f process.awk lengths.txt string.txt