Як обробити файл у PowerShell по черзі як потік

Я працюю з декількома гігабайтними текстовими файлами і хочу виконати певну обробку потоків над ними за допомогою PowerShell. Це прості речі, просто проаналізуйте кожен рядок і витягніть деякі дані, а потім збережіть їх у базі даних.

На жаль, get-content | %{ whatever($_) }схоже, він зберігає в пам'яті весь набір рядків на цьому етапі конвеєра. Це також напрочуд повільно, адже потрібно дуже багато часу, щоб насправді прочитати все.

Отже, моє запитання складається з двох частин:

1. Як я можу змусити його обробляти потік за рядком і не зберігати все, що буферизується в пам'яті? Я хотів би уникати використання декількох концертів оперативної пам'яті для цієї мети.
2. Як я можу змусити його працювати швидше? Ітерація PowerShell над, get-contentздається, у 100 разів повільніша, ніж сценарію C #.

Я сподіваюся, що я роблю тут щось німе, наприклад, пропускаючи -LineBufferSizeпараметр чи щось ...

Якщо ви дійсно збираєтеся працювати з текстовими файлами з кількістю гігабайт, тоді не використовуйте PowerShell. Навіть якщо ви знайдете спосіб його прочитати, швидша обробка величезної кількості рядків у будь-якому випадку буде повільною в PowerShell, і ви не можете цього уникнути. Навіть прості цикли дорогі, скажімо, за 10 мільйонів ітерацій (цілком реально у вашому випадку) ми маємо:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

ОНОВЛЕННЯ: Якщо ви все ще не боїтеся, спробуйте скористатися програмою зчитування .NET:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

ОНОВЛЕННЯ 2

Є коментарі щодо можливо кращого / коротшого коду. В оригінальному коді немає нічого поганого, forі це не псевдокод. Але найкоротший (найкоротший?) Варіант циклу читання

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()ідеально підходить для цього сценарію. Він повертає всі рядки файлу, але дозволяє негайно розпочати ітерацію по рядках, що означає, що йому не потрібно зберігати весь вміст у пам'яті.

Потрібна .NET 4.0 або новіша версія.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Якщо ви хочете використовувати пряму PowerShell, ознайомтеся з наведеним нижче кодом.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}