PowerShell'de bir dosyayı akış olarak satır satır işleme

Bazı çok gigabaytlık metin dosyalarıyla çalışıyorum ve PowerShell'i kullanarak bunlarda bazı akış işlemleri yapmak istiyorum. Basit şeyler, sadece her satırı ayrıştırmak ve bazı verileri çıkarmak ve ardından bir veritabanında depolamak.

Ne yazık ki, get-content | %{ whatever($_) }borunun bu aşamasında tüm satır kümesini bellekte tutuyor gibi görünüyor. Aynı zamanda şaşırtıcı derecede yavaştır, aslında hepsini okumak çok uzun zaman alır.

Yani sorum iki bölümden oluşuyor:

1. Akımı satır satır işlemesini ve her şeyi hafızada tutmamasını nasıl sağlayabilirim? Bu amaçla birkaç GB RAM kullanmaktan kaçınmak istiyorum.
2. Daha hızlı çalışmasını nasıl sağlayabilirim? Bir üzerinde yinelenen PowerShell get-content, bir C # betiğinden 100 kat daha yavaş görünüyor.

Umarım burada yaptığım aptalca bir şey vardır, bir -LineBufferSizeparametreyi kaçırmak gibi ...

Gerçekten çok gigabaytlık metin dosyaları üzerinde çalışmak üzereyseniz, PowerShell'i kullanmayın. Okumanın bir yolunu bulsanız bile, çok sayıda satırın daha hızlı işlenmesi PowerShell'de zaten yavaş olacaktır ve bundan kaçınamazsınız. Basit döngüler bile pahalıdır, örneğin 10 milyon yineleme için (sizin durumunuzda oldukça gerçektir) bizde:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

GÜNCELLEME: Hala korkmuyorsanız, .NET okuyucuyu kullanmayı deneyin:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

GÜNCELLEME 2

Muhtemelen daha iyi / daha kısa kod hakkında yorumlar var. Orijinal kodda yanlış hiçbir şey yoktur forve sözde kod değildir. Ancak okuma döngüsünün daha kısa (en kısa?) Varyantı

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()bu senaryo için mükemmeldir. Bir dosyanın tüm satırlarını döndürür, ancak satırlar üzerinde yinelemeye hemen başlamanıza izin verir, bu da tüm içeriği bellekte saklamak zorunda olmadığı anlamına gelir.

.NET 4.0 veya üstünü gerektirir.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Doğrudan PowerShell kullanmak istiyorsanız aşağıdaki kodu kontrol edin.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}