BÜYÜK metin dosyasında 'head' veya 'tail' kullanma - 19 GB

Çok büyük bir metin dosyasının parçalarını görüntüleme ile ilgili bir sorunum var. Bu dosya, yaklaşık 19 GB, herhangi bir geleneksel yolla görüntülenemeyecek kadar büyük.

Ben denedim head 1ve tail 1( head -n 1ve tail -n 1) her iki komut ile çeşitli şekillerde (ortada bir parça almak için) birlikte şanssız piped ile. Ubuntu 9.10 çalıştıran Linux makinem bu dosyayı işleyemiyor.

Bu dosyayı nasıl kullanırım? Nihai hedefim 45000000 ve 45000100 hatlarına girmek.

Kullanmalısınız sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Bu sed45000000-45000100 dahil satırları yazdırmayı ve 45000101 satırından çıkmayı söyler.

Tek bir alana sahip tek bir tablo ile bir MySQL veritabanı oluşturun. Ardından dosyanızı veritabanına alın. Bu, belirli bir çizgiye bakmayı çok kolay hale getirecektir.

Başka bir şeyin daha hızlı olabileceğini düşünmüyorum ( headve tailzaten başarısız olursa). Sonunda, satır bulmak isteyen uygulama yeni satırlar nbulunana kadar tüm dosyayı aramak zorundadır n. Bir çeşit arama olmadan (dosyaya ofset bayt satır-endeksi) daha iyi bir performans elde edilemez.

Bir MySQL veritabanı oluşturmanın ve içine veri aktarmanın ne kadar kolay olduğu düşünüldüğünde, bunun uygulanabilir bir yaklaşım olduğunu hissediyorum.

İşte nasıl yapılacağı:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file okumak istediğiniz dosya olurdu.

Her satırda sekmeyle ayrılmış değerleri olan bir dosyayı içe aktarmak için doğru sözdizimi şöyledir:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Bunun bir diğer önemli avantajı, daha sonra başka bir satır kümesi çıkarmaya karar verirseniz, işlem için tekrar saatlerce beklemek zorunda kalmamanızdır (elbette veritabanını silmediğiniz sürece).

Büyük dosyalar için iki iyi eski araç joinve split. Bölmeyi, --lines=<number>dosyayı belirli boyuttaki birden çok dosyaya kesen seçenekle kullanabilirsiniz .

Örneğin split --lines=45000000 huge_file.txt. Ortaya çıkan parçalar xa, xb, vb. Olacaktır. Sonra istediğiniz çizgileri içeren xbhead parçasını yapabilirsiniz . Ayrıca dosyaları tek bir büyük dosyaya tekrar 'birleştirebilirsiniz'.

Doğru araçlara sahipsiniz ancak yanlış kullanıyorsunuz. Daha önce U&L'de yanıtlandığı gibi tail -n +X file | head -n Y(not +) sedX'ten başlayan Y hatlarına göre% 10-15 daha hızlıdır . Ve rahatlıkla, exitişlemi olduğu gibi açıkça yapmak zorunda değilsiniz sed.

tail ilk X-1 satırlarını okuyacak ve atacaktır (bunun etrafında bir yol yoktur), ardından aşağıdaki satırları okuyup yazdırın. kafa istenen sayıda satırı okuyup yazdıracak, sonra çıkacaktır. Kafa çıktığında, kuyruk bir SIGPIPE sinyali alır ve ölür, bu nedenle girdi dosyasından arabellek boyutunun değerinden (tipik olarak birkaç kilobayt) fazla satır okumaz.