«split» etiketlenmiş sorular

İlgili, ancak tatmin edici bir cevap yok: Büyük bir metin dosyasını 500 kelimelik parçalara nasıl bölebilirim? Ben bir satırda> 10 ^ 7 kelime ile bir metin dosyası ( http://mattmahoney.net/dc/text8.zip ) almak ve her N kelime ile satırlara bölmek çalışıyorum. Mevcut yaklaşımım işe yarıyor, ancak oldukça yavaş ve çirkin (kabuk komut …

11 text-processing  sed  awk  split 

Optik disklere yedeklemek istediğim bir dizin ağacı var. Ne yazık ki, herhangi bir diskin boyutunu aşıyor (yaklaşık 60GB). Ben sert ağaç ya da whatnot (orijinal el değmeden bırakarak) ile uygun büyüklükte parçalar halinde bu ağaç bölünecek bir komut dosyası arıyorum. Daha sonra bu ısırık boyutundaki ağaçları yedekleme işlemine besleyebilirim (PAR2 …

11 backup  disk-usage  split  burning 

Farklı formatlarda üç çeşit veri var; her veri türü için, onu tek bir birleşik formata dönüştüren bir Python betiği vardır. Bu Python betiği yavaş ve CPU'ya bağlı (çok çekirdekli bir makinede tek bir çekirdeğe), bu yüzden üç örneğini - her veri türü için bir tane - çalıştırmak ve çıktılarını içine …

10 text-processing  pipe  split  parallelism 

Büyük (~ 60G) sıkıştırılmış bir dosya ( tar.gz) vardı. Eskiden split4 parçaya bölerdim ve sonra cattekrar birleştirirdim. Ancak, şimdi, sıkıştırılmamış dosyanın boyutunu tahmin etmeye çalıştığımda, orijinalinden daha küçük olduğu ortaya çıkıyor? Bu nasıl mümkün olabilir? $ gzip -l myfile.tar.gz compressed uncompressed ratio uncompressed_name 60680003101 3985780736 -1422.4% myfile.tar

9 compression  gzip  split 

Ben büyük bir metin dosyası var (~ 50Gb gz'ed). Dosya 4*Nsatır veya Nkayıt içeriyor ; yani her kayıt 4 satırdan oluşur. Bu dosyayı giriş dosyasının yaklaşık% 25'i boyutunda 4 küçük dosyaya bölmek istiyorum. Dosyayı kayıt sınırında nasıl bölebilirim? Saf bir yaklaşım zcat file | wc -lsatır sayısını elde etmek, bu …

9 text-processing  sed  awk  split  wc 

Postgresql veritabanına oldukça devasa bir dosya yüklüyorum. Bu ilk kullanımını yapmak için splitdaha küçük dosyalar (30Gb her) almak için dosyada ve sonra kullanarak veritabanına her küçük bir dosya yüklemek GNU Parallelve psql copy. Sorun, dosyayı bölmenin yaklaşık 7 saat sürmesi ve çekirdek başına bir dosya yüklemeye başlamasıdır. İhtiyacım olan şey, …

9 files  split  gnu-parallel