«large-files» etiketlenmiş sorular

Diyelim ki çok büyük bir metin dosyasına sahibim (> 2GB) ve sadece catsatırlara Xgitmek istiyorum Y(örneğin 57890000 - 57890010). Anladığım kadarıyla ben boru yapabilirsiniz headiçine tailyani ya viceversa head -A /path/to/file | tail -B Veya alternatif olarak tail -C /path/to/file | head -D burada A, B, Cve Ddosya satır sayısı …

132 tail  cat  large-files  head 

Büyük bir (70GB), bir satır , metin dosyasına sahibim ve içindeki bir dizgiyi (token) değiştirmek istiyorum. Belirteci <unk>, başka bir sahte belirteçle değiştirmek istiyorum ( eldiven sorunu ). Denedim sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ancak çıktı dosyasının corpus.txt.newsıfır baytı var! Perl kullanarak da denedim: perl -pe 's/<unk>/<raw_unk>/g' < …

126 text-processing  sed  large-files 

Çok büyük (en fazla 2 GiB) metin dosyası, içindeki her satırın yaklaşık 100 tam kopyasını içeriyor (benim durumumda, dosya CSV benzeri bir veri tablosu olduğu için işe yaramaz). İhtiyacım olan, orijinal sıra sırasını koruyarak (tercihen, ancak önemli bir performans artışı için feda edilebilir) tüm tekrarları kaldırmak. Sonuçta her satır benzersiz …

126 files  text-processing  large-files 

Oldukça büyük bir dosyaya (35Gb) sahibim ve bu dosyayı yerinde filtrelemek istiyorum (yani başka bir dosya için yeterli disk alanım yok), özellikle bazı kalıpları alıp yok saymak istiyorum - bir yol var bunu başka bir dosya kullanmadan mı yapabilirsin? Diyelim ki içerdiği tüm satırları filtrelemek istiyorum foo:...

54 text-processing  grep  large-files 

İki büyük dosyam var (her biri 6 GB). \nAyırıcılar olarak satır beslemeleri ( ) ile sıralanmamışlardır . Onları nasıl ayırt edebilirim? 24 saatin altında sürmeli.

32 performance  diff  large-files 

SCP ile denedim, ancak "Olumsuz dosya boyutu" yazıyor. >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Ayrıca SFTP kullanmayı denedi, 2 GB dosya aktarılana kadar iyi çalıştı, sonra durdu: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 Sorunun ne olduğu hakkında bir fikrin …

27 scp  sftp  large-files 

Yalnızca birkaç satırda değiştirilen bir dize gerektiren 25 GB metin dosyasına sahibim. sedBaşarıyla kullanabilirim ancak çalışması çok uzun sürüyor. sed -i 's|old text|new text|g' gigantic_file.sql Bunu yapmanın daha hızlı bir yolu var mı?

25 sed  replace  large-files 

ext4Kusurları ve kötü sektörleri olmayan (manyetik) bir sabit sürücüde 900GB'lık bir bölümüm var . Boş bir lost+founddizin dışında bölüm tamamen boş . Ayrılmış dosya sistemi bloklarının sayısını% 1 olarak ayarlamam dışında bölüm varsayılan parametreler kullanılarak biçimlendirildi. ~ 900MB dosyasını xubuntu-15.04-desktop-amd64.isokullanarak bölümün bağlama noktası dizinine indirdim wget. İndirme tamamlandığında, dosyanın dört …

19 filesystems  ext4  large-files 

Ben yaklaşık 100000 küçük dosyaları (her dosya 1-3 satır, her dosya bir metin dosyası) ile bir dizin var. Boyut olarak dizin çok büyük değil (<2GB). Bu veriler profesyonel olarak yönetilen bir NFS sunucusunda yaşar. Sunucu Linux çalıştırıyor. Dosya sisteminin ext3 olduğunu düşünüyorum, ama emin değilim. Ayrıca, sunucuya kök erişimim yok. …

19 filesystems  large-files 

Her biri 1 GB boyutunda birkaç dosyam var. Dosyalardan son birkaç baytı kaldırmam gerekiyor. Nasıl yapabilirim? Disk alanından tasarruf etmek için dosyayı yerinde düzenlemeyi tercih ederim. HP-UX kullanıyorum.

18 files  editors  hp-ux  large-files 

Video ve ses gibi büyük dosyaları flac biçiminde olan bir bölüm için bir dosya sistemi oluştururken -T büyük dosya bayrağı kullanmak yararlı mıdır ? Aynı bölümü bu bayrakla ve onsuz test ettim ve tune2fs -l [bölüm] kullanarak , her ikisinde de "büyük_dosya" etkinleştirilmiş olan "Dosya sistemi özellikleri" ni kontrol ettim. …

17 filesystems  ext4  ext3  large-files  ext2 

Bu diğer soru ile aynı ruhla: büyük bir dosyada X çizgi X'dan Y çizgisine : Büyük bir metin dosyasından belirli bir satır kümesini (örn. Satır ve arasındaki tüm satırlar) Emacs içinden açmanın (ve bir arabellekte göstermenin) bir yolu var mı ?XY Örneğin, dosyadan 57890000 ve 57890010 satırları arasındaki tüm satırları …

10 emacs  large-files 

250 MB'lık bir metin dosyam var, hepsi tek satırda. Bu dosyada akarakterleri bkarakterlerle değiştirmek istiyorum : sed -e "s/a/b/g" < one-line-250-mb.txt Başarısız: sed: couldn't re-allocate memory Bana öyle geliyor ki, bu tür bir görev çok fazla bellek ayırmadan satır içinde gerçekleştirilebiliyor. İş için daha iyi bir araç veya daha iyi …

10 text-processing  sed  performance  large-files  out-of-memory