Büyük veri dosyaları satır satır nasıl kopyalanır?

35GB'lık bir dosyam var CSV. Her satırı okumak ve bir koşulla eşleşiyorsa satırı yeni bir CSV'ye yazmak istiyorum.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

Bu yakl. 7 dakika. Bu süreci daha da hızlandırmak mümkün mü?

Bu bir seçenekse, disk G / Ç'sini en aza indirmek için GZipInputStream / GZipOutputStream kullanabilirsiniz.

Files.newBufferedReader / Writer varsayılan tampon boyutu, 8 KB kullanmak inanıyorum. Daha büyük bir arabelleği deneyebilirsiniz.

String'e dönüştürülürken Unicode, yavaşlar (ve hafızanın iki katını kullanır). Kullanılan UTF-8, StandardCharsets.ISO_8859_1 kadar basit değil.

Bayt ile çalışabiliyorsanız en iyisiÇoğunlukla ve yalnızca belirli CSV alanları için bunları Dize'ye dönüştürürseniz iyi olur.

Bellek eşlemeli dosya en uygun dosya olabilir. Paralellik, dosya tükürerek dosya aralıklarında kullanılabilir.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

Bu biraz fazla kod olacak, doğru çizgileri alacak (byte)'\n', ancak aşırı karmaşık olmayacak.

bunu deneyebilirsiniz:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

Sanırım bu sizi bir iki dakikadan kurtaracak. test, arabellek boyutu belirtilerek yaklaşık 4 dakika içinde makinemde yapılabilir.

daha hızlı olabilir mi? bunu dene:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

Bu sizi üç veya dört dakika kurtarmalıdır.

Eğer bu hala yeterli değilse. (Soruyu muhtemelen sormanızın nedeni, görevi tekrar tekrar yürütmeniz gerektiğidir). bir dakika hatta birkaç saniye içinde bunu yapmak istiyorsanız. veriyi işlemeli ve db'ye kaydetmeli, sonra görevi birden çok sunucu tarafından işlemelisiniz.

Tüm önerileriniz sayesinde, en hızlı şekilde yazarı değiştirdim BufferedOutputStream, bu da yaklaşık% 25 iyileşme sağladı:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

Hala benim durumumdan BufferedReaderdaha iyi performans gösterir BufferedInputStream.