Ben bir kez dosya -|olarak her bölüm sonunda sınırlayıcı ... unix kullanarak her bölüm için ayrı dosyalar oluşturmak zorunda.

girdi dosyası örneği

wertretr
ewretrtret
1212132323
000232
-|
ereteertetet
232434234
erewesdfsfsfs
0234342343
-|
jdhg3875jdfsgfd
sjdhfdbfjds
347674657435
-|

Dosya 1'de beklenen sonuç

wertretr
ewretrtret
1212132323
000232
-|

Dosya 2'de beklenen sonuç

ereteertetet
232434234
erewesdfsfsfs
0234342343
-|

Dosya 3'te beklenen sonuç

jdhg3875jdfsgfd
sjdhfdbfjds
347674657435
-|

Tek satırlık, programlama yok. (regexp vb. hariç)

csplit --digits=2  --quiet --prefix=outfile infile "/-|/+1" "{*}"

test edildi: csplit (GNU coreutils) 8.30

Apple Mac'te kullanımla ilgili notlar

"OS X kullanıcıları için, csplitbunun işletim sistemi ile birlikte gelen sürümünün çalışmadığını unutmayın. Sürümü coreutils'te isteyeceksiniz (Homebrew aracılığıyla kurulabilir), adı verilen gcsplit." - @Danial

"Eklemek gerekirse, OS X'in çalışması için sürümünü edinebilirsiniz (en azından High Sierra ile). Yalnızca csplit -k -f=outfile infile "/-\|/+1" "{3}"bağımsız değişkenleri biraz ayarlamanız gerekiyor. Çalışmıyor gibi görünen "{*}"özellikler ayırıcıların sayısı ve -kson bir ayırıcı bulamazsa tüm çıktı dosyalarının silinmesini önlemek için eklenmesi gerekiyor . Ayrıca isterseniz --digits, -nbunun yerine kullanmanız gerekir . " - @Pebbl

awk '{f="file" NR; print $0 " -|"> f}' RS='-\\|'  input-file

Açıklama (düzenlendi):

RSkayıt ayırıcısıdır ve bu çözüm, birden fazla karakter olmasına izin veren bir gnu awk uzantısı kullanır. NRkayıt numarasıdır.

Print deyimi bir kaydı ve ardından " -|"adında kayıt numarasını içeren bir dosyaya yazdırır .

Debian'da var csplit, ancak bunun tüm / çoğu / diğer dağıtımlarda ortak olup olmadığını bilmiyorum. Değilse, kaynağı bulmak ve derlemek çok zor olmamalı ...

Dosyanın, aşağıdaki metnin gitmesi gereken adda bir satır içerdiği biraz farklı bir sorunu çözdüm. Bu perl kodu benim için hile yapıyor:

#!/path/to/perl -w

#comment the line below for UNIX systems
use Win32::Clipboard;

# Get command line flags

#print ($#ARGV, "\n");
if($#ARGV == 0) {
    print STDERR "usage: ncsplit.pl --mff -- filename.txt [...] \n\nNote that no space is allowed between the '--' and the related parameter.\n\nThe mff is found on a line followed by a filename.  All of the contents of filename.txt are written to that file until another mff is found.\n";
    exit;
}

# this package sets the ARGV count variable to -1;

use Getopt::Long;
my $mff = "";
GetOptions('mff' => \$mff);

# set a default $mff variable
if ($mff eq "") {$mff = "-#-"};
print ("using file switch=", $mff, "\n\n");

while($_ = shift @ARGV) {
    if(-f "$_") {
    push @filelist, $_;
    } 
}

# Could be more than one file name on the command line, 
# but this version throws away the subsequent ones.

$readfile = $filelist[0];

open SOURCEFILE, "<$readfile" or die "File not found...\n\n";
#print SOURCEFILE;

while (<SOURCEFILE>) {
  /^$mff (.*$)/o;
    $outname = $1;
#   print $outname;
#   print "right is: $1 \n";

if (/^$mff /) {

    open OUTFILE, ">$outname" ;
    print "opened $outname\n";
    }
    else {print OUTFILE "$_"};
  }

Aşağıdaki komut benim için çalışıyor. Umarım yardımcı olur.

awk 'BEGIN{file = 0; filename = "output_" file ".txt"}
    /-|/ {getline; file ++; filename = "output_" file ".txt"}
    {print $0 > filename}' input

Awk da kullanabilirsiniz. Awk'a pek aşina değilim, ancak aşağıdakiler benim için işe yaradı. Part1.txt, part2.txt, part3.txt ve part4.txt oluşturdu. Bunun oluşturduğu son partn.txt dosyasının boş olduğunu unutmayın. Nasıl düzelttiğinden emin değilim, ama eminim biraz ince ayarlarla yapılabilir. Herhangi bir öneriniz var mı?

awk_pattern dosyası:

BEGIN{ fn = "part1.txt"; n = 1 }
{
   print > fn
   if (substr($0,1,2) == "-|") {
       close (fn)
       n++
       fn = "part" n ".txt"
   }
}

bash komutu:

awk -f awk_pattern input.file

Burada, sınırlayıcılar tarafından sağlanan dosya adına göre bir dosyayı birden çok dosyaya bölen bir Python 3 betiği var. Örnek girdi dosyası:

# Ignored

######## FILTER BEGIN foo.conf
This goes in foo.conf.
######## FILTER END

# Ignored

######## FILTER BEGIN bar.conf
This goes in bar.conf.
######## FILTER END

İşte senaryo:

#!/usr/bin/env python3

import os
import argparse

# global settings
start_delimiter = '######## FILTER BEGIN'
end_delimiter = '######## FILTER END'

# parse command line arguments
parser = argparse.ArgumentParser()
parser.add_argument("-i", "--input-file", required=True, help="input filename")
parser.add_argument("-o", "--output-dir", required=True, help="output directory")

args = parser.parse_args()

# read the input file
with open(args.input_file, 'r') as input_file:
    input_data = input_file.read()

# iterate through the input data by line
input_lines = input_data.splitlines()
while input_lines:
    # discard lines until the next start delimiter
    while input_lines and not input_lines[0].startswith(start_delimiter):
        input_lines.pop(0)

    # corner case: no delimiter found and no more lines left
    if not input_lines:
        break

    # extract the output filename from the start delimiter
    output_filename = input_lines.pop(0).replace(start_delimiter, "").strip()
    output_path = os.path.join(args.output_dir, output_filename)

    # open the output file
    print("extracting file: {0}".format(output_path))
    with open(output_path, 'w') as output_file:
        # while we have lines left and they don't match the end delimiter
        while input_lines and not input_lines[0].startswith(end_delimiter):
            output_file.write("{0}\n".format(input_lines.pop(0)))

        # remove end delimiter if present
        if not input_lines:
            input_lines.pop(0)

Son olarak, işte nasıl çalıştıracağınız:

$ python3 script.py -i input-file.txt -o ./output-folder/

csplitVarsa kullanın .

Eğer yoksa, ama Python'unuz varsa ... Perl kullanmayın.

Dosyanın tembel okunması

Dosyanız tek seferde bellekte tutulamayacak kadar büyük olabilir - satır satır okumak tercih edilebilir. Girdi dosyasının "samplein" olarak adlandırıldığını varsayın:

$ python3 -c "from itertools import count
with open('samplein') as file:
    for i in count():
        firstline = next(file, None)
        if firstline is None:
            break
        with open(f'out{i}', 'w') as out:
            out.write(firstline)
            for line in file:
                out.write(line)
                if line == '-|\n':
                    break"

cat file| ( I=0; echo -n "">file0; while read line; do echo $line >> file$I; if [ "$line" == '-|' ]; then I=$[I+1]; echo -n "" > file$I; fi; done )

ve biçimlendirilmiş versiyon:

#!/bin/bash
cat FILE | (
  I=0;
  echo -n"">file0;
  while read line; 
  do
    echo $line >> file$I;
    if [ "$line" == '-|' ];
    then I=$[I+1];
      echo -n "" > file$I;
    fi;
  done;
)

Bu, bağlam ayrımı yazdığım türden bir sorundur: http://stromberg.dnsalias.org/~strombrg/context-split.html

$ ./context-split -h
usage:
./context-split [-s separator] [-n name] [-z length]
        -s specifies what regex should separate output files
        -n specifies how output files are named (default: numeric
        -z specifies how long numbered filenames (if any) should be
        -i include line containing separator in output files
        operations are always performed on stdin

İşte her şeyi yapacak bir perl kodu

#!/usr/bin/perl
open(FI,"file.txt") or die "Input file not found";
$cur=0;
open(FO,">res.$cur.txt") or die "Cannot open output file $cur";
while(<FI>)
{
    print FO $_;
    if(/^-\|/)
    {
        close(FO);
        $cur++;
        open(FO,">res.$cur.txt") or die "Cannot open output file $cur"
    }
}
close(FO);