Veri depolamak için basit, güvenilir, açık ve birlikte çalışabilir düz metin biçimi

Önceki bir soruda, CSV dosyalarını düzenleme araçlarını sordum .

Gavin , Duncan Murdoch'un R Help ile ilgili bir yorumuyla bağlantı kurdu .

Bazı uygulamalar için özel bir veritabanı yönetim sistemi gereklidir. Bununla birlikte, küçük ölçekli veri analizi projeleri için daha hafif bir şey daha uygun görünmektedir.

Bir dosya biçimini değerlendirmek için aşağıdaki ölçütleri göz önünde bulundurun:

• güvenilir : girilen veriler girilen bilgilere sadık kalmalıdır; veriler farklı yazılımlarda sürekli olarak açılmalıdır;
• basit : dosya biçiminin anlaşılması kolay ve basit bir metin editörü ile ideal olarak okunabilmesi güzel olurdu; formatı okumak ve yazmak için basit bir program yazmak kolay olmalıdır.
• open : biçim açık olmalıdır
• birlikte çalışabilir : dosya biçimi birçok sistem tarafından desteklenmelidir

Sekme ve virgülle ayrılmış değer biçimlerinin güvenilirlik ölçütünde başarısız olduğunu görüyorum. Her ne kadar dosya formatı yerine ithalat ve ihracat programları suçlayabilirim. Kendimi read.tablegarip bir karakterin veri çerçevesinin yüklenmesini kırmasını önlemek için genellikle seçenekler üzerinde küçük ayarlamalar yapmak zorunda kalıyorum .

Sorular

• Hangi dosya formatı bu ihtiyaçları en iyi şekilde karşılıyor?
• Veri Değişim Biçimi daha iyi bir alternatif mi? ya da kendi sorunları var mı?
• Tercih edilebilir başka bir biçim var mı?
• TSV ve CSV'yi haksız değerlendiriyor muyum? Dosya biçimini daha güvenilir hale getiren bu tür dosyalarla çalışmak için basit bir ipucu seti var mı?

Burada bir kriter çarpışması olup olmadığını merak ediyorum.

Excel, SQL, vb. hesaplamaya bağlı değildir).

Buna karşılık, verileri emmediği ya da verilerin çekilmesine izin vermediği kriterleri bir miktar hata kontrolü gerektirir. Sistemin veri türlerini (Excel'in sizi başarısız olduğu yerde) otomatik olarak sihirli bir şekilde belirlemesine izin vermedikçe, pastanızı almanın ve yemenin hiçbir yolu yoktur.

İMO, ikisinden ikinci kriter daha önemlidir. Veri bütünlüğü, bir kez ihlal edildiğinde, analizi zorlaştırır veya imkansız hale getirir. Kayıp gözlemler veya geçersiz değerler (düzgün bir şekilde kontrol edilmezse) her şeyi dağıtabilir.

DIF ile ilgili olarak, gerçek ham metin insan tarafından okunabilir değildir ve insanların veri girişi yapması zor olacaktır (IMO).

IMO, sınırlandırılmış dosyalara adil bir sarsıntı vermelisiniz. Yukarıda yorumlarda belirtildiği gibi, 'veri yönetimi' çoğunlukla kullandığınız araçların bir alt kümesinin hatasıdır. İyi davranılmış programlar sınırlandırılmış dosyaları değiştirmemelidir. Mangling'in en büyük kaynağı, kötü tanımlanmış bir sınırlayıcıdır. Örneğin, verilerinizde virgül olabilirse, CSV uygun değildir. Sekmeler olabilirse TSV uygun değildir. Pek çok (ancak hepsi değil) program için alternatif bir sınırlayıcı belirleyebilirsiniz. Örneğin, tilde (~) birkaç zor durumda kullandım.

Tüm ciddiyetle, R kendisi tarafından oluşturulan RData dosyalarını uygun olarak düşünürdüm

• güvenilir
• basit (beraberlik olarak adlandırın - biçim ikili)
• open (kontrol: R kaynak kodundan daha açık olamaz)
• birlikte çalışabilir (kontrol: R'nin çalıştığı her yerde çalışır)

Benim için yeterince yakın. Sistemler tarafından işletim sistemi yerine uygulamalardan bahsediyorsanız, son nokta başarısız olur.

Oh, ve RData artık dosyalar varsayılan olarak sıkıştırılmış olduğu için etkilidir (varsayılan olarak kapalı olan bir seçenektir).

Dirk Eddelbuettel'in cevabına yanıt olarak, HDF5 dosya biçimini kullanmanızı öneririm . RData formatından daha az basittir veya 'daha zengin' diyebilirsiniz, ancak kesinlikle daha birlikte çalışabilir (C, Java, Matlab, vb. Büyük HDF5 dosyaları içeren G / Ç'nin çok hızlı olduğunu gördüm.

Uygun meta verilerle sabit metin biçiminin neden ölçütlerinizi karşılamadığından emin değilim. Sınırlayıcı olarak okumak o kadar kolay değildir, ancak yine de bilgileri kullanmak için meta verilere ihtiyacınız vardır. Programı okumak için sözdizimi yazma görevi, veri kümesinin yapısının ne kadar büyük ve karmaşık olduğuna bağlıdır. SPSS ve Excel'in bu görevlere yardımcı olacak bir GUI'si vardır.

Karşılaştığım CSV dosyalarıyla ilgili yalnızca iki hata var:

1. Sınırlayıcı olmayan eksik alanlar (bu kayıttaki diğer tüm alanlar yanlış yerleştirilmiş, XML'de eksik etiketlerle de bu sorunu yaşadım)
2. Metin dizesindeki virgül

(başka sorunlarla karşılaşırsanız örnek vermekten çekinmeyin)

İki, drnexus'un önerdiği gibi daha düzensiz bir sınırlayıcı ile çözülür (bir boru (|), daha önce karşılaştığım bir borudır, ancak bir tilde (~), dize alanlarına dahil edilmemesinin mümkün olmadığı kadar iyi çalışır.) sorun, hangi yazılımı kullanırsanız kullanın kolayca çözülemez ve her ikisi de, insanların dosyaları okumak için kullandıkları yazılımı değil, başlangıçta dosyaları yazma biçimiyle ilgili sorunlardır.

Ayrıca, hem bu iş parçacığında hem de bu dosyaları düzenlemekle ilgili diğer son iş parçacığındaki yanıtında drnexus ile hemfikir olduğumu söylemek isterim . Kullandığınız yazılımdan (özellikle Excel'den) şikayet ediyor ve verileri kötü niyetli yazılımınıza uygun bir formatta saklamak istiyor gibisiniz. Belki de soru, Excel'in düz metin dosyalarını otomatik olarak biçimlendirmeyi durdurmasını nasıl sağlayacağınız olmalıdır. Bana göründüğü gibi güvenilir kriterleriniz, düz metin dosyalarını okumakla ilgili bir yazılım sorunudur. Veri yönetimi için R kullanmıyorum, ancak SPSS'de sınırlandırılmış dosyaları okumakta zorlandığınız gibi bir zaman geçirdim.

If the original files are not written properly what makes you expect any software to reliably read the file? And a specific file format will certainly not prevent you from incorrectly writing the data to whatever file type you choose to begin with.

The common problem with plain text format is that it cannot store metadata. How do you define missing data? How do you define 1=strongly disagree, 2=disagree, ... kinds of stuff in plain text format? With plain text format, you have to use another document to define those metadata. And it is not easy to do in XML.

Sometimes this issue can be very disturbing.

My solution is to use SPSS data format, which is self-contained and easy to edit in SPSS. I know this is not a right answer to your question, but I have been struggled on the same problem for a very long time and this is my current solution.