İstatistiksel bir analiz projesi nasıl verimli bir şekilde yönetilir?

Bilgisayar biliminde proje yönetimi ve tasarım kalıplarını sık sık duyuyoruz, ancak istatistiksel analizde daha az sıklıkta duyuyoruz. Bununla birlikte, etkili ve dayanıklı bir istatistiksel proje tasarlamaya doğru belirleyici bir adımın işleri düzenli tutmak olduğu görülmektedir.

Genellikle R ve tutarlı bir dosya düzenini ayrı klasörlerde (ham veri dosyası, dönüştürülmüş veri dosyası, R komut dosyaları, şekiller, notlar vb.) Kullanmayı savunuyorum. Bu yaklaşımın ana nedeni, analizinizi daha sonra yürütmek için daha kolay olabilir (örneğin, belirli bir arsa üretme şeklinizi unuttuğunuzda).

İstatistiksel proje yönetimi için en iyi uygulamalar veya kendi deneyimlerinizden vermek istediğiniz tavsiyeler nelerdir? Tabii ki, bu herhangi bir istatistiksel yazılım için de geçerlidir. ( gönderim başına bir cevap, lütfen )

SO (@Shane tarafından önerildiği gibi), Biostar (bundan sonra BS) ve bu SE'de buldum hızlı bir kılavuz ilkeleri derliyorum . Her bir öğenin sahipliğini kabul etmek ve ilk veya çok fazla oy alan yanıtı seçmek için elimden geleni yaptım. Ayrıca, [R] ortamına özgü kendi öğelerimi ve işaretlenmiş öğeleri de ekledim.

Veri yönetimi

• Her şeyi doğru yerde tutmak için bir proje yapısı oluşturun (veri, kod, rakamlar vb., Giovanni / BS)
• Ham veri dosyalarını hiçbir zaman değiştirmeyin (ideal olarak salt okunur olmalıdır), dönüştürme, temizleme vb. Yaparken yenilerini kopyalayın / yeniden adlandırın.
• Veri tutarlılığını kontrol et ( whuber / SE)
• GNU make ( Karl Broman / Zachary Jones ) gibi bir derleme otomasyon aracıyla script bağımlılıklarını ve veri akışını yönetin

Kodlama

• kaynak kodunu mantıksal birimlerde veya yapı taşlarında düzenleyin ( Josh Reich / hadley / ars / SO; giovanni / Khader Shameer / BS)
• kaynak kodu düzenleme, özellikle büyük proje için ayırma - kısmen önceki öğeyle örtüşen ve raporlama
• Her şeyi belgeleyin, örneğin [R] oksijen ( Shane / SO) veya kaynak dosyada tutarlı kendi kendine açıklama - Medstats, Belge analizleri ve veri düzenlemeleri hakkında iyi bir tartışma
• [R] Özel işlevler özel bir dosyaya (gerektiğinde kaynaklanabilir), yeni bir ortama yerleştirilebilir (üst seviye ad alanı, Brendan OConnor / SO) veya bir paket ( Dirk Eddelbuettel / Shane / SO)

analiz

• RNG'yi veya stokastik algoritmaları çağırırken kullandığınız tohumu ayarlamayı / kaydetmeyi unutmayın (örn. K-araçları)
• Monte Carlo çalışmaları için özellikleri / parametreleri ayrı bir dosyada saklamak ilginç olabilir ( sumatra iyi bir aday olabilir, giovanni / BS)
• Kendinizi değişken başına bir komployla sınırlandırmayın, çok değişkenli (Trellis) ekranlar ve etkileşimli görselleştirme araçları kullanın (örn. GGobi)

Sürüm

• Kolay takip / ihracat için bir çeşit revizyon kontrolü kullanın , örneğin Git ( Sharpie / VonC / JD Long / SO) - bu, @Jeromy ve @Tal tarafından sorulan güzel sorulardan gelir.
• Her şeyi düzenli aralıklarla yedekleyin ( Sharpie / JD Long / SO)
• Fikirlerinizin kaydını tutun veya ditz ( giovanni / BS) gibi bir sorun izleyicisine güvenin - Git'te mevcut olduğundan önceki öğeye kısmen yedekleyin.

Düzenleme / Raporlama

• [R] Sweave ( Matt Parker / SO) veya daha güncel ürünler
• [R] Brew ( Shane / SO)
• [R] R2HTML veya ascii

Bir ek not olarak, Hadley Wickham, yeniden üretilebilir örnekleme ve birleşik bir veri felsefesi dahil olmak üzere R proje yönetimine kapsamlı bir genel bakış sunmaktadır .

Son olarak, R-odaklı istatistiksel veri analizi çalışma akışında Oliver Kirchkamp, ​​belirli bir iş akışını benimseme ve bunlara uymanın istatistikçilerin birbirleriyle işbirliği yapmasına yardımcı olurken, sonuçların veri bütünlüğünü ve tekrarlanabilirliğini sağlar. Ayrıca, dokuma ve versiyon kontrol sistemi kullanmaya ilişkin bazı tartışmaları içerir. Stata kullanıcıları J. Scott Long'un Stata'yı Kullanarak Veri Analizi İşini de faydalı bulabilirler.

Bu, özellikle bir cevap sağlamaz, ancak şu ilgili stackoverflow sorularına bakmak isteyebilirsiniz:

• "İstatistiksel analiz ve rapor yazma için iş akışı"
• "R Kaynak Kodunu Düzenleme"
• "Büyük R programları nasıl düzenlenir?"
• "Solo veri analisti için R ve sürüm kontrolü"
• “Yazılım geliştirme istatistiksel programlama / analiz ile nasıl karşılaştırılır?”
• “R için“ Revizyon Kontrolü ”ile“ WorkFlow ”u nasıl birleştirirsiniz?”

Ayrıca , istatistiksel bir proje şablonu oluşturmak için John Myles White'ın son projesiyle de ilgilenebilirsiniz .

Bu, Shane'in cevabı ile örtüşüyor, ama bence iki ana ayak var:

• Tekrarlanabilirlik ; sadece "bir şekilde" yapılan sonuçlarla bitmeyeceğiniz için değil, aynı zamanda analizi daha hızlı yeniden başlatabileceğiniz (diğer veriler üzerinde veya biraz değiştirilmiş parametrelerle) ve sonuçları düşünmek için daha fazla zamanınız olması nedeniyle değil. Büyük bir veri için, fikirlerinizi önce küçük bir "playset" üzerinde test edebilir ve ardından tüm verilere kolayca genişletebilirsiniz.
• İyi belgeler ; Versiyon kontrolü altındaki senaryoları, bazı araştırma dergilerini ve daha karmaşık projeler için bilet sistemini bile yorumladı. Tekrar üretilebilirliği artırır, hata izlemeyi kolaylaştırır ve nihai raporları önemsiz bir şekilde yazar.

Van Belle olduğu başarılı istatistiksel projelerin kuralları için kaynak.

Sadece 2 sentim. Bunun için Notepad ++ 'ı faydalı buldum. Her proje için ayrı komut dosyaları (program kontrolü, veri formatlama, vb.) Ve bir .pad dosyası tutabilirim. .Pad dosya araması, bu projeyle ilişkili tüm komut dosyalarıdır.

Diğer cevaplar harika olsa da, başka bir duygu daha eklerdim: SPSS kullanmaktan kaçının. SPSS'i yüksek lisans tezi için ve şimdi de pazar araştırmasında normal işimde kullandım.

SPSS ile çalışırken, SPSS'nin birden fazla dosyayı işlemede kötü olması nedeniyle (çok sayıda dosyayı işleyebildiğinizden emin olun, ancak R kadar ağrısız değildir), çünkü veri kümelerini depolayamadığınız için organize istatistik kodunu geliştirmek çok zordu. bir değişkene - "veri kümesi etkinleştirme x" - kodunu kullanmanız gerekir, ki bu tam bir acı olabilir. Ayrıca, sözdizimi tıknazdır ve kodu daha okunaksız kılan kısaltmaları teşvik eder.

R / Python / Matlab / etc ile çalışan Jupyter Notebooklar, hangi betiğin belirli bir rakam oluşturduğunu hatırlamanın güçlüğünü ortadan kaldırıyor. Bu gönderi , kodu ve rakamı yan yana tutmanın düzenli bir yolunu açıklar. Bir kağıt veya tez bölümü için tüm rakamları tek bir defterde tutmak, kodlanmış kodun bulunmasını çok kolaylaştırır.

Daha da iyisi, aslında, istediğinizi bulmak için bir düzine rakam arasından geçebilirsiniz. Kod gerekli olana kadar gizli tutulur.