Hesaplamalı araştırmamın tekrarlanmasını sağlamak için bir dergi makalesine (ya da çevrimiçi gönderime) hangi materyali eklemeliyim?

Bilgisayar bilimi araştırmalarında tekrarlanabilirlik giderek daha önemli hale geldi. (Örneğin, bkz Roger Peng bu makaleyi Science , ben de bu tür başka makale ve web sitelerinin farkındayım.) Ancak, bu marka için bir dergi makale ile içermelidir ne kadar bilgi bana net değil (veya çevrimiçi) hesaplamalı araştırmam tekrar üretilebilir (fikri mülkiyet anlaşmaları gibi başka engeller olmadığı varsayılarak). Orada herhangi bir kılavuz var mı ve olmasa da insanlar araştırmacıların bilgisayar bilimleri araştırmalarını tekrarlanabilir hale getirmek için hangi adımları atmaları gerektiğini önerebilirler?

Özellikle cevaplarda kullanım, bu önerileri yerine getirmenin olası yolları olacaktır - temel olarak iş akışları. Sistem agnostik veya Linux tabanlı iş akışları tercih edilir. Ayrıca, yaşadığınız herhangi bir kişisel deneyimi tartışmak da yardımcı olacaktır.

Benim özel durumumda, MATLAB'da yapılabilecek kadar basit olan birkaç örnek hesaplama ile teorik bir makale yazıyorum. Bu durumda, MATLAB betiği de dahil olmak üzere, makinemdeki MATLAB'ın belirli bir versiyonunu belirtmenin tekrarlanabilirliği sağlamak için yeterli olacağını düşünüyorum. Ancak, orada daha karmaşık senaryolar olduğundan eminim ve tekrarlanabilir araştırmanın nasıl yapılacağına dair tavsiyeler gelecekteki projeler için bilmek çok yararlı olacaktır.

Kabaca önem sırasına göre.

Kaynak kodu

1. Algoritmanızın anahtar yönlerini uygulayan kodu hazır bulundurun. Kullanıcı inşa edemez veya çalıştıramasa bile, tam olarak ne yapıldığını okuyabilir. Birkaç kez bir belgede belgelenmemiş, kaynak koduyla birkaç dakika kesin olarak yanıtlanan basit kararları fark ettim.
2. Çalıştırılabilir hale getir. Bu, bağımlı kütüphanelerin sürümlerini belgelendirmeyi içerir ve genellikle biraz taşınabilir kod yazmanızı gerektirir. Kendi makinenizden en az bir makinede bulunduğundan emin olun (hiç temiz bir ortamda inşa etmediyseniz, gizli bağımlılıklara sahip olmak kolaydır).
3. Kullanılan kodun sürümünü belirtin. Resmi olarak yayımlanmış bir sürüm değilse (ve bazen o zaman bile) sürümün SHA1'ini belgeleyin. (Bu, en doğal olarak Git ve Mercurial gibi DSCM'ler için geçerlidir, ancak her yerde kullanılabilir.) Bu, birinin kodun gerçekten aynı sürümüne sahip olduğunu garanti etmenin çok güvenilir bir yoludur.
4. Derleyici satıcısını, sürümleri ve optimizasyon bayraklarını, libc, CPU tipi ve bellek tipi ve topolojisi gibi sistem kitaplıklarını (özellikle performans çalışmaları için) içeren yapılandırma ve ana bilgisayar parametrelerini dahil edin.

Çalışma zamanı parametreleri / giriş dosyaları

Tam girdi özelliğini ekleyin. Bir komut dosyası tarafından oluşturulmuşsa, o komut dosyasını ekleyin. Büyük veri ise, verilerin nasıl elde edilip işlendiğini belgeleyin. Algoritmanızın rasgeleliği varsa, rasgele sayı üretecini ve kullanılan tohumu belirtin.

Şekil ve tablo üretmek için komut dosyaları

Hem rakamların gerçekte ne gösterdiği hakkındaki soruları netleştirmek hem de okuyucunun parametreleri değiştirdiğinde veya algoritmayı değiştirdiğinde durumların nasıl değiştiğini denemesine izin vermek için bu komut dosyalarını eklemek çok yararlıdır.

Pek çok dergi bunun için resmi bir şekilde kurulmamıştır, ancak kısa bir süre önce özellikle kaynak kodunu alması amaçlanan Sayısal Yazılım Arşivi'ni ve gerekli olan her şeyi makalenin bir parçası haline getirdik. Şuna bir göz atın: http://journals.tdl.org/ans Gönderimler bekliyoruz!

İçinde

Stodden, V. 2009. “Tekrarlanabilir Bilimsel Araştırmalar İçin Yasal Çerçeve.” CiSE .

Victoria Stodden, tam olarak "araştırma özeti" nin yayınlanmasını tavsiye eder ve aşağıdaki bileşenleri p. 38:

1. Araştırma ödevi
2. Veri - verilerin işlenmesi için dokümantasyon ve kod dahil
3. Deney - tüm kaynak kodları; belgeler, parametreler, ayarlar ve işletim sistemi bağımlılıkları
4. Deneyin sonuçları - rakamlar, veriler, örnek kaynak dosyaları; ve deneysel sonuçların işlenmesinin belgelenmesi ve açıklanması
5. Herhangi bir yardımcı malzeme

En azından, denemelerinizi yapmak için kullandığınız Kaynak kod ve veriler bir yerde güvenilir olmalıdır. Gerekirse kodunuzu oluşturmak için talimatlar ekleyin. Gerçekten çok az sayıda açık erişim dergileri var ki açık ve yerleşik bir kural yok.

Elsevier için çalışıyorum. Şirketim, yazarların sonuçları ve rakamları tekrarlamalarında ihtiyaç duydukları tüm verileri ve kodu dahil etmelerini sağlamak için, dergi sayılarında Collage uygulamasını (Çalıştırılabilir Kağıt Büyük Mücadelesine cevaben geliştirilen) kullanmaya başladı. Bu özellik, okuyucuların makalede bildirilen sonuçları yeniden üretmelerini ve yayınlanan materyalleri kendi araştırmaları için yeniden kullanmalarını kolaylaştırır. Collage, çok çeşitli açık kaynaklı ve özel yazılımları destekler; Daha fazla bilgi bilgilendirme videoda bulunabilir burada ve en Kolaj Yazma Çevre Sitesi .