Kolay ve sağlam veri keşfi için yazılım

Elektronik tablo kargaşasıyla mücadele etme girişimlerimde, genellikle gerçek istatistik yazılımı (R, Stata ve benzeri) gibi daha sağlam araçlar için itiraz ediyorum. Son zamanlarda, sadece programlamayı öğrenmeyeceklerini belirten biri tarafından bu görüşe meydan okudum. Onlara programlama gerektirmeyen veri analizi araçları sunmak istiyorum (ancak ideal olarak daha sonra suya bir ayak parmağı daldırmaya karar verirlerse programlamaya kadar uzanır). Düz bir yüzle önerebileceğim veri keşfi için hangi paketler var?

Python'da çalışmamın% 95'ini ve geri kalanını R veya MATLAB veya IDL / PV-WAVE (ve yakında SAS) olarak programlıyorum. Ancak, sonuçların zamanının genellikle seçilen analizin büyük bir itici gücü olduğu bir ortamdayım ve bu yüzden sık sık nokta ve tıklama araçlarını da kullanıyorum. Deneyimlerime göre, tek bir dil olmadığı gibi, analitik yapmak için tek, sağlam, esnek bir GUI aracı yoktur. Genellikle aşağıdaki ücretsiz ve ticari yazılımların bir koleksiyonunu birlikte topluyorum

• Weka
• KNIME
• Excel ve eklentileri (Çözücü gibi)
• Alteryx
• MVP İstatistikleri

Ben JMP, Stata, Statistica, vb kullanmadım, ama istiyorum.

Bu araçları kullanmak, farklı GUI'leri ve birden fazla modelleme soyutlamasını öğrenmeyi içerir, bu da o zaman bir acıdır, ancak daha sonra geçici sonuçları daha hızlı elde edeyim. Ben OP ile aynı tekneyim çünkü birlikte çalıştığım insanların çoğu gerçekten akıllı olsa da, ne bir dil, ne de birden fazla GUI ve uygulamaya özel terminoloji öğrenmeyi umursamıyorlar. Bu yüzden, Excel'i iş dünyasında analizin% 90'ını kullandığını kabul etmeye istifa ettim. Buna göre, pyinex gibi şeyleri arıyorum meslektaşlarımın büyük çoğunluğunun beklediği aynı Excel sunum katmanına daha iyi analitik izin vermek için .

GÜNCELLEME: Sunum katmanı programlama-ama-yapma-Excel-ile-Do-modelleme devam tema, ben sadece bu adamın web sitesi Tufte tarzı grafikler Excel hücrelerine gömmek sunan geldi . Tek kelimeyle harika ve ücretsiz!

Keşifsel (muhtemelen etkileşimli) veri analizi söz konusu olduğunda, aşağıdakilere göz atmanızı öneririm:

• Weka , başlangıçta veri madenciliği uygulamalarını hedefler, ancak veri özetleri için kullanılabilir.
• Mondrian , etkileşimli veri görselleştirme için.
• Veri akışı oluşturma fikrine dayanan ve Weka ve R ile uyumlu olan KNIME .

Her üçü de verileri biçim arffveya csvbiçimde kabul eder .

Bana göre, Stata çok fazla programlama uzmanlığı gerektirmiyor. Bu bile çekiciliğinin bir parçası, aslında: Temel analizlerin çoğu, örneğin doğrusal bir modelde tahmin için belirli parametreleri özelleştirmek için iletişim kutuları ile nokta ve tıklama kullanıcı eylemleriyle yapılabilir. @ Gsk3 tarafından söylendiği gibi Rcmdr , Deducer vb. Harici GUI'leri kullandığınızda, daha az da olsa R için de geçerlidir.

Bazı insanlar programlamayı sadece bir komut satırı ifadesi girmek olarak düşünür. O zaman belki de onları cesaretlendirmede biraz kaybolursunuz. Ancak, e-tabloları zaten kullanıyorlarsa, formül girmeleri gerekir. Bunlar komut satırı ifadelerine benzer. Eğer gerçekten mantıklı ve otomatik analiz anlamında herhangi bir programlama yapmak istemedikleri anlamına gelirse, o zaman analizleri R veya Stata'da herhangi bir programlama yapmadan da yapabildiklerini söyleyebilirsiniz.

İstatistiklerini e-tabloda yapabilirlerse ... tüm yapmak istedikleri ... o zaman yapmak istedikleri tüm istatistiksel analizler R veya Stata'da 'programlama' olmadan da yapılabilir. E-tablodaki verileri düzenleyebilir ve düzenleyebilir ve daha sonra metin olarak dışa aktarabilirler. Daha sonra analiz herhangi bir programlama olmadan gerçekleştirilir.

Bazen R'ye böyle giriş yaparım. Bir e-tabloda yapabileceğiniz veri analizini yapmak için herhangi bir programlama gerekmez.

Onları bu şekilde bağlarsanız, balıkları yavaşça sarın ... :) Birkaç yıl içinde ne kadar iyi bir programcı olduklarını onlara iltifat edin.

Ayrıca, bu belgeyi meslektaşlarınıza göstermek veya en azından puanlarınızı daha iyi belirtmek için kendiniz okumak isteyebilirsiniz.

Buraya JMP için bir adım atacağım. Tercih ettiğim programlama dışı veri keşif aracımın neden birkaç nedeni var:

1. Gerçekten iyi görselleştirme araçları. En temel EDA tipi grafikler, R kadar iyidir ve yayına hazır bir grafiğe yaklaşan bir şey üretmek için kullanımı oldukça kolaydır. Ayrıca son derece esnek görselleştirme araçlarına sahiptir, böylece tüm hikayeyi elde etmek için verilerinizi bükebilir ve bükebilirsiniz.
2. Şaşırtıcı derecede güçlü. JMP'nin 4. sınıfımdan önce JMP'nin kutudan çıkamayacağı bir şey bulmak beni aldı. Fena değil.
3. Scriptability. Bu benim için büyük bir şey. GUI'lerin ana zayıflığı, yaptığınız şeyi çoğaltmanın çok zor olmasıdır. JMP, GUI'yi kodlamanızı sağlar - ve bu komut dosyalarını oluşturmak güzel bir nokta ve tıklatmadır.

Tableau'yu veri keşfi ve görselleştirme için iyi bir araç olarak önerebilirim, çünkü sadece sürükleyip bırakarak verileri keşfedip görüntülemenizin farklı yolları nedeniyle. Grafikler oldukça keskindir ve sunum amacıyla kolayca PDF'ye çıktı alabilirsiniz. İsterseniz bazı "programlama" ile genişletebilirsiniz. Bu aracı düzenli olarak "R" ve SAS ile birlikte kullanıyorum ve hepsi birlikte iyi çalışıyor.

John'un dediği gibi, veri araştırması R'de çok fazla programlama gerektirmez. İşte insanlara verebileceğiniz veri araştırma komutlarının bir listesi. (Ben sadece bununla geldim; kesinlikle genişletebilirsiniz.)

Verileri içinde bulunduğu paketten dışa aktarın. (Sayısal verileri tırnak işaretleri olmadan dışa aktarmak uygundur.) Ardından R'deki verileri okuyun.

ChickWeight=read.csv('chickweight.csv')

Bir masa yap.

table(ChickWeight$Diet)

R size ne tür bir grafik vereceğini tahmin etsin. Bazen çok güzel çalışıyor.

plot(ChickWeight)
plot(ChickWeight$weight)
plot(ChickWeight$weight~ChickWeight$Diet)

Bir grup spesifik çizim fonksiyonu tek değişkenler üzerinde oldukça basit çalışır.

hist(ChickWeight$weight)

Alt kümeleri alma

plot(subset(ChickWeight,Diet=='2'))

İnsanların buna alışması durumunda SQL benzeri sözdizimi (daha fazla bilgi )

library(sqldf)
plot(sqldf('select * from ChickWeight where Diet == "2"'))

PCA (Elbette ikiden fazla değişkeniniz olurdu.)

princomp(~ ChickWeight$weight + ChickWeight$Time)

Bu bir cevaptan çok ağıt yakıyor ...

Bunun için gördüğüm en iyi yazılım , Xlisp-Stat üzerine inşa edilmiş Arc . Çok sayıda yerleşik etkileşimli grafik ve birçok istatistiksel çıkarım yeteneği ile veri keşfi için harika bir yazılımdır. Bence başka hiçbir şey veri arama ve Lisp programlama ile daha da genişletme yeteneğine yaklaşamadı. Bana göre, R'deki etkileşim on yıl sonra Arc gibi şekillerde kullanılmaya başlıyor. Ve bildiğim kadarıyla, kimse henüz bu yetenekleri Arc kadar kullanışlı bir yerde etkileşimli bir arayüz oluşturmak için kullanmadı.

Ne yazık ki, hiçbir zaman gerçekten yakalanmadı, bu yüzden geliştiriciler neredeyse hepsi R'de çalışmaya başladı; PC ve Linux / Unix sürümleri hala çalışır ve ihtiyaçlarınıza bağlı olarak denemeye değer olabilir; Mac'ler için en iyi seçenek, X11 altında Linux / Unix sürümünü denemektir, bu şekilde birkaç sistem üzerinde çalıştım. Sitede belirtilen Mac sürümü yalnızca "Klasik" Mac'lerde çalışır.

Ayrıca kısaca denediğim Mondrian'dan da bahseteceğim , ancak veri keşfi için müthiş grafik etkileşimi var gibi görünüyor, ancak (hatırladığım gibi) yetenekleri genişletmenin veya istatistiksel çıkarım yapmanın kolay bir yolu yok.

Bu amaç için umut verici görünen yeni bir yazılım sistemi, R'nin üzerine inşa edilmiş Deducer . Ne ​​yazık ki, yeni olarak, insanların sorabileceği soruların genişliğini henüz kapsamadığından şüpheleniyorum, ancak ayak parmağını içeriyor - insanları daha sonra karar vermeleri halinde gerçek bir pakete yönlendirmek için su kriteri

Geçmişte JMP'yi de kullandım, bu da hoş bir etkileşimi vardı. Arayüzün bazılarının bu amaçlar için çok karmaşık olabileceğinden endişeliyim. Ve ücretsiz değildir, bu da potansiyel elektronik tablo mültecilerinin bir heves denemesini zorlaştırır.

Ayrıca umut verici görünen Rattle da var .

Verilerin neler içerdiğini araştırmak ve verileri temizlemek için, şimdi Açık Rafine Et olan eski Google Rafine, oldukça iyi bir GUI. Hazırlık ve temizlik için Excel gibi bir şeyden çok daha güçlü. Ardından analizleriniz için R-Commander gibi bir şeye geçin.

R'ye cevap veren veya onun herhangi bir "GUI'sinden" herhangi biri soruyu okumadı.

Bunun için özel olarak tasarlanmış bir program var ve buna JMP deniyor. Evet, ücretsiz bir denemeye rağmen pahalı ve öğrenciler veya üniversite personeli için inanılmaz derecede ucuz (50 $ ucuz gibi).

Veri madenciliği ve istatistiksel analiz için iş akışı tabanlı bir GUI olan RapidMiner de var. Ücretsiz ve açık kaynak.

Bu özel araç endüstrimde popüler (tasarımla sektöre özgü olmasa da): http://www.umetrics.com/simca

Gizli değişken tipi çok değişkenli analiz (PCA ve PLS) yapmanızı sağlar ve tüm katılımcı yorumlayıcı grafikleri / hesaplamaları ve katkı grafikleri, değişken önem grafikleri, Q2 hesaplamaları vb. Gibi sorgulama araçlarını içerir.

OLS / MLR tipi yöntemlerin uygun olmadığı yüksek boyutlu (ve genellikle yüksek derecede korelasyonlu / eşdoğrusal) endüstriyel veri setlerinde sıklıkla kullanılır (örneğin, bir tekne yükü sensöründen gelen bilgi, log bilgisi, vb.).

Tamamen GUI ortamında çalışır ve kullanıcının tek bir kod satırı yazması gerekmez. Maalesef ücretsiz değildir ve programlama yoluyla genişletilemez.

Bana göre, testi kendiniz kodlamazsanız, sonuçların hatalarına ve yanlış anlamalarına eğilimlisiniz.

Bilgisayar becerileri olan bir istatistikçi işe almanızı tavsiye etmelisiniz.

Her zaman aynı şeyi yapmaksa, gerçekten de işleri yapacak küçük bir araç (blackbox) kullanabilirsiniz. Ama buna hala veri araştırması denildiğinden emin değilim.

R komutanı olarak adlandırılan John Fox'un R paketini tavsiye ederim:

http://socserv.mcmaster.ca/jfox/Misc/Rcmdr/

Yeni başlayanlar için harika olan ve kullanıcının herhangi bir kod girmesini gerektirmeyen SPSS'ye (veya benzerine) benzer bir kullanıcı arayüzü oluşturur. Her şey açılır kutularla yapılır (çalışırken R konsolunu bile en aza indirebilirsiniz).

Bana göre, bu paketin avantajı, yeni başlayanlar için tamamen işlevsel bir kullanıcı arabirimine sahipken R'nin tüm büyük hesaplama yeteneklerinden yararlanabilmenizdir.

Başka bir kullanışlı araç, sadece Windows için olmasına rağmen, Spotfire'dır - Tek ve çift değişkenler için çeşitli histogramlara ve dağılım çizgilerine hızlı bir şekilde bakmak için oldukça yararlı buldum. Tek bir değişkeni ve basit istatistikleri temel alan çiftleri sıralamanıza yardımcı olan bir araştırma aracı - HCIL'den Hiyerarşik Kümeleme Gezgini . En ilginç değişkenleri / değişken çiftlerini bulmak güzeldir.