Bu CSV örneğiyle:
Source,col1,col2,col3
foo,1,2,3
bar,3,4,5
Pandaları kullandığım standart yöntem şudur:
CSV'yi ayrıştır
Bir veri çerçevesine sütun seçin ( col1ve col3)
col1ve değerlerini ortalama col3)Pandalar gibi yapan bir JavaScript kitaplığı var mı?
Yanıtlar:
Tüm cevaplar güzel. Cevabımın kapsamlı olmasını umuyorum (yani tüm seçenekleri listelemeye çalışıyor ). Bir seçim yapmanıza yardımcı olacak herhangi bir kriterle bu yanıtı geri almayı ve gözden geçirmeyi umuyorum.
Umarım buraya gelen herkes aşinadır d3. Python için yararlı olduğu d3gibi pandas, Javascript'teki verileri işlemek için çok yararlı bir "İsviçre çakısı" dır. Sen önerilerini görebilirsiniz d3sık gibi kullanılabilir pandasolsa bile, d3olan bir DataFrame / Pandalar yedek tam olarak değil (yani d3aynı API sahip değildir; d3yok Series/ DataFramegibi hangi davranan pandas)
Ahmed'in cevabı d3 nasıl kullanılabileceğini açıklayan bazı DataFrame işlevselliği elde etmek için, aşağıdaki kütüphanelerin bazıları gibi şeyler ilham edildi LearnJsData kullanımları d3ve lodash.
DataFrame odaklı özelliklere gelince, yardımcı olan JS kitaplıklarıyla boğulmuştum. İşte karşılaşmış olabileceğiniz bazı seçeneklerin hızlı bir listesi. Henüz hiçbirini ayrıntılı olarak kontrol etmedim (Çoğu Google + NPM araması kombinasyonunda buldum).
Dikkatli olun, birlikte çalışabileceğiniz bir çeşitlilik kullanın; bazıları Node.js, diğer adıyla Sunucu tarafı Javascript, bazıları tarayıcı uyumlu, yani istemci tarafı JavaScript'tir. Bazıları Typescript.
Sonra bu soruya gelip burada diğer cevapları kontrol edip daha fazla arama yaptıktan sonra, aşağıdaki gibi seçenekler buldum:
JSIPython / Jupyter "dizüstü bilgisayarlara" bir alternatif gibi görünüyorjs-data-mongodb, js-data-redis, js-data-cloud-datastore), sıralama, filtreleme, vbUmarım bu gönderi bir topluluk wiki'si haline gelebilir ve aşağıdaki gibi farklı kriterlere göre değerlendirebilir (yani yukarıdaki farklı seçenekleri karşılaştırabilir):
Jupyter
(etkileşimli not defterleri), vb . Kombinasyon halinde gösterilmiş entegrasyonBir JS kitaplığının asla yapamayacağı bazı şeyler (ama yapabilir mi?)
Data-forge adlı JavaScript için veri düzenleme kitaplığı üzerinde çalışıyorum. LINQ ve Pandas'tan esinlenmiştir.
Şu şekilde kurulabilir:
npm install --save data-forge
Örneğiniz şu şekilde çalışacaktır:
var csvData = "Source,col1,col2,col3\n" +
"foo,1,2,3\n" +
"bar,3,4,5\n";
var dataForge = require('data-forge');
var dataFrame =
dataForge.fromCSV(csvData)
.parseInts([ "col1", "col2", "col3" ])
;
Verileriniz bir CSV dosyasındaysa, aşağıdaki gibi yükleyebilirsiniz:
var dataFrame = dataForge.readFileSync(fileName)
.parseCSV()
.parseInts([ "col1", "col2", "col3" ])
;
selectYöntemi satırları dönüştürmek için kullanabilirsiniz .
Kullanarak bir sütunu ayıklayabilir ve getSeriesardından selectbu sütundaki değerleri dönüştürmek için yöntemi kullanabilirsiniz .
Verilerinizi veri çerçevesinden şu şekilde geri alırsınız:
var data = dataFrame.toArray();
Bir sütunun ortalamasını almak için:
var avg = dataFrame.getSeries("col1").average();
Bununla yapabileceğiniz daha çok şey var.
Npm'de daha fazla belge bulabilirsiniz .
Ceaveat Aşağıdakiler yalnızca d3 v3 için geçerlidir, en son d4v4 için geçerli değildir!
Ben d3.js'ye düşkünüm ve Pandalar için tam bir ikame olmayacak olsa da, paradigmasını öğrenmek için biraz zaman harcarsanız, sizin için tüm veri çekişmelerinizle ilgilenebilir. (Ve sonuçları tarayıcıda görüntülemek isteyip istemediğinize karar verirseniz, ideal olarak buna uygundur.)
Misal. CSV dosyam data.csv:
name,age,color
Mickey,65,black
Donald,58,white
Pluto,64,orange
Aynı dizinde index.htmlaşağıdakileri içeren bir tane oluşturun:
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8"/>
<title>My D3 demo</title>
<script src="http://d3js.org/d3.v3.min.js" charset="utf-8"></script>
</head>
<body>
<script charset="utf-8" src="demo.js"></script>
</body>
</html>
ve ayrıca demo.jsaşağıdakileri içeren bir dosya:
d3.csv('/data.csv',
// How to format each row. Since the CSV file has a header, `row` will be
// an object with keys derived from the header.
function(row) {
return {name : row.name, age : +row.age, color : row.color};
},
// Callback to run once all data's loaded and ready.
function(data) {
// Log the data to the JavaScript console
console.log(data);
// Compute some interesting results
var averageAge = data.reduce(function(prev, curr) {
return prev + curr.age;
}, 0) / data.length;
// Also, display it
var ulSelection = d3.select('body').append('ul');
var valuesSelection =
ulSelection.selectAll('li').data(data).enter().append('li').text(
function(d) { return d.age; });
var totalSelection =
ulSelection.append('li').text('Average: ' + averageAge);
});
Dizinde , yaşların ve ortalamalarının basit bir listesini görmek için tarayıcınızda http: // localhost: 8181'i çalıştırın python -m SimpleHTTPServer 8181ve açın .
Bu basit örnek, d3'ün birkaç alakalı özelliğini göstermektedir:
Aşağıda Python uyuşmuş ve pandalar var
''
import numpy as np
import pandas as pd
data_frame = pd.DataFrame(np.random.randn(5, 4), ['A', 'B', 'C', 'D', 'E'], [1, 2, 3, 4])
data_frame[5] = np.random.randint(1, 50, 5)
print(data_frame.loc[['C', 'D'], [2, 3]])
# axis 1 = Y | 0 = X
data_frame.drop(5, axis=1, inplace=True)
print(data_frame)
''
Aynısı JavaScript * [ numjs yalnızca Node.js ile çalışır ] Ancak D3.js çok gelişmiş Veri dosyası seti seçeneklerine sahiptir. Hem numjs hem de Pandas-js hala çalışıyor ..
import np from 'numjs';
import { DataFrame } from 'pandas-js';
const df = new DataFrame(np.random.randn(5, 4), ['A', 'B', 'C', 'D', 'E'], [1, 2, 3, 4])
// df
/*
1 2 3 4
A 0.023126 1.078130 -0.521409 -1.480726
B 0.920194 -0.201019 0.028180 0.558041
C -0.650564 -0.505693 -0.533010 0.441858
D -0.973549 0.095626 -1.302843 1.109872
E -0.989123 -1.382969 -1.682573 -0.637132
*/Pandas.js şu anda deneysel bir kitaplıktır, ancak immutable.js ve NumpPy mantığının altında kullandığı çok umut verici görünüyor, hem veri nesneleri serisi hem de DataFrame orada ..
@neversaint beklemeniz bitti. javascript kitaplığı gibi pandalar olan ve tensorflow.js üzerine inşa edilmiş ve tensörleri kutudan çıkaran Danfo.js'ye hoş geldiniz deyin . Bu, danfo veri yapısını Tensörlere dönüştürebileceğiniz anlamına gelir. Ayrıca groupby, birleştirme, birleştirme, çizim ve diğer veri işlemlerini yapabilirsiniz.
Bence en yakın şey aşağıdaki gibi kütüphaneler:
Özellikle Recline, Pandas veri çerçevelerine biraz benzer bir yapıya sahip bir Veri Kümesi nesnesine sahiptir. Daha sonra verilerinizi veri ızgarası, grafikler, haritalar vb. Gibi "Görünümler" ile bağlamanıza olanak tanır. Görünümler genellikle D3, Flot, SlickGrid vb. Gibi mevcut en iyi tür görselleştirme kitaplıklarının etrafındaki ince sarmalayıcılardır.
İşte Recline için bir örnek:
// Biraz veri yükle
var dataset = recline.Model.Dataset ({
kayıtlar: [
{değer: 1, tarih: '2012-08-07'},
{değer: 5, b: '2013-09-07'}
]
// Bunun yerine CSV verilerini yükle
// (Ve Recline, daha birçok veri kaynağı türünü destekler)
// url: 'yerel-csv-dosyam.csv',
// arka uç: 'csv'
});
// görüntüleyen için HTML'nizden bir öğe alın
var $ el = $ ('# veri görüntüleyici');
var allInOneDataViewer = new recline.View.MultiView ({
model: veri kümesi,
el: $ el
});
// Yeni Veri Görüntüleyiciniz yayında olacak!
CSV'yi javascript'te ayrıştırmak oldukça kolaydır, çünkü her satır zaten bir javascript dizisidir. Eğer csv'nizi bir dizi diziye (satır başına bir tane) yüklerseniz, değerlerle bir dizi dizisi yüklemek oldukça kolaydır:
var pivot = function(data){
var result = [];
for (var i = 0; i < data.length; i++){
for (var j=0; j < data[i].length; j++){
if (i === 0){
result[j] = [];
}
result[j][i] = data[i][j];
}
}
return result;
};
var getData = function() {
var csvString = $(".myText").val();
var csvLines = csvString.split(/\n?$/m);
var dataTable = [];
for (var i = 0; i < csvLines.length; i++){
var values;
eval("values = [" + csvLines[i] + "]");
dataTable[i] = values;
}
return pivot(dataTable);
};
Ardından getData(), sütuna göre çok boyutlu bir değerler dizisi döndürür.
Bunu sizin için bir jsFiddle'da gösterdim .
Elbette, girdiye güvenmiyorsanız, bu kadar kolay yapamazsınız - verilerinizde değerlendirilebilecek komut dosyası olabilir, vb.
Burada 1. satırda var olan bir başlığı varsayan dinamik bir yaklaşım var. Csv ile yüklenir d3.js.
function csvToColumnArrays(csv) {
var mainObj = {},
header = Object.keys(csv[0]);
for (var i = 0; i < header.length; i++) {
mainObj[header[i]] = [];
};
csv.map(function(d) {
for (key in mainObj) {
mainObj[key].push(d[key])
}
});
return mainObj;
}
d3.csv(path, function(csv) {
var df = csvToColumnArrays(csv);
});
Ardından, bir R, python veya Matlab veri çerçevesine benzer verilerin her sütununa erişebilirsiniz df.column_header[row_number].