Mongo sorgusunun çıktısını bir csv dosyasına yönlendirme

32 bit Windows7 makinesi için MongoDB 2.2.2 kullanıyorum. .Js dosyasında karmaşık bir toplama sorgum var. Bu dosyayı kabukta çalıştırmam ve çıktıyı bir CSV dosyasına yönlendirmem gerekiyor. Sorgunun "düz" bir json (iç içe anahtarlar yok) döndürdüğünden emin olurum, böylece doğal olarak düzgün bir csv'ye dönüştürülebilir.

Bilmem load()ve eval(). eval()tüm sorguyu kabuğa yapıştırmamı gerektiriyor ve printjson()csv'ye ihtiyacım varken yalnızca komut dosyasının içine izin veriyor . Ve ikinci yol: .. load()Çıktıyı ekrana ve tekrar json formatında yazdırır.

Mongo'nun bu dönüşümü json'dan csv'ye yapmasının bir yolu var mı? (Veriler üzerinde grafikler hazırlamak için csv dosyasına ihtiyacım var). Şöyle düşünüyorum:

1. Her iki mongo da bunun için şu anda bulamadığım yerleşik bir komuta sahiptir.
2. Mongo bunu benim için yapamaz; En fazla json çıktısını, daha sonra csv'ye dönüştürmem gereken bir dosyaya gönderebilirim.
3. Mongo, json çıktısını, içeriği kolaylıkla mongoexportedcsv formatında olabilen geçici bir koleksiyona gönderebilir . Ancak, yalnızca harita azaltma sorgularının çıktı koleksiyonlarını desteklediğini düşünüyorum. Bu doğru mu? Bir toplama sorgusu için buna ihtiyacım var.

Herhangi bir yardım için teşekkürler :)

Bu sorunun eski olduğunu biliyorum ama karmaşık bir sorguyu csv'ye aktarmaya çalışırken bir saatimi harcıyorum ve düşüncelerimi paylaşmak istedim. İlk önce json'dan csv'ye dönüştürücülerin çalışmasını sağlayamadım ( bu umut verici görünmesine rağmen ). Yaptığım şey, csv dosyasını mongo betiğimde elle yazmaktı.

Bu basit bir versiyon ama aslında yaptığım şey:

print("name,id,email");
db.User.find().forEach(function(user){
  print(user.name+","+user._id.valueOf()+","+user.email);
});

Bu sadece sorguyu stdout'a gönderdim

mongo test export.js > out.csv

testkullandığım veritabanının adı nerede .

Tarih formatlama, gizli veri türleri vb. Gibi herhangi bir veri manipülasyonu istemediğiniz sürece Mongo'nun dahili dışa aktarımı iyi çalışıyor

Aşağıdaki komut cazibe olarak çalışır.

    mongoexport -h localhost -d databse -c collection --type=csv 
    --fields erpNum,orderId,time,status 
    -q '{"time":{"$gt":1438275600000}, "status":{"$ne" :"Cancelled"}}' 
    --out report.csv

Diğer cevapları genişletme:

@ GEverding'in yanıtını en esnek buldum. Aynı zamanda toplama ile de çalışır:

test_db.js

print("name,email");

db.users.aggregate([
    { $match: {} }
]).forEach(function(user) {
        print(user.name+","+user.email);
    }
});

Sonuçları dışa aktarmak için aşağıdaki komutu yürütün:

mongo test_db < ./test_db.js >> ./test_db.csv

Maalesef, CSV dosyasına, biz onu kullanmadan önce işlenmesini gerektiren ek metin ekler:

MongoDB shell version: 3.2.10 
connecting to: test_db

Ancak, mongo kabuğunun bu yorumları yaymasını durdurabiliriz ve yalnızca --quietbayrağı uzatarak istediğimizi yazdırabiliriz.

mongo --quiet test_db < ./test_db.js >> ./test_db.csv

İşte deneyebileceğiniz şeyler:

print("id,name,startDate")
cursor = db.<collection_name>.find();
while (cursor.hasNext()) {
    jsonObject = cursor.next();
    print(jsonObject._id.valueOf() + "," + jsonObject.name + ",\"" + jsonObject.stateDate.toUTCString() +"\"")

}

Bunu bir dosyaya kaydedin, "export.js" deyin. Aşağıdaki komutu çalıştırın:

mongo <host>/<dbname> -u <username> -p <password> export.js > out.csv

Göz at bu

mongo kabuğundan dosyaya çıktı almak için. Mongos kabuğundan csv çıkışı desteği yoktur. Javascript'i kendiniz yazmanız veya mevcut birçok dönüştürücüden birini kullanmanız gerekir. Örneğin Google "json’ı csv’ye dönüştür".

Sadece burada kullandığım güzel bir çözümle tartıyorum. Bu, toplamayı desteklemesi açısından Lucky Soni'nin yukarıdaki çözümüne benzer , ancak alan adlarının sabit kodlanmasını gerektirmez.

cursor = db.<collection_name>.<my_query_with_aggregation>;

headerPrinted = false;
while (cursor.hasNext()) {
    item = cursor.next();
    
    if (!headerPrinted) {
        print(Object.keys(item).join(','));
        headerPrinted = true;
    }

    line = Object
        .keys(item)
        .map(function(prop) {
            return '"' + item[prop] + '"';
        })
        .join(',');
    print(line);
}

Bunu bir .jsdosya olarak kaydedin , bu durumda onu arayacağız example.jsve aşağıdaki gibi mongo komut satırı ile çalıştıracağız:

mongo <database_name> example.js --quiet > example.csv

Aşağıdaki tekniği kullanıyorum. Sütun adlarının içerikle senkronize olmasını kolaylaştırır:

var cursor = db.getCollection('Employees.Details').find({})

var header = []
var rows = []

var firstRow = true
cursor.forEach((doc) => 
{
    var cells = []
    
    if (firstRow) header.push("employee_number")
    cells.push(doc.EmpNum.valueOf())

    if (firstRow) header.push("name")
    cells.push(doc.FullName.valueOf())    

    if (firstRow) header.push("dob")
    cells.push(doc.DateOfBirth.valueOf())   
    
    row = cells.join(',')
    rows.push(row)    

    firstRow =  false
})

print(header.join(','))
print(rows.join('\n'))

Uzak bir sunucuda bir komut dosyası çalıştırırken. Mongo, dosyamızdan çıkarmak isteyebileceğimiz kendi günlük çıktısını ekleyecektir. --quietseçeneği yalnızca bağlantı ile ilgili günlükleri devre dışı bırakır. Tüm mongo günlükleri değil. Böyle bir durumda gereksiz hatları manuel olarak filtrelememiz gerekebilir. Windows tabanlı bir örnek:

mongo dbname --username userName --password password --host replicaset/ip:port --quiet printDataToCsv.js | findstr /v "NETWORK" > data.csv

Bu, komut dosyası çıktısını yönlendirir ve findstriçinde NETWORK dizesi bulunan tüm satırları filtrelemek için kullanır . Findstr hakkında daha fazla bilgi: https://docs.microsoft.com/en-us/windows-server/administration/windows-commands/findstr

Bunun bir Linux sürümü kullanacaktır grep.