JSON dosyasından veri ayıklama

Sorum için bir çözüm arama bin var ama bir ya da daha iyi bulamadık buldum ile alamadım dedi. Şimdi sorunumun ne hakkında olduğunu konuşalım. Raspberry Pi'de Akıllı Ev Kontrol Yazılımı kullanıyorum ve bu hafta sonu pilight-rece kullanarak öğrendiğim gibi, dış sıcaklık sensörümden veri yakalayabilirim. Pilight alma özelliği şöyle görünür:

{
        "message": {
                "id": 4095,
                "temperature": 409.5
        },
        "origin": "receiver",
        "protocol": "alecto_wsd17",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 3
}
{
        "message": {
                "id": 1490,
                "temperature": 25.1,
                "humidity": 40.0,
                "battery": 1
        },
        "origin": "receiver",
        "protocol": "alecto_ws1700",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 3
}
{
        "message": {
                "id": 2039,
                "temperature": 409.5
        },
        "origin": "receiver",
        "protocol": "alecto_wsd17",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 4
}

Şimdi size sorum: Kimliğin 1490 olduğu yerden sıcaklık ve nemi nasıl çıkarabilirim? Bunu sık sık kontrol etmemi nasıl önerirsiniz? Her 10 dakikada bir çalışan, pilight alımının bir çıktısını oluşturan, çıkışın verilerini ayıklayan ve Smart Home Control Api'ye ileten bir cron işi ile.

Bir fikri olan biri - çok teşekkürler

jqKabuktaki json dosyalarını işlemek için kullanabilirsiniz .

Örneğin, örnek json dosyanızı olarak kaydettik raul.jsonve daha sonra çalıştırdım:

$ jq .message.temperature raul.json 
409.5
25.1
409.5
$ jq .message.humidity raul.json 
null
40
null

jq çoğu linux dağıtım için önceden paketlenmiştir.

Muhtemelen jqkendi başına yapmanın bir yolu vardır , ancak her iki istenen değeri bir satırda elde etmenin en basit yolu kullanmaktır xargs. Örneğin:

$ jq 'select(.message.id == 1490) | .message.temperature, .message.humidity' raul.json | xargs
25.1 40

veya her bir .message.idörnekte döngü yapmak istiyorsanız .message.id, çıktıya ekleyebilir ve xargs -n 3üç alan (id, sıcaklık, nem) olacağını bildiğimiz gibi kullanabiliriz :

jq '.message.id, .message.temperature, .message.humidity' raul.json | xargs -n 3
4095 409.5 null
1490 25.1 40
2039 409.5 null

Daha sonra bu çıktıyı awk veya başka bir yöntemle sonradan işleyebilirsiniz.

Son olarak, hem python hem de perl json verilerini ayrıştırmak ve değiştirmek için mükemmel kütüphanelere sahiptir. Php ve java gibi diğer bazı diller gibi.

jqen zarif çözüm. Seninle awkyazabilirsin

awk -v id=1490 '
    $1 == "\"id\":" && $2 == id"," {matched = 1}
    $1 == "}," {matched = 0}
    matched && $1 ~ /temperature|humidity/ {sub(/,/,"", $2); print $2}
' file

Gelişmişliği anlamadıkları awkkadar istedikleri (benim gibi insanlar gibi) ve jqönceden yüklenmemiş olanlar için kolay bir çözüm, birkaç yerel komutu bir araya getirmek olacaktır:

grep -A2 '"id": 1490,' stats.json | sed '/1490/d;s/"//g;s/,//;s/\s*//'

Yalnızca değerleri almaya çalışıyorsanız veya grepyerine şunu kullanmak daha kolaydır :awksed

grep -A2 '"id": 1490,' stats.json | grep -o "[0-9]*\.[0-9]*"

Bir açıklama yapmak için, bu benim için en basit yol gibi görünüyor.

• grep -A2Eğer sıcaklık ve nem ihtiva aşağıdaki 2 hat ile birlikte JSON aradığınız hattını yakalar.
• grep -oSadece bir ile ayrılmış sayısal basamakları basacak boru .(ilk 1490satırda asla gerçekleşmeyecek , bu nedenle 2 değerlerinizle kaldınız - sıcaklık ve nem. Çok basit. Kullanmaktan bile daha basit jq, bence.

Komut satırında JSON işlemek için tercih ettiğim araç jq. Ancak, jq yüklü değilse Perl ile oldukça iyi yapabilirsiniz:

# perl -MJSON -e '$/ = undef; my $data = <>; for my $hash (new JSON->incr_parse($data)) { my $msg = $hash->{message}; print "$msg->{temperature} $msg->{humidity}\n" if $msg->{id} == 1490 }' < data.json
25.1 40

çıktınız tam bir JSON yerine bir dizi JSON snippet'idir. Çıktınızı ayrılmaz bir JSON olarak yeniden düzenlediğinizde / örneğin, bunun gibi (çıktınızın olduğu varsayılarak file.json):

echo "[ $(cat file.json | sed -E 's/^}$/},/; $d') }]"

jtcaraçla istediğinizi elde etmek kolaydır (şu adreste bulunabilir: https://github.com/ldn-softdev/jtc ):

bash $ echo "[ $(cat file.json | sed -E 's/^}$/},/; $d') }]" | jtc -x "[id]:<1490>d [-1]" -y[temperature] -y[humidity] -l
"temperature": 25.1
"humidity": 40.0
bash $ 

-lbasılı örnek istemiyorsanız yukarıdaki örnekte