Birden çok JSON nesnesiyle bir JSON dosyasını yükleme ve ayrıştırma

Python'da bir JSON dosyası yüklemeye ve ayrıştırmaya çalışıyorum . Ama dosyayı yüklemeye çalışırken takıldım:

import json
json_data = open('file')
data = json.load(json_data)

Getiri:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

18.2'yejson baktım . - Python belgelerinde JSON kodlayıcı ve kod çözücü , ancak bu korkunç görünümlü belgeleri okumak oldukça cesaret kırıcı.

İlk birkaç satır (rastgele girişlerle anonimleştirilmiş):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

Bir var JSON Hatları biçimi metin dosyası . Dosyanızı satır satır ayrıştırmanız gerekir:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

Her satır geçerli JSON içerir, ancak bir bütün olarak, üst düzey bir liste veya nesne tanımı olmadığından geçerli bir JSON değeri değildir.

Dosya, satır başına JSON içerdiğinden, hepsini tek seferde ayrıştırmaya veya akışlı bir JSON ayrıştırıcısı bulmaya çalışmanın baş ağrılarından kurtulmuş olduğunuzu unutmayın. Artık bir sonrakine geçmeden önce her satırı ayrı ayrı işlemeyi seçerek bu işlem sırasında bellek tasarrufu yapabilirsiniz. Muhtemelen her sonucu tek bir listeye eklemek ve ardından dosyanız gerçekten büyükse her şeyi işlemek istemezsiniz .

Aralarında sınırlayıcılar olan ayrı JSON nesneleri içeren bir dosyanız varsa , bir seferde bir JSON nesnesinde okumak için 'json' modülünü nasıl kullanabilirim? tamponlu bir yöntem kullanarak tek tek nesneleri ayrıştırmak için.

Bu soruya tökezleyenler için: python jsonlineskitaplığı (bu sorudan çok daha genç), her satırda bir json belgesi olan dosyaları zarif bir şekilde işler. bkz. https://jsonlines.readthedocs.io/

Yani bir kötü biçimlendirilmiş. Satır başına bir JSON nesneniz var, ancak bunlar daha büyük bir veri yapısında (yani bir dizi) yer almıyor. Ya her satırın sonunda virgülle [başlayıp bitecek şekilde yeniden biçimlendirmeniz ya ]da ayrı sözlükler olarak satır satır ayrıştırmanız gerekir.