R kullanarak 4 milyon kenarlı bir ağda merkezi önlemleri nasıl hesaplayabilirim?

Birbiriyle iletişim kuran insanları temsil eden yönlendirilmiş bir ağın 4 milyon kenarına sahip bir CSV dosyam var (örneğin John Mary'ye bir mesaj gönderir, Mary Ann'e bir mesaj gönderir, John Mary'ye başka bir mesaj gönderir , vb.). İki şey yapmak istiyorum:

1. Her kişi için derece, ara ve (belki) özvektör merkeziyet ölçütlerini bulun.

2. Ağı görselleştirin.

Dizüstü bilgisayarımın fazla gücü olmadığı için bunu bir Linux sunucusundaki komut satırında yapmak istiyorum. Bu sunucuda ve statnet kütüphanesinde R yüklü. Aynı şeyi yapmaya çalıştığım ve sorun yaşadığım için benden daha yetkin birinin bu 2009 yayınını buldum . Bu yüzden başka birinin bunu nasıl yapacağına dair herhangi bir işaretçi olup olmadığını merak ediyordum, sadece CSV dosyasını nasıl yükleyeceğimizi ve başka bir şey bilmediğim için beni adım adım atıyor.

Size bir fikir vermek için CSV dosyam şöyle görünüyor:

$ head comments.csv
    "src","dest"
    "6493","139"
    "406705","369798"
$ wc -l comments.csv 
4210369 comments.csv

Sahip olduğunuz, ağ kitaplığı kullanılarak bir ağ nesnesine dönüştürülebilen bir kenar listesidir. İşte hayali verileri kullanan bir örnek.

library(network)

src <- c("A", "B", "C", "D", "E", "B", "A", "F")
dst <- c("B", "E", "A", "B", "B", "A", "F", "A")

edges <- cbind(src, dst)
Net <- as.network(edges, matrix.type = "edgelist")

summary(Net)
plot(Net)

Ancak, bir uyarı var: çok büyük bir ağınız var ve bir arsa bu kadar bilgilendirici olacağından emin değilim. Muhtemelen büyük bir iplik yumağı gibi görünecektir. Bu kütüphanelerin bu kadar büyük veri kümeleri ile ne kadar iyi başa çıktıklarından da emin değilim. Ağ, statnet ve ergm kütüphanelerinin belgelerine göz atmanızı öneririm. İstatistiksel Yazılım Dergisi (sürüm 24/3) Teklifler bu kütüphaneleri kapsayan çeşitli makaleler. Sorun burada bulunabilir:

http://www.jstatsoft.org/v24

Burada R'nin ilk seçenek olduğunu düşünmüyorum (belki yanılıyorum). Ağ dosyalarınızı uygun veri biçiminde dizine eklemek ve hazırlamak için burada büyük dizilere ihtiyacınız olacaktır. Her şeyden önce, Jure'un (Rob yukarıdaki yazıdan bahsediyor) SNAP kütüphanesini kullanmaya çalışacağım ; C ++ ile yazılmış ve büyük ağlarda çok iyi çalışıyor.

Gephi ( http://gephi.org/ ) verileri araştırmanın kolay bir yolu olabilir. Neredeyse kesinlikle görselleştirebilir ve bazı hesaplamalar yapabilirsiniz (bir süredir kullanmadığım için tüm fonksiyonları hatırlayamıyorum).

Geçmişte 7 milyon düğümlü bir ağ deneyiminden, tüm ağınızı görselleştirmek size yorumlanamayan bir görüntü verecektir. Yalnızca en çok gelen veya giden bağlantılara sahip ilk 10 düğümü kullanmak gibi verilerinizin alt kümelerini kullanarak farklı görselleştirmeler önerebilirim. Celenius'un gephi kullanma önerisini ikinci olarak belirttim.

Ağın boyutuyla ilgileniyorsanız igraph, R'deki paketi deneyebilirsiniz. Ve bu R'nin içinde iyi performans göstermezse, Python modülü olarak daha iyi olabilir. Ya da networkxPython paketi bile

Ağın az sayıda çok büyük bağlı bileşene sahip olduğundan şüpheleniyor musunuz? Değilse, merkezî ölçüleri hesaplamayı çok daha kolay hale getirecek farklı bileşenlere ayırabilirsiniz.

Birinin kullanabileceği, "sna" ve "network" de dahil olmak üzere birçok R yazılım paketi vardır. Ben bir şey olmaz sen sna ile performans sorunları yaşıyorsanız mutlaka güvenmek NetworkX olduğunu. NetworkX'i ölümüne seviyorum ve analizimin çoğunda kullanıyorum, ancak NetworkX çoğunlukla tamamen Pythonic uygulaması olmaktan gurur duyuyor. Özellikle hızlı derlenmiş kodu iyi kullanmaz ve çoğu zaman NetworkX'i önemli bir farkla geride bırakır.