Análisis de grafos sociales. 60 GB y 100 millones de nodos

Question

Buenas noches,

Estoy tratando de analizar los datos mencionados anteriormente (formato edgelist o pajek). Primero pensé que era R-project con el paquete igraph. Pero las limitaciones de memoria (6GB) no funcionarán. ¿Una computadora de 128GB podrá manejar los datos? ¿Hay alguna alternativa que no requiera un gráfico completo en la memoria RAM?

Gracias de antemano.

P.S: He encontrado varios programas, pero me gustaría escuchar algunas opiniones profesionales (sí, esa es usted) sobre el asunto.

Answer 1

Si solo desea distribuciones de títulos, es probable que no necesite un paquete de gráficos en absoluto. Recomiendo los bigtablulate package de modo que los

1. sus objetos R están respaldados archivo de modo que usted no está limitado por la memoria RAM
2. se puede paralelizar el cálculo grado usando foreach

Salida their website para más detalles . Para dar un ejemplo rápido de este enfoque, primero creemos un ejemplo con un edgelist que involucre 1 millón de bordes entre 1 millón de nodos.

set.seed(1) 
N <- 1e6 
M <- 1e6 
edgelist <- cbind(sample(1:N,M,replace=TRUE), 
        sample(1:N,M,replace=TRUE)) 
colnames(edgelist) <- c("sender","receiver") 
write.table(edgelist,file="edgelist-small.csv",sep=",", 
      row.names=FALSE,col.names=FALSE) 

I junto concatenar este archivo 10 veces para que el ejemplo sea un poco más grande.

system(" 
for i in $(seq 1 10) 
do 
    cat edgelist-small.csv >> edgelist.csv 
done") 

A continuación se carga el paquete de bigtabulate y leer en el archivo de texto con nuestra edgelist. El comando read.big.matrix() crea un objeto de archivo respaldados en R.

library(bigtabulate) 
x <- read.big.matrix("edgelist.csv", header = FALSE, 
        type = "integer",sep = ",", 
        backingfile = "edgelist.bin", 
        descriptor = "edgelist.desc") 
nrow(x) # 1e7 as expected 

Podemos calcular los outdegrees utilizando bigtable() en la primera columna.

outdegree <- bigtable(x,1) 
head(outdegree) 

comprobación de validez rápida para asegurarse de que la tabla está funcionando como se esperaba:

# Check table worked as expected for first "node" 
j <- as.numeric(names(outdegree[1])) # get name of first node 
all.equal(as.numeric(outdegree[1]), # outdegree's answer 
      sum(x[,1]==j))    # manual outdegree count 

Para obtener grado de entrada, acaba de hacer bigtable(x,2).