Як обчислити заходи централізації в 4-мільйонній крайовій мережі за допомогою R?

У мене є файл CSV з 4 мільйонами країв спрямованої мережі, яка представляє людей, що спілкуються один з одним (наприклад, Джон надсилає повідомлення Марії, Мері надсилає повідомлення Енн, Джон надсилає ще одне повідомлення Марії тощо). Я хотів би зробити дві речі:

1. Знайдіть ступінь, приналежність та (можливо) міри центральності власного вектора для кожної людини.

2. Отримати візуалізацію мережі.

Я хотів би зробити це в командному рядку на сервері Linux, оскільки мій ноутбук не має великої потужності. У мене на цьому сервері та бібліотеці statnet встановлено R. Я знайшов цю посаду в 2009 році хтось більш компетентний, ніж я, який намагався зробити те ж саме і маючи проблеми з цим. Тож мені було цікаво, чи хтось ще має вказівки, як це зробити, бажано, роблячи мене крок за кроком, оскільки я знаю лише, як завантажити файл CSV та більше нічого.

Просто для того, щоб дати вам уявлення, ось як виглядає мій файл CSV:

$ head comments.csv
    "src","dest"
    "6493","139"
    "406705","369798"
$ wc -l comments.csv 
4210369 comments.csv

У вас є список ребер, який можна перетворити на мережевий об'єкт за допомогою мережевої бібліотеки. Ось приклад використання фіктивних даних.

library(network)

src <- c("A", "B", "C", "D", "E", "B", "A", "F")
dst <- c("B", "E", "A", "B", "B", "A", "F", "A")

edges <- cbind(src, dst)
Net <- as.network(edges, matrix.type = "edgelist")

summary(Net)
plot(Net)

Однак на застереження є: у вас дуже велика мережа, і я не впевнений, що сюжет буде таким інформативним. Це, мабуть, буде схоже на велику кулю пряжі. Я також не впевнений, наскільки добре ці бібліотеки справляються з такими великими наборами даних. Я пропоную вам ознайомитись з документацією для мережевих, статнет та ергм-бібліотек. Журнал статистичного програмного забезпечення (V24 / 3) пропонує кілька статей , що охоплюють ці бібліотеки. Проблему можна знайти тут:

http://www.jstatsoft.org/v24

Я не думаю, що R - це перший вибір (можливо, я помиляюся). Тут вам знадобляться величезні масиви для індексації та підготовки мережевих файлів у відповідному форматі даних. Перш за все, я спробую використовувати бібліотеку Юре (Роб згадує його у публікації вище) SNAP- бібліотеку; це написано на C ++ і дуже добре працює у великих мережах.

Gephi ( http://gephi.org/ ) може бути простим способом вивчення даних. Ви майже напевно можете візуалізувати його та виконати деякі обчислення (хоча я не користувався ним деякий час, тому не можу запам'ятати всі функції).

З минулого досвіду роботи з мережею у 7 мільйонів вузлів, я думаю, що візуалізація вашої повної мережі дасть вам зображення, яке не можна зрозуміти. Я можу запропонувати різні візуалізації з використанням підмножини ваших даних, наприклад просто використання перших 10 вузлів з найбільш вхідними або вихідними посиланнями. Я є другою пропозицією селеніуму щодо використання гефі.

Якщо ви переймаєтесь розміром мережі, ви можете спробувати igraphпакет у R. І якщо це погано працює в R, це може бути краще, ніж модуль Python. Або навіть networkxпакет для Python

Ви підозрюєте, що в мережі є невелика кількість дуже великих підключених компонентів? Якщо ні, ви можете розкласти його на окремі компоненти, що полегшить обчислення заходів центральності.

Є кілька програмних пакетів R, якими можна скористатися, включаючи "sna" та "network". Одна річ, на яку я не обов'язково покладаюся, якщо у вас виникають проблеми з продуктивністю sna, є NetworkX. Я люблю NetworkX до смерті і використовую його для більшості мого аналізу, але NetworkX дуже пишається тим, що це здебільшого суто пітонічна реалізація. Він особливо добре не використовує швидкий заздалегідь складений код, і часто він значно випереджає NetworkX за значних запасів.