Як інтерактивно переглядати дані великих часових рядів?

10

Я часто маю справу з обґрунтованими розмірами даних часових рядів, 50-200 мільйонів парних пар із пов’язаними позначками часу, і хотів би їх динамічно візуалізувати.

Чи існує існуюче програмне забезпечення для цього ефективно? Як щодо бібліотек та форматів даних? Збільшити кеш - один із прикладів зосередження бібліотеки на великих часових рядах. У кешованому масштабі дані підсумовуються за кількома резолюціями, щоб полегшити перегляд у різних роздільних здатностях.

Редагувати: Також, якщо є деінде, я мушу задати це питання або шукати відповідь, будь ласка, дайте мені знати.

— Даворак
джерело

1

Хоча я не маю уявлення про те, як він буде масштабуватися з такою величезною кількістю точок даних, ви можете поглянути на Cubism.js .

— chl

Я поглянув на кубізм, який добре виглядає для поступового оновлення графіків із послідовних потоків даних, але при моєму короткому пошуку я не побачив нічого про кешування декількох роздільних можливостей або підсумкових даних для прискорення великих наборів даних. Це для вказівника, хоча це схоже на класну бібліотеку.

— Даворак

1

Можливо, вас зацікавить Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Однак ціна їх досить висока.

— chhantyal

@chhantyal - Дякую! Це схоже на той інструмент, який я шукав. Хоча я більше не працюю з одними і тими ж наборами даних, я все ще зацікавлений у просторі, тому я, певно, спробую слід зооданих в якийсь момент.

— Даворак

2

Існує набір дослідницьких інструментів під назвою TimeSearcher 1-3, які надають приклади того, як боротися з великими наборами часових рядів. Нижче наведено декілька прикладних зображень із TimeSearcher 2 та 3.

TimeSearcher 2

TimeSearcher 3

— edallme
джерело

2

Вибачте за саморекламу, але Thunderplot (thunderplot.com) був би хорошим кандидатом у це. Я написав це саме для інтерактивного побудови великих наборів даних. Я не перевіряв його наборами даних на рівні 200KK, але він працює чудово з рядками ~ 10KK. Також є функція "читати кожен N-й рядок", щоб ви могли зменшити кількість даних для зберігання / візуалізації. Я можу надіслати вам реєстраційний ключ в обмін на один із таких великих наборів даних. :-)

скріншот грому

— Вадим Калинський
джерело

0

Ще одна саморекламна посада, оскільки я працюю в цій компанії, але SensorCloud (senscloud.com) використовує розумні алгоритми, щоб дуже швидко графікувати масивні набори даних. Спочатку він був розроблений з урахуванням наших фізичних датчиків, але він має завантажувач CSV для обробки будь-яких даних таймерів.

Наприклад, ми завантажили набір даних, який мав 100 мільярдів точок даних (понад 1 терабайт часової позначки + значення даних), і ви можете графічно зобразити та взаємодіяти з ним дуже швидко.

Ось загальнодоступне посилання на цей набір даних: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Посилання вище використовує наш переглядач флеш. Якщо ви не хочете використовувати Flash, ось переглядач JavaScript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Використовуйте колесо прокрутки або клавішу Shift + клацніть лівою кнопкою миші для збільшення.

— rwstoneback
джерело