На цьому прикладі CSV:
Source,col1,col2,col3
foo,1,2,3
bar,3,4,5
Стандартний метод, який я використовую Pandas, такий:
Розбір CSV
Виділення стовпців у фрейм даних ( col1і col3)
col1і col3)Чи існує бібліотека JavaScript, яка робить це як Pandas?
Відповіді:
Усі відповіді хороші. Сподіваючись, що моя відповідь вичерпна (тобто намагається перерахувати всі варіанти). Я сподіваюся повернутися і переглянути цю відповідь з будь-якими критеріями, щоб допомогти зробити вибір.
Сподіваюся, хтось, хто приїде сюди, знайомий d3. d3дуже корисний "швейцарський армійський ніж" для обробки даних у Javascript, як pandasкорисний для Python. Ви можете бачити d3часто використовувані подібні pandas, навіть якщо d3це не зовсім заміна DataFrame / Pandas (тобто d3не має однакового API; d3не має Series/ DataFrameякі поводяться як у pandas)
Відповідь Ахмеда пояснює, як d3 можна використовувати для досягнення певної функціональності DataFrame, а деякі бібліотеки нижче були натхненні такими речами, як LearnJsData, що використовує d3та lodash.
Що стосується функцій, орієнтованих на DataFrame, я був перевантажений бібліотеками JS, які допомагають. Ось короткий список деяких варіантів, з якими ви могли зіткнутися. Я ще жодного з них детально не перевірив (більшість знайшов у поєднанні з пошуком Google + NPM).
Будьте обережні, використовуючи сорт, з яким ви можете працювати; деякі - це Node.js, відомий як серверний Javascript, інші сумісні з браузером, так званий клієнтський Javascript. Деякі з них є машинописом.
Потім, прийшовши до цього питання, перевіривши тут інші відповіді та зробивши додатковий пошук, я знайшов такі варіанти:
JSальтернативою "ноутбукам" IPython / Jupyterjs-data-mongodb, js-data-redis, js-data-cloud-datastore), сортування, фільтрація і т.д.Я сподіваюся, що ця публікація може стати вікі-спільнотою та оцінити (тобто порівняти різні варіанти вище) за різними критеріями, такими як:
Jupyter
(інтерактивні блокноти) тощоДеякі речі, які бібліотека JS може ніколи не робити (але чи не могла?)
Я працював над бібліотекою перебору даних для JavaScript, яка називається data-forge. Він натхненний LINQ та Pandas.
Його можна встановити так:
npm install --save data-forge
Ваш приклад буде працювати так:
var csvData = "Source,col1,col2,col3\n" +
"foo,1,2,3\n" +
"bar,3,4,5\n";
var dataForge = require('data-forge');
var dataFrame =
dataForge.fromCSV(csvData)
.parseInts([ "col1", "col2", "col3" ])
;
Якщо ваші дані були у файлі CSV, ви можете завантажити їх так:
var dataFrame = dataForge.readFileSync(fileName)
.parseCSV()
.parseInts([ "col1", "col2", "col3" ])
;
Ви можете використовувати selectметод для перетворення рядків.
Ви можете витягти стовпець, використовуючи, getSeriesа потім використовуйте selectметод для перетворення значень у цьому стовпці.
Ви отримуєте дані назад із фрейму даних таким чином:
var data = dataFrame.toArray();
Щоб усереднити стовпець:
var avg = dataFrame.getSeries("col1").average();
З цим можна зробити набагато більше.
Ви можете знайти додаткову документацію на npm .
Наведене нижче стосується лише d3 v3, а не останнього d4v4!
Я прихильний до d3.js , і хоча це не буде повною заміною Pandas, якщо ви витратите трохи часу на вивчення його парадигми, він повинен мати можливість подбати про всі ваші переробки даних за вас. (І якщо ви хочете відобразити результати в браузері, це ідеально підходить для цього.)
Приклад. Мій файл CSV data.csv:
name,age,color
Mickey,65,black
Donald,58,white
Pluto,64,orange
У тому ж каталозі створіть файл, index.htmlщо містить таке:
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8"/>
<title>My D3 demo</title>
<script src="http://d3js.org/d3.v3.min.js" charset="utf-8"></script>
</head>
<body>
<script charset="utf-8" src="demo.js"></script>
</body>
</html>
а також demo.jsфайл, що містить наступне:
d3.csv('/data.csv',
// How to format each row. Since the CSV file has a header, `row` will be
// an object with keys derived from the header.
function(row) {
return {name : row.name, age : +row.age, color : row.color};
},
// Callback to run once all data's loaded and ready.
function(data) {
// Log the data to the JavaScript console
console.log(data);
// Compute some interesting results
var averageAge = data.reduce(function(prev, curr) {
return prev + curr.age;
}, 0) / data.length;
// Also, display it
var ulSelection = d3.select('body').append('ul');
var valuesSelection =
ulSelection.selectAll('li').data(data).enter().append('li').text(
function(d) { return d.age; });
var totalSelection =
ulSelection.append('li').text('Average: ' + averageAge);
});
У каталозі запустіть python -m SimpleHTTPServer 8181і відкрийте в браузері http: // localhost: 8181, щоб побачити простий перелік віків та їх середнього значення.
Цей простий приклад показує кілька важливих особливостей d3:
На даний момент Pandas.js є експериментальною бібліотекою, але, здається, дуже перспективною, вона використовує під капотом immutable.js та логіку NumpPy, там є як об'єкти даних, так і DataFrame.
Нижче наведено Python numpy і pandas
``
import numpy as np
import pandas as pd
data_frame = pd.DataFrame(np.random.randn(5, 4), ['A', 'B', 'C', 'D', 'E'], [1, 2, 3, 4])
data_frame[5] = np.random.randint(1, 50, 5)
print(data_frame.loc[['C', 'D'], [2, 3]])
# axis 1 = Y | 0 = X
data_frame.drop(5, axis=1, inplace=True)
print(data_frame)
``
Те саме можна досягти в JavaScript * [ numjs працює лише з Node.js ] Але D3.js має набагато розширені параметри набору файлів даних. І numjs, і Pandas-js все ще працюють ..
import np from 'numjs';
import { DataFrame } from 'pandas-js';
const df = new DataFrame(np.random.randn(5, 4), ['A', 'B', 'C', 'D', 'E'], [1, 2, 3, 4])
// df
/*
1 2 3 4
A 0.023126 1.078130 -0.521409 -1.480726
B 0.920194 -0.201019 0.028180 0.558041
C -0.650564 -0.505693 -0.533010 0.441858
D -0.973549 0.095626 -1.302843 1.109872
E -0.989123 -1.382969 -1.682573 -0.637132
*/Я думаю, що найближчим є такі бібліотеки, як:
Recline, зокрема, має об'єкт Dataset зі структурою, яка дещо схожа на кадри даних Pandas. Потім це дозволяє зв’язувати ваші дані з «поданнями», такими як сітка даних, графіки, карти тощо. Перегляди зазвичай є тонкими обгортками навколо існуючих найкращих бібліотек візуалізації порід, таких як D3, Flot, SlickGrid тощо.
Ось приклад для Recline:
// Завантажити деякі дані
var набір даних = recline.Model.Dataset ({
записів: [
{значення: 1, дата: '2012-08-07'},
{значення: 5, b: '07.09.2013'}
]
// Замість цього завантажуємо дані CSV
// (А Recline має підтримку для багатьох інших типів джерел даних)
// url: 'my-local-csv-file.csv',
// бекенд: 'csv'
});
// отримати елемент з вашого HTML для засобу перегляду
var $ el = $ ('# переглядач даних');
var allInOneDataViewer = нове відкидання.View.MultiView ({
модель: набір даних,
el: $ el
});
// Ваш новий засіб перегляду даних буде активним!
@neversaint ваші очікування закінчилися. скажіть ласкаво просимо до Danfo.js, який є пандами, як бібліотека Javascript, побудована на tensorflow.js і підтримує тензори нестандартно Це означає, що ви можете перетворити структуру даних danfo у тензори. І ви можете робити групову, злиття, приєднання, побудову графіків та іншу обробку даних.
Проаналізувати CSV у javascript досить просто, оскільки кожен рядок вже є по суті масивом javascript. Якщо ви завантажуєте CSV в масив рядків (по одному на рядок), досить просто завантажити масив масивів із значеннями:
var pivot = function(data){
var result = [];
for (var i = 0; i < data.length; i++){
for (var j=0; j < data[i].length; j++){
if (i === 0){
result[j] = [];
}
result[j][i] = data[i][j];
}
}
return result;
};
var getData = function() {
var csvString = $(".myText").val();
var csvLines = csvString.split(/\n?$/m);
var dataTable = [];
for (var i = 0; i < csvLines.length; i++){
var values;
eval("values = [" + csvLines[i] + "]");
dataTable[i] = values;
}
return pivot(dataTable);
};
Потім getData()повертає багатовимірний масив значень за стовпцями.
Я продемонстрував це у jsFiddle для вас.
Звичайно, ви не можете зробити це так легко, якщо ви не довіряєте вводу - якщо у ваших даних може бути сценарій, який може взяти eval тощо.
Ось динамічний підхід, який передбачає наявний заголовок у рядку 1. CSV завантажений d3.js.
function csvToColumnArrays(csv) {
var mainObj = {},
header = Object.keys(csv[0]);
for (var i = 0; i < header.length; i++) {
mainObj[header[i]] = [];
};
csv.map(function(d) {
for (key in mainObj) {
mainObj[key].push(d[key])
}
});
return mainObj;
}
d3.csv(path, function(csv) {
var df = csvToColumnArrays(csv);
});
Тоді ви зможете отримати доступ до кожного стовпця даних, подібного до R, python або Matlab df.column_header[row_number].