Переглядач CSV командного рядка? [зачинено]

Хтось знає про перегляд CSV командного рядка для Linux / OS X? Я думаю про щось подібне, lessале це пробіли стовпчики більш читабельним чином. (Мені б добре відкрити його за допомогою OpenOffice Calc або Excel, але це занадто непосильне перегляд даних, як мені потрібно.) Горизонтальна та вертикальна прокрутка була б чудовою.

Ви також можете скористатися цим:

column -s, -t < somefile.csv | less -#2 -N -S

column - це стандартна програма Unix, яка дуже зручна - вона знаходить відповідну ширину кожного стовпця і відображає текст як добре відформатовану таблицю.

Примітка: щоразу, коли у вас є порожні поля, вам потрібно вставити в нього якийсь заповнювач, інакше стовпець об'єднується з наступними стовпцями. Наступний приклад демонструє, як використовувати sedдля вставки заповнювача:

$ cat data.csv
1,2,3,4,5
1,,,,5
$ sed 's/,,/, ,/g;s/,,/, ,/g' data.csv | column -s, -t
1  2  3  4  5
1           5
$ cat data.csv
1,2,3,4,5
1,,,,5
$ column -s, -t < data.csv
1  2  3  4  5
1  5
$ sed 's/,,/, ,/g;s/,,/, ,/g' data.csv | column -s, -t
1  2  3  4  5
1           5

Зауважте, що заміна на ,,для , ,цього робиться двічі. Якщо ви зробите це лише один раз, 1,,,4це стане 1, ,,4з моменту, коли вже відповідна друга кома.

Ви можете встановити csvtool(на Ubuntu) через

sudo apt-get install csvtool

а потім запустіть:

csvtool readable filename | view -

Це зробить приємним і симпатичним екземпляр vim, доступний лише для читання, навіть якщо у вас є кілька комірок з дуже довгими значеннями.

Погляньте на csvkit . Він пропонує набір інструментів, які дотримуються філософії UNIX (мається на увазі, що вони невеликі, прості, одноцільові і можуть поєднуватися).

Ось приклад, який вилучає десять найбільш населених міст Німеччини з безкоштовної бази даних Maxmind World Cities і відображає результат у консольно-читаному форматі:

$ csvgrep -e iso-8859-1 -c 1 -m "de" worldcitiespop | csvgrep -c 5 -r "\d+" 
  | csvsort -r -c 5 -l | csvcut -c 1,2,4,6 | head -n 11 | csvlook
-----------------------------------------------------
|  line_number | Country | AccentCity | Population  |
-----------------------------------------------------
|  1           | de      | Berlin     | 3398362     |
|  2           | de      | Hamburg    | 1733846     |
|  3           | de      | Munich     | 1246133     |
|  4           | de      | Cologne    | 968823      |
|  5           | de      | Frankfurt  | 648034      |
|  6           | de      | Dortmund   | 594255      |
|  7           | de      | Stuttgart  | 591688      |
|  8           | de      | Düsseldorf | 577139      |
|  9           | de      | Essen      | 576914      |
|  10          | de      | Bremen     | 546429      |
-----------------------------------------------------

Csvkit не залежить від платформи, оскільки він написаний на Python.

Tabview: полегшений переглядач файлів CSV командного рядка python проклинає (а також інші табличні дані Python, як список списків) тут на Github

Особливості:

• Python 2.7+, 3.x
• Підтримка Unicode
• Перегляд у формі електронних таблиць для легкої візуалізації табличних даних
• Vim-подібна навігація (h, j, k, l, g (вгорі), G (знизу), 12G goto line 12, m - позначка, '- позначка goto тощо)
• Переключення стійкого рядка заголовка
• Динамічно змінюйте розмір ширини та зазору стовпців
• Сортувати за зростанням чи низменню за будь-яким стовпцем. "Природний" сортування порядку для числових значень.
• Повнотекстовий пошук, n та p для переходу між результатами пошуку
• 'Enter', щоб переглянути повний вміст комірок
• Вміст комірок в буфер обміну
• F1 або? для клавішних вкладок
• Можна також використовувати з командного рядка python для візуалізації будь-яких табличних даних (наприклад, списків списків)

Якщо ви vimmer, використовуйте плагін CSV , який прекрасно красивий .

Пакет nodejs tecfu / tty-table може бути встановлений у всьому світі, щоб зробити саме це:

apt-get install nodejs
npm i -g tty-table
cat data.csv | tty-table

Він також може обробляти потоки.

Для отримання додаткової інформації дивіться документи про використання терміналів тут .

xsv - це більше, ніж глядач. Я рекомендую його для більшості завдань CSV в командному рядку, особливо при роботі з великими наборами даних.

Мій CSVfix проекту FOSS дозволяє відображати файли CSV у форматі таблиці "ASCII art".

Відповідь Офрі дає вам все, про що ви просили. Але .. якщо ви не хочете запам’ятовувати команду, можете додати це до свого ~ / .bashrc (або еквівалент):

csview()
{
local file="$1"
sed "s/,/\t/g" "$file" | less -S
}

Це точно так само, як відповідь Офрі, за винятком того, що я вклав її у функцію оболонки і використовую less -Sопцію, щоб зупинити обгортання ліній (робитьless себе більше схожим на офіс / oocalc).

Відкрийте нову оболонку (або введіть source ~/.bashrcу поточній оболонці) та запустіть команду, використовуючи:

csview <filename>

Я довго використовував відповідь pisswillis.

csview()
{
    local file="$1"
    sed "s/,/\t/g" "$file" | less -S
}

Але потім поєднав якийсь код, який я знайшов на http://chrisjean.com/2011/06/17/view-csv-data-from-the-command-line, який для мене краще працює:

csview()
{
    local file="$1"
    cat "$file" | sed -e 's/,,/, ,/g' | column -s, -t | less -#5 -N -S
}

Причина для мене краще працює в тому, що вона обробляє широкі колони краще.

tbllessв пакет Tabulator обгортає команду unix column, а також вирівнює числові стовпці.

Ось (мабуть, занадто) простий варіант:

sed "s/,/\t/g" filename.csv | less

Ще один багатофункціональний інструмент маніпуляції з CSV (і не тільки): Міллер . З власного опису, це як awk, sed, cut, join, sorting для даних, індексованих іменами, такими як CSV, TSV та JSON у таблиці. (посилання на сховище github: https://github.com/johnkerl/miller )

Я написав це csv_view.sh, щоб відформатувати CSV з командного рядка, він читає весь файл, щоб визначити оптимальну ширину кожного стовпця (потрібен perl, припускаючи, що в полях немає коми, а також використовується менше):

#!/bin/bash

perl -we '
  sub max( @ ) {
    my $max = shift;

    map { $max = $_ if $_ > $max } @_;
    return $max;
  }

  sub transpose( @ ) {
    my @matrix = @_;
    my $width  = scalar @{ $matrix[ 0 ] };
    my $height = scalar @matrix;

    return map { my $x = $_; [ map { $matrix[ $_ ][ $x ] } 0 .. $height - 1 ] } 0 .. $width - 1;
  }

  # Read all lines, as arrays of fields
  my @lines = map { s/\r?\n$//; [ split /,/ ] } ;

  my $widths =
    # Build a pack expression based on column lengths
    join "",

    # For each column get the longest length plus 1
    map { 'A' . ( 1 + max map { length } @$_ ) }

    # Get arrays of columns
    transpose

    @lines
  ;

  # Format all lines with pack
  map { print pack( $widths, @$_ ) . "\n" } @lines;
' $1 | less -NS

За допомогою TxtSushi ви можете:

csvtopretty filename.csv | less -S

Tabview справді хороший. Працював з 200 + MB-файлами, які добре відображалися, які були баггі з LibreOffice, а також плагіном csv у gvim.

Версія Anaconda доступна тут: https://anaconda.org/bioconda/tabview

Я створив табличку для цих (та інших) цілей. Встановити за допомогою

[sudo -H] pip3 install tablign

і

$ cat test.csv
Header1,Header2,Header3
Pizza,Artichoke dip,Bob's Special of the Day
BLT,Ham on rye with the works,

$ tablign test.csv
Header1 , Header2                   , Header3
Pizza   , Artichoke dip             , Bob's Special of the Day
BLT     , Ham on rye with the works ,

Також працює, якщо дані розділені чимось іншим, ніж комами. Найголовніше, що він зберігає роздільники, тому ви також можете використовувати його для стилювання таблиць ASCII, не приносячи шкоди своєму синтаксису [Markdown, CSV, LaTeX].

Я написав сценарій, viewtab , в Groovy саме для цієї мети. Ви викликаєте це так:

viewtab filename.csv

Це, в основному, надлегка електронна таблиця, яку можна викликати з командного рядка, обробляє файли CSV та файли, розділені на вкладки, може читати ДУЖЕ великі файли, якими задушуються Excel та Numbers, і це дуже швидко. Це не командний рядок у сенсі лише текстового тексту, але він є незалежним від платформи і, ймовірно, підходить до законопроекту для багатьох людей, які шукають рішення проблеми швидкого огляду багатьох або великих файлів CSV під час роботи в середовищі командного рядка. .

Сценарій та спосіб його встановлення описані тут:

http://bayesianconspiracy.blogspot.com/2012/06/quick-csvtab-file-viewer.html

Цей короткий скрипт командного рядка в python: https://github.com/rgrp/csv2ascii/blob/master/csv2ascii.py

Просто завантажте і розмістіть на своєму шляху. Використання схоже

csv2ascii.py [options] csv-file-path

Перетворити CSV-файл у csv-file-pathформу ascii, повертаючи результат у stdout. Якщо csv-file-path= '-', то читайте з stdin.

Параметри:

  -h, --допоможіть показати це довідкове повідомлення та вийти
  -w WIDTH, --width = WIDTH
                        Ширина виходу ascii
  -c КОЛОНІ, - стовпчики = COLUMNS
                        Показувати лише цю кількість стовпців