У мене є файл CSV, який виглядає приблизно так

AS2345, ASDF1232, Містер рівнинний приклад, просп. Бінарний проспект 110, Атлантида, RI, 12345, (999) 123-5555,1.56
AS2345, ASDF1232, Місіс Плейн Приклад, 1121110 Тернар, вул. 110 Бінарний проспект .., Атлантида, РІ, 12345, (999) 123-5555,1.56
AS2345, ASDF1232, Mr. Plain Example, пр. Бінарний проспект 110, місто Ліберті, RI, 12345, (999) 123-5555,1.56
AS2345, ASDF1232, Містер рівнинний приклад, проспект Тернар 110, Деякі міста, Річ, 12345, (999) 123-5555,1.56

Мені потрібно сортувати його за довжиною лінії, включаючи пробіли. Наступна команда не включає пробіли, чи є спосіб її змінити, щоб вона працювала для мене?

cat $@ | awk '{ print length, $0 }' | sort -n | awk '{$1=""; print $0}'

Відповідь

cat testfile | awk '{ print length, $0 }' | sort -n -s | cut -d" " -f2-

Або виконати своє оригінальне (можливо, ненавмисне) підсортування будь-яких ліній однакової довжини:

cat testfile | awk '{ print length, $0 }' | sort -n | cut -d" " -f2-

В обох випадках ми вирішили заявлену проблему, відступивши від awk для остаточного вирізання.

Рівні відповідної довжини - що робити у випадку краватки:

Питання не визначало, чи потрібно подальше сортування для рядків відповідної довжини. Я припускав, що це небажано, і запропонував використовувати -s( --stable) для запобігання сортування таких рядків один щодо одного та збереження їх у відносному порядку, в якому вони трапляються на вході.

(Ті, хто хоче більше контролювати сортування цих зв'язків, можуть переглянути --keyваріант сортування .)

Чому спробу вирішення питання не вдається (awk-відновлення ліній):

Цікаво відзначити різницю між:

echo "hello   awk   world" | awk '{print}'
echo "hello   awk   world" | awk '{$1="hello"; print}'

Вони врожайні відповідно

hello   awk   world
hello awk world

У відповідному розділі посібника (gawk) згадується лише осторонь, що awk збирається відновити цілі $ 0 (на основі роздільника тощо) при зміні одного поля. Я здогадуюсь, це не шалена поведінка. Він має таке:

"Нарешті, бувають випадки, коли зручно змусити awk відновити весь запис, використовуючи поточне значення полів та OFS. Для цього використовуйте, здавалося б, нешкідливе призначення:"

 $1 = $1   # force record to be reconstituted
 print $0  # or whatever else with $0

"Це змушує відновити запис".

Тестовий вхід, включаючи рядки однакової довжини:

aa A line   with     MORE    spaces
bb The very longest line in the file
ccb
9   dd equal len.  Orig pos = 1
500 dd equal len.  Orig pos = 2
ccz
cca
ee A line with  some       spaces
1   dd equal len.  Orig pos = 3
ff
5   dd equal len.  Orig pos = 4
g

Рішення AWK від neillb чудово, якщо ви дійсно хочете використовувати awkйого, і це пояснює, чому це клопоти там, але якщо ви хочете, щоб швидко виконати роботу і не байдуже, що ви робите, одним із рішень є використання sort()Функція Perl із власною процедурою порівняння для повторення вхідних рядків. Ось один вкладиш:

perl -e 'print sort { length($a) <=> length($b) } <>'

Ви можете помістити це у свій конвеєр, де вам це потрібно, або отримавши STDIN (від catабо перенаправлення оболонки) або просто дайте ім'я файлу perl як інший аргумент і дайте йому відкрити файл.

У моєму випадку мені спочатку потрібні були найдовші рядки, тому я замінився $aі $bпорівняння.

Спробуйте скористатися цією командою:

awk '{print length, $0}' your-file | sort -n | cut -d " " -f2-

Результати порівняння

Нижче наводяться результати орієнтиру в рішеннях інших відповідей на це питання.

Метод випробування

• 10 послідовних пробіжок на швидкій машині, усереднені
• Perl 5.24
• awk 3.1.5 (gawk 4.1.0 разів було ~ 2% швидше)
• Вхідний файл - 550 Мб, 6 мільйонів монструктивності (англ. National National Corpus txt)

Результати

1. perlРозчин Калеба зайняв 11,2 секунди
2. мій perlрозчин зайняв 11,6 секунди
3. neillb в awkрозчин # 1 знадобилося 20 секунд
4. neillb в awkрозчин # 2 зайняв 23 секунди
5. Анубхав в awkрішенні прийняло 24 секунди
6. awkРішення Джонатана зайняло 25 секунд
7. Fretz в bashрозчин приймає 400x довше , ніж awkрозчини ( з використанням усіченого тестового прикладу 100000 рядків). Це прекрасно працює, просто займає назавжди.

Додатковий perlваріант

Також я додав ще одне рішення Perl:

perl -ne 'push @a, $_; END{ print sort { length $a <=> length $b } @a }' file

Чистий баш:

declare -a sorted

while read line; do
  if [ -z "${sorted[${#line}]}" ] ; then          # does line length already exist?
    sorted[${#line}]="$line"                      # element for new length
  else
    sorted[${#line}]="${sorted[${#line}]}\n$line" # append to lines with equal length
  fi
done < data.csv

for key in ${!sorted[*]}; do                      # iterate over existing indices
  echo -e "${sorted[$key]}"                       # echo lines with equal length
done

Ця length()функція включає пробіли. Я б вніс лише незначні корективи у ваш трубопровід (включаючи уникнення UUOC ).

awk '{ printf "%d:%s\n", length($0), $0;}' "$@" | sort -n | sed 's/^[0-9]*://'

sedКоманда безпосередньо видаляє цифри і двокрапка доданої awkкоманди. Крім того, зберігаючи форматування з awk:

awk '{ print length($0), $0;}' "$@" | sort -n | sed 's/^[0-9]* //'

Я виявив, що ці рішення не працюватимуть, якщо ваш файл містить рядки, що починаються з числа, оскільки вони будуть відсортовані чисельно разом з усіма переліченими рядками. Рішення полягає в тому, щоб дати sortв -g(взагалі-числовий сортування) прапор замість -n(числовий сортування):

awk '{ print length, $0 }' lines.txt | sort -g | cut -d" " -f2-

З POSIX Awk:

{
  c = length
  m[c] = m[c] ? m[c] RS $0 : $0
} END {
  for (c in m) print m[c]
}

Приклад

1) чисте рішення awk. Припустимо, що довжина рядка не може бути більше> 1024

cat filename | awk 'ПОЧАТОК {min = 1024; s = "";} {l = довжина ($ 0); якщо (l <хв) {min = l; s = $ 0;}} END {print s} '

2) рішення однієї з лінійних файлів, якщо всі рядки мають лише 1 слово, але може бути перероблено для будь-якого випадку, коли всі рядки мають однакову кількість слів:

LINES = $ (назва файлу cat); за k в $ LINES; зробити printf "$ k"; відлуння $ k | wc -L; зроблено | сортувати -k2 | голова -n 1 | вирізати -d "" -f1

Ось мультибайтовий сумісний метод сортування ліній за довжиною. Він вимагає:

1. wc -m доступний для вас (у macOS є).
2. Ваш поточний локальний список підтримує багатобайтові символи, наприклад, встановивши його LC_ALL=UTF-8. Ви можете встановити це або у своєму .bash_profile, або просто попередньо попередньо перед наступною командою.
3. testfile містить кодування символів, що відповідає вашій місцевості (наприклад, UTF-8).

Ось повна команда:

cat testfile | awk '{l=$0; gsub(/\047/, "\047\"\047\"\047", l); cmd=sprintf("echo \047%s\047 | wc -m", l); cmd | getline c; close(cmd); sub(/ */, "", c); { print c, $0 }}' | sort -ns | cut -d" " -f2-

Пояснення частково:

• l=$0; gsub(/\047/, "\047\"\047\"\047", l);← створює копію кожного рядка в змінній awk lі подвійно уникає кожного, 'тому рядок може спокійно перегукуватися як команда оболонки ( \047це одноцитата в восьмеричному позначенні).
• cmd=sprintf("echo \047%s\047 | wc -m", l);← це команда, яку ми будемо виконувати, що повторюється у рядок, що утворився wc -m.
• cmd | getline c;← виконує команду і копіює значення кількості символів, яке повертається в змінну awk c.
• close(cmd); ← закрийте трубу командою оболонки, щоб уникнути системного обмеження кількості відкритих файлів за один процес.
• sub(/ */, "", c);← обрізає пробіл від значення підрахунку символів, що повертається wc.
• { print c, $0 } ← друкує значення підрахунку символів рядка, пробіл та початковий рядок.
• | sort -ns← сортує рядки (за попередньо визначеними значеннями символів) чисельно ( -n) та підтримуючи стабільний порядок сортування ( -s).
• | cut -d" " -f2- ← видаляє попередньо задані значення кількості символів.

Це повільно (лише 160 рядків в секунду на швидкому Macbook Pro), оскільки він повинен виконувати підкоманду для кожного рядка.

Крім того, просто робіть це виключно з gawk(версії 3.1.5, gawk знає багатобайти), що було б значно швидше. Проблеми з уникненням та подвійним цитуванням є багато проблем, щоб безпечно передати рядки через команду оболонки з awk, але це єдиний метод, який я міг знайти, що не потребує встановлення додаткового програмного забезпечення (gawk не доступний за замовчуванням у macOS).