Об’єднання двох файлів з унікальним ідентифікатором

У мене є два файли з приблизно 12900 і 4400 записами відповідно, які я хочу приєднати. Файли містять інформацію про місцеположення для всіх станцій спостереження за погодою на суші по всій земній кулі. Найбільший файл оновлюється щотижня, а менший - раз на рік. Оригінальні файли можна знайти тут ( http://www.wmo.int/pages/prog/www/ois/volume-a/vola-home.htm та http://weather.rap.ucar.edu/surface/ station.txt ). Файли, які я маю, вже маніпулюють мною за допомогою якогось змішаного сценарію awk, sed та bash. Я використовую файли для візуалізації даних за допомогою пакету GEMPAK, який є у вільному доступі від Unidata. Найбільший файл буде працювати з GEMPAK, але тільки не з його повною здатністю. Для цього потрібне приєднання.

Файл 1 містить інформацію про місцезнаходження станцій спостереження за погодою, де перші 6 цифр є унікальним ідентифікатором станції. Різні параметри (номер станції, назва станції, код країни, довгота широти та висота станції) визначаються лише його положенням у рядку, тобто немає вкладок.

         060090 AKRABERG FYR                        DN  6138   -666     101
         060100 VAGA FLOGHAVN                       DN  6205   -728      88
         060110 TORSHAVN                            DN  6201   -675      55
         060120 KIRKJA                              DN  6231   -631      55
         060130 KLAKSVIK HELIPORT                   DN  6221   -656      75
         060160 HORNS REV A                         DN  5550    786      21
         060170 HORNS REV B                         DN  5558    761      10
         060190 SILSTRUP                            DN  5691    863       0
         060210 HANSTHOLM                           DN  5711    858       0
         060220 TYRA OEST                           DN  5571    480      43
         060240 THISTED LUFTHAVN                    DN  5706    870       8
         060290 GROENLANDSHAVNEN                    DN  5703   1005       0
         060300 FLYVESTATION AALBORG                DN  5708    985      13
         060310 TYLSTRUP                            DN  5718    995       0
         060320 STENHOEJ                            DN  5736   1033      56
         060330 HIRTSHALS                           DN  5758    995       0
         060340 SINDAL FLYVEPLADS                   DN  5750   1021      28

Файл 2 містить унікальний ідентифікатор у Файлі 1 та другий ідентифікатор 4 символів (локатор ICAO).

060100 EKVG
060220 EKGF
060240 EKTS
060300 EKYT
060340 EKSN
060480 EKHS
060540 EKHO
060600 EKKA
060620 EKSV
060660 EKVJ
060700 EKAH
060780 EKAT

Я хочу приєднати два файли, так що отриманий файл матиме ідентифікатор 4 символів у перших 4 позиціях рядка, тобто ідентифікатор повинен замінити 4 пробіли.

         060090 AKRABERG FYR                        DN  6138   -666     101
EKVG     060100 VAGA FLOGHAVN                       DN  6205   -728      88
         060110 TORSHAVN                            DN  6201   -675      55
         060120 KIRKJA                              DN  6231   -631      55
         060130 KLAKSVIK HELIPORT                   DN  6221   -656      75
         060160 HORNS REV A                         DN  5550    786      21
         060170 HORNS REV B                         DN  5558    761      10
         060190 SILSTRUP                            DN  5691    863       0
         060210 HANSTHOLM                           DN  5711    858       0
EKGF     060220 TYRA OEST                           DN  5571    480      43
EKTS     060240 THISTED LUFTHAVN                    DN  5706    870       8
         060290 GROENLANDSHAVNEN                    DN  5703   1005       0
EKYT     060300 FLYVESTATION AALBORG                DN  5708    985      13
         060310 TYLSTRUP                            DN  5718    995       0
         060320 STENHOEJ                            DN  5736   1033      56
         060330 HIRTSHALS                           DN  5758    995       0
EKSN     060340 SINDAL FLYVEPLADS                   DN  5750   1021      28

Чи можливо виконати це завдання за допомогою якогось сценарію bash та / або awk?

awk 'BEGIN { while(getline < "file2" ) { codes[$1] = $2 } }
     { printf "%4s%s\n", codes[$1], substr($0, 5) }' file1

Пару з нас хотіли подивитися, чи вдасться вирішити цю проблему joinлише за допомогою . Це моя спроба зробити це. Оскільки це частково працює @Terdon заборгував мені вечерю 8-).

Команда

$ join -a1 -1 1 -2 1 -o 2.2 1.1 1.2 1.3 1.4 1.5 1.6 1.7 -e "N/A" \
     <(sort file1) <(sort file2)

Приклад

$ join -a1 -1 1 -2 1 -o 2.2 1.1 1.2 1.3 1.4 1.5 1.6 1.7 -e "N/A" <(sort file1) <(sort file2) | column -t
N/A   060090  AKRABERG          FYR         DN    6138  -666  101
EKVG  060100  VAGA              FLOGHAVN    DN    6205  -728  88
N/A   060110  TORSHAVN          DN          6201  -675  55    N/A
N/A   060120  KIRKJA            DN          6231  -631  55    N/A
N/A   060130  KLAKSVIK          HELIPORT    DN    6221  -656  75
N/A   060160  HORNS             REV         A     DN    5550  786
N/A   060170  HORNS             REV         B     DN    5558  761
N/A   060190  SILSTRUP          DN          5691  863   0     N/A
N/A   060210  HANSTHOLM         DN          5711  858   0     N/A
EKGF  060220  TYRA              OEST        DN    5571  480   43
EKTS  060240  THISTED           LUFTHAVN    DN    5706  870   8
N/A   060290  GROENLANDSHAVNEN  DN          5703  1005  0     N/A
EKYT  060300  FLYVESTATION      AALBORG     DN    5708  985   13
N/A   060310  TYLSTRUP          DN          5718  995   0     N/A
N/A   060320  STENHOEJ          DN          5736  1033  56    N/A
N/A   060330  HIRTSHALS         DN          5758  995   0     N/A
EKSN  060340  SINDAL            FLYVEPLADS  DN    5750  1021  28

Деталі

Вище сказане дуже часто використовує кожен доступний варіант, joinякий говорить моїй кишці, що ми використовуємо це неправильно, як у якомусь способі Франкенштейна, але ми все тут вчимося, так що це нормально ... Я думаю.

Перемикач -a1повідомляє приєднатись, щоб включити будь-які рядки, у яких немає відповідного збігу з file2 у file1. Ось ось що рухає ці рядки для відображення:

N/A   060330  HIRTSHALS         DN          5758  995   0     N/A

-1 1І -2 1кажуть , які стовпці , щоб приєднатися до лінії з 2 -х файлів, в основному , їх 1 - ої колони. -o ...Каже , які стовпці з 2 -х файлів для відображення і в якому порядку.

-e "N/A"Каже , щоб використовувати рядок «N / A» в якості значення держателя місця для друку для полів, які вважаються порожніми по join.

Останні 2 аргументи подають 2 файли file1& file2як відсортовано до команди приєднання.

Будь ласка, будь ласка, оскільки це незавершена робота, і ми намагаємось продемонструвати, як можна було б вирішити цей тип проблеми за допомогою joinкоманди, оскільки це, здається, є типом проблеми, для якої вона була призначена.

Невирішені питання

1. 3-я колонка

   Основна з них - як боротися з 3-м стовпцем, оскільки це поєднання значень 1 слово та 2 слова. Це здається головним каменем спотикання, joinі я не можу розібратися у цьому шляху. Будь-які вказівки будуть вдячні.

2. Пробіл

   Весь початковий пробіл втрачено, joinі я не бачу способу його зберегти. Тож, joinможливо, це не правильний спосіб вирішити ці проблеми.

3. Здається, хоча це працює?

   Після довгого згинання командного рядка загальне рішення є, тому це здається, що воно може працювати хоча б частково, тому це може бути використане в основі розчини, а потім використовувати інші інструменти, такі як awkі sedочистити його . Це ставить питання, проте: "Якщо ви чистите це за допомогою awk& sedбудь-яким способом, то ви можете просто використовувати їх безпосередньо?".

Це має бути можливо за допомогою, joinале я не можу зрозуміти, як правильно зробити пробіли та порожні поля правильно. У будь-якому випадку, цей маленький сценарій Perl зробить трюк:

#!/usr/bin/env perl

## Open file2, the one that contains the codes
## it is expected to be the 1st argument given to the script.
open($a,"$ARGV[0]"); 

## Read the number<=>code pairs into a hash (an associative array)
## called 'k'
while (<$a>) {
    chomp; @f=split(/\s+/); $k{$f[0]}=$f[1];
}

## Open file1, the one that contains the data
## it is expected to be the 2nd argument given to the script.
open($b,"$ARGV[1]"); 
## Go through the file
while (<$b>) {
    ## Split each line at white space into the array @f
    @f=split(/\s+/);  

    ## $f[1] is the 6 digit number that defines the different stations.
    ## If this number has an entry in the hash %k, if it was found
    ## in file2, replace the first 4 spaces with its value from the hash.
    s/^\s{4}/$k{$f[1]}/ if defined($k{$f[1]});

    ## Print each line of the file
    print; 
}

Збережіть це як foo.plі запустіть так:

$ perl foo.pl file2 file1
         060090 AKRABERG FYR                        DN  6138   -666     101
EKVG     060100 VAGA FLOGHAVN                       DN  6205   -728      88
         060110 TORSHAVN                            DN  6201   -675      55
         060120 KIRKJA                              DN  6231   -631      55
         060130 KLAKSVIK HELIPORT                   DN  6221   -656      75
         060160 HORNS REV A                         DN  5550    786      21
         060170 HORNS REV B                         DN  5558    761      10
         060190 SILSTRUP                            DN  5691    863       0
         060210 HANSTHOLM                           DN  5711    858       0
EKGF     060220 TYRA OEST                           DN  5571    480      43
EKTS     060240 THISTED LUFTHAVN                    DN  5706    870       8
         060290 GROENLANDSHAVNEN                    DN  5703   1005       0
EKYT     060300 FLYVESTATION AALBORG                DN  5708    985      13
         060310 TYLSTRUP                            DN  5718    995       0
         060320 STENHOEJ                            DN  5736   1033      56
         060330 HIRTSHALS                           DN  5758    995       0
EKSN     060340 SINDAL FLYVEPLADS                   DN  5750   1021      28

Баш зробить.

#!/usr/bin/env bash

# ### create a psuedo hash of icao locator id's
# read each line into an array
while read -a line; do
  # set icao_nnnnnn variable to the value
  declare "icao_${line[0]}"=${line[1]}
done <file2


# ### match up icao id's from file1
# read in file line at a time
while IFS=$'\n' read line; do
  # split the line into array
  read -a arr <<< "$line"
  # if the icao_nnnnnn variable exists, it will print out
  var="icao_${arr[0]}"
  printf "%-8s %s\n" "${!var}" "$line"
done <file1

Дивіться цю відповідь ТА для детальної інформації про те, що відбувається з "хешем" Bash 4 підтримує асоціативний масив, але це має працювати в 3 + 4 (можливо, 2?)

Можливо, вам потрібно буде обрізати рядок від file1, щоб отримати форматування.

Ось простий спосіб зробити це за допомогою join(+ ще декілька інструментів) та зберегти інтервал. Здається, обидва файли сортуються за номером станції, тому додаткове сортування не потрібно:

join -j1 -a1 -o 2.2 -e "    " file1 file2 | paste -d' ' - <(cut -c6- file1)

Частина до труби дуже схожа на те , що SLM використовується в своїй відповіді , так що я не буду над ним знову. Єдина відмінність полягає в тому, що я використовую -e " "- рядок з чотирма пробілами як заміну пропущених полів введення та -o 2.2для виведення лише 2-го поля файлу2
Отже, join -j1 -a1 -o 2.2 -e " " file1 file2створюється стовпчик із чотирма знаками (він не видно внизу, але після EK нічого немає ** та порожні рядки - це фактично чотири пробіли):

EKVG







EKGF
EKTS

EKYT



EKSN

ми потім pasteце (використовуючи простір як роздільник) для файлу1, з якого ми cutперших 5 символів | paste -d' ' - <(cut -c6- file1)
Кінцевий результат:

         060090 AKRABERG FYR                        DN  6138   -666     101
EKVG     060100 VAGA FLOGHAVN                       DN  6205   -728      88
         060110 TORSHAVN                            DN  6201   -675      55
         060120 KIRKJA                              DN  6231   -631      55
         060130 KLAKSVIK HELIPORT                   DN  6221   -656      75
         060160 HORNS REV A                         DN  5550    786      21
         060170 HORNS REV B                         DN  5558    761      10
         060190 SILSTRUP                            DN  5691    863       0
         060210 HANSTHOLM                           DN  5711    858       0
EKGF     060220 TYRA OEST                           DN  5571    480      43
EKTS     060240 THISTED LUFTHAVN                    DN  5706    870       8
         060290 GROENLANDSHAVNEN                    DN  5703   1005       0
EKYT     060300 FLYVESTATION AALBORG                DN  5708    985      13
         060310 TYLSTRUP                            DN  5718    995       0
         060320 STENHOEJ                            DN  5736   1033      56
         060330 HIRTSHALS                           DN  5758    995       0
EKSN     060340 SINDAL FLYVEPLADS                   DN  5750   1021      28