Сортуйте список доменних імен (FQDN), починаючи з tld та ліворуч

Я хочу сортувати список доменних імен (список білого списку веб-фільтрів), починаючи з TLD і працюючи вгору. Я шукаю будь-які * nix або windows інструменти, які можуть це легко зробити, хоча сценарій теж буде добре.

Тож якщо це список, який вам надано

www.activityvillage.co.uk 
ajax.googleapis.com 
akhet.co.uk 
alchemy.l8r.pl 
au.af.mil 
bbc.co.uk 
bensguide.gpo.gov 
chrome.angrybirds.com 
cms.hss.gov 
crl.godaddy.com 
digitalhistory.uh.edu 
digital.library.okstate.edu 
digital.olivesoftware.com

Це те, що я хочу як результат.

chrome.angrybirds.com 
crl.godaddy.com 
ajax.googleapis.com 
digital.olivesoftware.com 
digital.library.okstate.edu 
digitalhistory.uh.edu 
bensguide.gpo.gov 
cms.hss.gov 
au.af.mil 
alchemy.l8r.pl 
www.activityvillage.co.uk 
akhet.co.uk 
bbc.co.uk

Про всяк випадок, коли вам цікаво, чому у Squidguard є помилка / помилка дизайну. Якщо обидва www.example.comі example.comобидва включені до списку, то example.comзапис ігнорується, і ви можете відвідувати лише вміст із www.example.com. У мене є кілька великих списків, які потребують певного очищення, оскільки хтось додав записи, не дивлячись спочатку.

Цей простий скрипт python буде робити те, що ви хочете. У цьому прикладі я називаю файл domain-sort.py:

#!/usr/bin/env python
from fileinput import input
for y in sorted([x.strip().split('.')[::-1] for x in input()]): print '.'.join(y[::-1])

Для його запуску використовуйте:

cat file.txt | ./domain-sort.py

Зауважте, що це виглядає трохи погірше, оскільки я написав це як більш-менш простий однолінійний текст, мені довелося використовувати позначення фрагмента,[::-1] де працюють негативні значення, щоб зробити копію того ж списку в зворотному порядку, а не використовувати більш декларативний, reverse()який робить це на місці таким чином, що порушує складність.

Ось дещо довша, але, можливо, більш читаема версія, яка використовує, reversed()що повертає ітератор, отже, потрібно також перетворити його, list()щоб споживати ітератор та створити список:

#!/usr/bin/env python
from fileinput import input
for y in sorted([list(reversed(x.strip().split('.'))) for x in input()]): print '.'.join(list(reversed(y)))

Для файлу з 1500 випадковим чином відсортованих рядків потрібно ~ 0,02 секунди:

Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.02
Maximum resident set size (kbytes): 21632

У файлі зі 150 000 випадково відсортованими рядками потрібно трохи більше 3 секунд:

Elapsed (wall clock) time (h:mm:ss or m:ss): 0:03.20
Maximum resident set size (kbytes): 180128

Ось, напевно, більш читабельна версія, яка працює reverse()і sort()на місці, але вона працює за той же час, і фактично займає трохи більше пам’яті.

#!/usr/bin/env python
from fileinput import input

data = []
for x in input():
   d = x.strip().split('.')
   d.reverse()
   data.append(d)
data.sort()
for y in data:
   y.reverse()
   print '.'.join(y)

Для файлу з 1500 випадковим чином відсортованих рядків потрібно ~ 0,02 секунди:

Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.02
Maximum resident set size (kbytes): 22096

У файлі зі 150 000 випадково відсортованими рядками потрібно трохи більше 3 секунд:

Elapsed (wall clock) time (h:mm:ss or m:ss): 0:03.08
Maximum resident set size (kbytes): 219152

Ось сценарій PowerShell, який повинен робити те, що ви хочете. В основному він кидає всі TLD в масив, перевертає кожен TLD, сортує його, повертає його до початкового порядку, а потім зберігає в інший файл.

$TLDs = Get-Content .\TLDsToSort-In.txt
$TLDStrings = @();

foreach ($TLD in $TLDs){
    $split = $TLD.split(".")
    [array]::Reverse($split)
    $TLDStrings += ,$split
}

$TLDStrings = $TLDStrings|Sort-Object

foreach ($TLD in $TLDStrings){[array]::Reverse($TLD)}

$TLDStrings | %{[string]::join('.', $_)} | Out-File .\TLDsToSort-Out.txt

Розмістив його на 1500 записів - на досить потужному робочому столі знадобилося 5 секунд.

cat domain.txt | rev | сортувати | об

Трохи менш вибагливий, або, принаймні, гарніший, Perl:

use warnings;
use strict;

my @lines = <>;
chomp @lines;

@lines =
    map { join ".", reverse split /\./ }
    sort
    map { join ".", reverse split /\./ }
    @lines;

print "$_\n" for @lines;

Це простий приклад перетворення Гутмана-Рослера : ми перетворюємо рядки у відповідну сортувальну форму (тут, розділяємо доменне ім’я на періоди та змінюємо порядок частин), сортуємо їх за допомогою нативного лексикографічного сортування та потім конвертуємо лінії повертаються до початкової форми.

У сценаріях Unix: зворотний, сортування та зворотний:

awk -F "." '{for(i=NF; i > 1; i--) printf "%s.", $i; print $1}' file |
  sort |
  awk -F "." '{for(i=NF; i > 1; i--) printf "%s.", $i; print $1}'

Ось це в (короткий і виразний) перл:

#!/usr/bin/perl -w
@d = <>; chomp @d;
for (@d) { $rd{$_} = [ reverse split /\./ ] }
for $d (sort { for $i (0..$#{$rd{$a}}) {
        $i > $#{$rd{$b}} and return 1;
        $rd{$a}[$i] cmp $rd{$b}[$i] or next;
        return $rd{$a}[$i] cmp $rd{$b}[$i];
} } @d) { print "$d\n" }

awk -F"." 's="";{for(i=NF;i>0;i--) {if (i<NF) s=s "." $i; else s=$i}; print s}' <<<filename>>> | sort | awk -F"." 's="";{for(i=NF;i>0;i--) {if (i<NF) s=s "." $i; else s=$i}; print s}'

Це означає, щоб повернути кожне подане в доменному імені, сортувати та повернути назад.

Це справді сортує список доменів, лексикографічно на основі кожної частини доменного імені, справа наліво.

Зворотне рішення ( rev <<<filename>>> | sort | rev), ні, я спробував це.