Порядок не алфавітно-цифрових списків від os.listdir ()

Я часто використовую python для обробки каталогів даних. Останнім часом я помітив, що порядок списків за замовчуванням змінився на щось майже безглуздо. Наприклад, якщо я перебуваю у поточному каталозі, що містить такі підкаталоги: run01, run02, ... run19, run20, а потім генерую список із наступної команди:

dir = os.listdir(os.getcwd())

тоді я зазвичай отримую список у такому порядку:

dir = ['run01', 'run18', 'run14', 'run13', 'run12', 'run11', 'run08', ... ]

і так далі. Порядок був буквено-цифровим. Але цей новий порядок залишився зі мною на деякий час.

Що визначає (відображається) порядок цих списків?

Я думаю, що порядок пов'язаний з тим, як файли індексуються у вашій FileSystem. Якщо ви дійсно хочете, щоб він дотримувався певного порядку, ви завжди можете сортувати список після отримання файлів.

Ви можете використовувати вбудовану sortedфункцію для сортування рядків, як вам завгодно. Виходячи з того, що ви описуєте,

sorted(os.listdir(whatever_directory))

Крім того, ви можете використовувати .sortметод списку:

lst = os.listdir(whatever_directory)
lst.sort()

Думаю, треба зробити трюк.

Зауважте, що порядок os.listdirотримання імен файлів, ймовірно, повністю залежить від вашої файлової системи.

Відповідно до документації :

os.listdir (шлях)

Поверніть список, що містить імена записів у каталозі, заданому шляхом. Список складається у довільному порядку . Він не включає спеціальні записи "." та "..", навіть якщо вони є в каталозі.

На порядок не можна покладатися і є артефактом файлової системи.

Щоб сортувати результат, використовуйте sorted(os.listdir(path)).

Python з будь-якої причини не має вбудованого способу природного сортування (мається на увазі 1, 2, 10 замість 1, 10, 2), тому вам доведеться писати це самостійно:

import re
def sorted_alphanumeric(data):
    convert = lambda text: int(text) if text.isdigit() else text.lower()
    alphanum_key = lambda key: [ convert(c) for c in re.split('([0-9]+)', key) ] 
    return sorted(data, key=alphanum_key)

Тепер ви можете використовувати цю функцію для сортування списку:

dirlist = sorted_alphanumeric(os.listdir(...))

ПРОБЛЕМИ: Якщо ви використовуєте вищевказану функцію для сортування рядків (наприклад, імен папок) і хочете, щоб вони були сортовані так, як це робить Провідник Windows, вона не працюватиме належним чином у деяких крайових випадках.
Ця функція сортування поверне неправильні результати в Windows, якщо у вас є імена папок із певними "спеціальними" символами. Наприклад, ця функція буде сортувати 1, !1, !a, a, тоді як Windows Explorer буде сортувати !1, 1, !a, a.

Отже, якщо ви хочете сортувати точно так, як це робить Windows Explorer у Python, вам слід використовувати вбудовану функцію Windows StrCmpLogicalW через ctypes (це, звичайно, не буде працювати на Unix):

from ctypes import wintypes, windll
from functools import cmp_to_key
def winsort(data):
    _StrCmpLogicalW = windll.Shlwapi.StrCmpLogicalW
    _StrCmpLogicalW.argtypes = [wintypes.LPWSTR, wintypes.LPWSTR]
    _StrCmpLogicalW.restype  = wintypes.INT

    cmp_fnc = lambda psz1, psz2: _StrCmpLogicalW(psz1, psz2)
    return sorted(data, key=cmp_to_key(cmp_fnc))

Ця функція трохи повільніше, ніж sorted_alphanumeric().

Бонус: winsortтакож можна сортувати повні шляхи в Windows .

Крім того, особливо якщо ви використовуєте Unix, ви можете використовувати natsortбібліотеку ( pip install natsort) для сортування по повних шляхах правильним чином (маючи на увазі підпапки у правильному положенні).

Ви можете використовувати його так для сортування повних контурів:

from natsort import natsorted, ns
dirlist = natsorted(dirlist, alg=ns.PATH | ns.IGNORECASE)

Не використовуйте його для звичайного сортування лише назв папок (або рядків загалом), оскільки це досить повільно, ніж sorted_alphanumeric()функціонування вище.
natsortedбібліотека дасть неправильні результати, якщо ви очікуєте сортування Windows Explorer, тому використовуйте winsort()для цього.

Я думаю, що за замовчуванням порядок визначається зі значенням ASCII. Рішення цієї проблеми - це

dir = sorted(os.listdir(os.getcwd()), key=len)

Це, мабуть, лише порядок readdir()повернення С. Спробуйте запустити цю програму C:

#include <dirent.h>
#include <stdio.h>
int main(void)
{   DIR *dirp;
    struct dirent* de;
    dirp = opendir(".");
    while(de = readdir(dirp)) // Yes, one '='.
        printf("%s\n", de->d_name);
    closedir(dirp);
    return 0;
}

Лінія побудови повинна бути чимось на кшталт gcc -o foo foo.c.

PS Тільки запустив цей і ваш код Python, і вони обидва дали мені відсортований вихід, тому я не можу відтворити те, що ви бачите.

aaa = ['row_163.pkl', 'row_394.pkl', 'row_679.pkl', 'row_202.pkl', 'row_1449.pkl', 'row_247.pkl', 'row_1353.pkl', 'row_749.pkl', 'row_1293.pkl', 'row_1304.pkl', 'row_78.pkl', 'row_532.pkl', 'row_9.pkl', 'row_1435.pkl']                                                                                                                                                                                                                                                                                                 
sorted(aaa, key=lambda x: int(os.path.splitext(x.split('_')[1])[0]))

Оскільки у випадку з моєю вимогою у мене є випадок, як row_163.pklось тут os.path.splitext('row_163.pkl')розіб’ємо його, ('row_163', '.pkl')тому потрібно розділити його на основі «_».

але у випадку вашої вимоги ви можете зробити щось на кшталт

sorted(aa, key = lambda x: (int(re.sub('\D','',x)),x))

де

aa = ['run01', 'run08', 'run11', 'run12', 'run13', 'run14', 'run18']

а також для отримання каталогу, який ви можете зробити sorted(os.listdir(path))

і для випадку подібного 'run01.txt'або 'run01.csv'ви можете зробити так

sorted(files, key=lambda x : int(os.path.splitext(x)[0]))

Я виявив, що "сортування" не завжди робить те, що я очікував. наприклад, у мене є каталог, як показано нижче, і "сортування" дає мені дуже дивний результат:

>>> os.listdir(pathon)
['2', '3', '4', '5', '403', '404', '407', '408', '410', '411', '412', '413', '414', '415', '416', '472']
>>> sorted([ f for f in os.listdir(pathon)])
['2', '3', '4', '403', '404', '407', '408', '410', '411', '412', '413', '414', '415', '416', '472', '5']

Здається, він порівнює першого персонажа першим, якщо це найбільший, то був би останній.

З документації :

Список складається у довільному порядку і не містить спеціальних записів "." та "..", навіть якщо вони є в каталозі.

Це означає, що порядок, ймовірно, залежить від ОС / файлової системи, не має особливо значущого порядку, і тому не гарантується, що це буде щось особливе. Як було сказано багато відповідей: якщо бажано, отриманий список можна сортувати.

Ура :)

Відповідь Елліот вирішує це чудово, але, оскільки це коментар, він залишається непоміченим, щоб допомогти комусь, я повторюю це як рішення.

Використовуйте бібліотеку natsort:

Встановіть бібліотеку із наступною командою для Ubuntu та інших версій Debian

Пітон 2

sudo pip install natsort

Пітон 3

sudo pip3 install natsort

Деталі використання цієї бібліотеки ви знайдете тут

In [6]: os.listdir?

Type:       builtin_function_or_method
String Form:<built-in function listdir>
Docstring:
listdir(path) -> list_of_strings
Return a list containing the names of the entries in the directory.
path: path of directory to list
The list is in **arbitrary order**.  It does not include the special
entries '.' and '..' even if they are present in the directory.

Пропонована комбінація команд os.listdirта sortedкоманд генерує той самий результат, що й ls -lкоманда під Linux. Наступний приклад підтверджує це припущення:

user@user-PC:/tmp/test$ touch 3a 4a 5a b c d1 d2 d3 k l p0 p1 p3 q 410a 409a 408a 407a
user@user-PC:/tmp/test$ ls -l
total 0
-rw-rw-r-- 1 user user 0 Feb  15 10:31 3a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 407a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 408a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 409a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 410a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 4a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 5a
-rw-rw-r-- 1 user user 0 Feb  15 10:31 b
-rw-rw-r-- 1 user user 0 Feb  15 10:31 c
-rw-rw-r-- 1 user user 0 Feb  15 10:31 d1
-rw-rw-r-- 1 user user 0 Feb  15 10:31 d2
-rw-rw-r-- 1 user user 0 Feb  15 10:31 d3
-rw-rw-r-- 1 user user 0 Feb  15 10:31 k
-rw-rw-r-- 1 user user 0 Feb  15 10:31 l
-rw-rw-r-- 1 user user 0 Feb  15 10:31 p0
-rw-rw-r-- 1 user user 0 Feb  15 10:31 p1
-rw-rw-r-- 1 user user 0 Feb  15 10:31 p3
-rw-rw-r-- 1 user user 0 Feb  15 10:31 q

user@user-PC:/tmp/test$ python
Python 2.7.6 (default, Jun 22 2015, 17:58:13) 
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import os
>>> os.listdir( './' )
['d3', 'k', 'p1', 'b', '410a', '5a', 'l', 'p0', '407a', '409a', '408a', 'd2', '4a', 'p3', '3a', 'q', 'c', 'd1']
>>> sorted( os.listdir( './' ) )
['3a', '407a', '408a', '409a', '410a', '4a', '5a', 'b', 'c', 'd1', 'd2', 'd3', 'k', 'l', 'p0', 'p1', 'p3', 'q']
>>> exit()
user@user-PC:/tmp/test$ 

Отже, для тих, хто хоче відтворити результат добре відомої ls -lкоманди у своєму коді python, sorted( os.listdir( DIR ) )працює досить добре.