Слугіфікація рядків у Python

Я шукаю найкращого способу "заплутати" рядок, що таке "слизень" , і моє поточне рішення базується на цьому рецепті

Я трохи змінив його на:

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Хтось бачить проблеми з цим кодом? Це працює нормально, але, можливо, мені чогось не вистачає, або ви знаєте кращий спосіб?

Існує пакет із іменем python python-slugify, який робить досить непогану роботу зі знешкодження:

pip install python-slugify

Працює так:

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín hǎo. Wǒ shì zhōng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = 'Компьютер'
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Див. Більше прикладів

Цей пакет робить трохи більше, ніж те, що ви опублікували (подивіться на джерело, це лише один файл). Проект все ще активний (оновлений за 2 дні до того, як я спочатку відповів, через сім років (востаннє перевірено 2020-06-30), він все ще оновлюється).

обережно : навколо є другий пакет, названий slugify. Якщо у вас обоє, ви можете отримати проблему, оскільки вони мають однакову назву для імпорту. Щойно названий slugifyне зробив всього, що я швидко перевірив: "Ich heiße"став "ich-heie"(повинен бути "ich-heisse"), тому обов’язково виберіть правильний при використанні pipабо easy_install.

Встановіть unidecode форму тут для підтримки Юнікоду

pip встановити

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom хелло ворлд"
print slugify(text)

>>> my-custom-khello-vorld

Існує пакет python з назвою awesome-slugify :

pip install awesome-slugify

Працює так:

from slugify import slugify

slugify('one kožušček')  # one-kozuscek

приголомшливо-млява сторінка github

Це добре працює в Django , тому я не розумію, чому це не була б хорошою функцією загального призначення.

Чи виникають у вас проблеми з цим?

Проблема в лінії нормалізації ascii:

slug = unicodedata.normalize('NFKD', s)

Це називається нормалізацією Unicode, яка не розкладає багато символів на ascii. Наприклад, це позбавить символи, що не є ascii, із таких рядків:

Mørdag -> mrdag
Æther -> ther

Кращий спосіб зробити це - використовувати модуль unidecode, який намагається транслітерувати рядки в ascii. Отже, якщо замінити наведений вище рядок на:

import unidecode
slug = unidecode.unidecode(s)

Ви отримуєте кращі результати для наведених вище рядків, а також для багатьох грецьких та російських символів:

Mørdag -> mordag
Æther -> aether

def slugify(value):
    """
    Converts to lowercase, removes non-word characters (alphanumerics and
    underscores) and converts spaces to hyphens. Also strips leading and
    trailing whitespace.
    """
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    value = re.sub('[^\w\s-]', '', value).strip().lower()
    return mark_safe(re.sub('[-\s]+', '-', value))
slugify = allow_lazy(slugify, six.text_type)

Це функція slugify, присутня в django.utils.text. Цього має вистачити вашим вимогам.

Unidecode - це добре; однак будьте обережні: unidecode - це GPL. Якщо ця ліцензія не підходить, скористайтеся цією

Кілька варіантів на GitHub:

1. https://github.com/dimka665/awesome-slugify
2. https://github.com/un33k/python-slugify
3. https://github.com/mozilla/unicode-slugify

Кожен підтримує дещо різні параметри для свого API, тому вам потрібно переглянути, щоб зрозуміти, що вам більше подобається.

Зокрема, зверніть увагу на різні варіанти роботи із символами, що не належать до ASCII. Пиданні написав дуже корисну публікацію в блозі, в якій проілюстрував деякі відмінності в обробці Unicode у цих службових бібліотеках: http://www.pydanny.com/awesome-slugify-human-readable-url-slugs-from-any-string.html Ця публікація в блозі трохи застаріла, оскільки Mozilla unicode-slugifyбільше не стосується Django.

Також зауважте, що наразі awesome-slugifyє GPLv3, хоча є відкрита проблема, коли автор каже, що воліють випустити як MIT / BSD, просто не впевнений у законності: https://github.com/dimka665/awesome-slugify/issues/ 24

Можливо, ви можете змінити останній рядок на

slug=re.sub(r'--+',r'-',slug)

оскільки зразок [-]+нічим не відрізняється від -+, і ви насправді не піклуєтесь про те, щоб зіставити лише один дефіс, лише два або більше.

Але, звичайно, це зовсім незначно.

Інший варіант boltons.strutils.slugify. Boltons також має досить багато інших корисних функцій і розповсюджується за BSDліцензією.