Доступ до даних у підкаталозі пакета

Я пишу пакет python з модулями, яким потрібно відкривати файли даних у ./data/підкаталозі. Зараз у мене є доріжки до файлів, кодирувані в мої класи та функції. Я хотів би написати більш надійний код, який може отримати доступ до підкаталогу незалежно від того, де він встановлений у системі користувача.

Я спробував різноманітні методи, але поки що мені не пощастило. Здається, що більшість команд "поточного каталогу" повертає каталог інтерпретатора python системи, а не каталог модуля.

Це здається, що це повинно бути тривіальною загальною проблемою. Але я не можу це зрозуміти. Частина проблеми полягає в тому, що мої файли даних не є .pyфайлами, тому я не можу використовувати функції імпорту тощо.

Будь-які пропозиції?

Зараз мій каталог пакунків виглядає так:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

Я намагаюся отримати доступ data.txtз module*.py!

Ви можете використати __file__для отримання шляху до пакету, наприклад:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

Стандартний спосіб зробити це з пакетами setuptools та pkg_resources.

Ви можете скласти пакунок відповідно до наступної ієрархії та налаштувати файл налаштування пакету так, щоб він вказав на ваші ресурси даних згідно з цим посиланням:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Потім ви можете знайти та використати ці файли, використовуючи pkg_resources, за цим посиланням:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Щоб забезпечити рішення, яке працює сьогодні. Однозначно використовуйте цей API, щоб не винаходити всі ці колеса.

Потрібно справжнє ім'я файлової системи. Яйця-блискавки будуть вилучені в каталог кешу:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Повернути читаний файл, схожий на об'єкт, для вказаного ресурсу; це може бути фактичний файл, StringIO або якийсь подібний об'єкт. Потік знаходиться у "бінарному режимі", в тому сенсі, що будь-які байти в ресурсі будуть читатися як є.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Відкриття пакетів та доступ до ресурсів за допомогою pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

Часто немає сенсу відповідати тим, що код деталей не працює як є, але я вважаю, що це є винятком. Python 3.7 додав, importlib.resourcesщо його слід замінити pkg_resources. Він би працював для доступу до файлів у пакетах, які не мають косої риси у своїх назвах, тобто

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

тобто ви можете отримати доступ до data2.txtпакета, fooнаприклад

importlib.resources.open_binary('foo', 'data2.txt')

але це не вдасться за винятком для

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Це не може бути вирішена тільки шляхом розміщення __init__.pyв dataі потім використовувати його в якості пакету:

importlib.resources.open_binary('foo.data', 'data.txt')

Причина такої поведінки - «це задумом» ; але дизайн може змінитися ...

Вам потрібне ім'я для всього вашого модуля, вам задано дерево каталогів, не вказана ця деталь, для мене це спрацювало:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

Помітно setuptools не дозволяє вирішувати файли на основі збігу імен з упакованими файлами даних, так що вам доведеться включати data/префікс, незважаючи ні на що. Ви можете використовувати, os.path.join('data', 'data.txt)якщо вам потрібні альтернативні роздільники каталогів, але, як правило, я не знаходжу проблем із сумісністю із жорстко кодованими роздільниками каталогу стилів Unix.

Я думаю, що я відповів.

Я роблю модуль data_path.py, який імпортую до інших моїх модулів, що містять:

data_path = os.path.join(os.path.dirname(__file__),'data')

І тоді я відкриваю всі свої файли за допомогою

open(os.path.join(data_path,'filename'), <param>)