Python setuptools: Як я можу перерахувати приватний репозиторій у розділі install_requires?

Я створюю setup.pyфайл для проекту, який залежить від приватних сховищ GitHub. Відповідні частини файлу виглядають так:

from setuptools import setup
setup(name='my_project',
    ...,
    install_requires=[
        'public_package',
        'other_public_package',
        'private_repo_1',
        'private_repo_2',
    ],
    dependency_links=[
        'https://github.com/my_account/private_repo_1/master/tarball/',
        'https://github.com/my_account/private_repo_2/master/tarball/',
    ],
    ...,
)

Я використовую setuptoolsзамість цього, distutilsоскільки останній не підтримує аргументи install_requiresта і dependency_linksдля цієї відповіді.

Вищезазначений файл налаштування не може отримати доступ до приватних репозиторіїв з помилкою 404 - чого і слід було очікувати, оскільки GitHub повертає 404 до несанкціонованих запитів на приватне сховище. Однак я не можу зрозуміти, як зробити setuptoolsавтентифікацію.

Ось кілька речей, які я спробував:

1. Використовуйте git+ssh://замість https://in, dependency_linksяк це було б, якби я встановлював репо за допомогою pip. Це не вдається, оскільки setuptools не розпізнає цей протокол ("невідомий тип URL-адреси: git + ssh"), хоча в документації розповсюдження сказано, що він повинен. Так само git+httpsі git+http.

2. https://<username>:<password>@github.com/...- до сих пір отримати 404. (Цей метод не працює з curlабо wgetз командного рядка або - хоча curl -u <username> <repo_url> -O <output_file_name>робить роботу.)

3. Оновлення setuptools (0.9.7) та virtualenv (1.10) до останніх версій. Також спробував встановити дистрибутив, хоча в цьому огляді сказано, що він був об’єднаний назад у setuptools. У будь-якому випадку, без кісток.

Наразі я просто setup.pyроздрукував попередження про те, що приватні репозиторії потрібно завантажувати окремо. Це, очевидно, менше ідеалу. Я відчуваю, що чогось очевидного, чого мені не вистачає, але не можу думати, що це може бути. :)

Дубльоване запитання, тут немає відповідей .

Я намагався змусити це працювати для встановлення за допомогою pip, але вищезазначене не працювало для мене. З [1] я зрозумів, що PEP508слід використовувати стандарт, з [2] я отримав приклад, який насправді працює (принаймні для мого випадку).

Будь ласка, запиши; це з pip 20.0.2наPython 3.7.4

setup(
    name='<package>',
...
    install_requires=[
        '<normal_dependency>',
         # Private repository
        '<dependency_name> @ git+ssh://git@github.com/<user>/<repo_name>@<branch>',
         # Public repository
        '<dependency_name> @ git+https://github.com/<user>/<repo_name>@<branch>',
    ],
)

Після вказівки мого пакету встановлення працює нормально (також з -eналаштуваннями та без необхідності вказувати --process-dependency-links).

Список літератури [1] https://github.com/pypa/pip/issues/4187 [2] https://github.com/pypa/pip/issues/5566

Ось, що мені вдалося:

  install_requires=[
      'private_package_name==1.1',
  ],
  dependency_links=[
      'git+ssh://git@github.com/username/private_repo.git#egg=private_package_name-1.1',
  ]

Зверніть увагу, що ви повинні вказати номер версії в назві яйця, інакше він скаже, що не може знайти упаковку.

Я не зміг знайти жодної хорошої документації з цього приводу, але натрапив на рішення переважно шляхом спроб та помилок. Крім того, встановлення з pip & setuptools має деякі тонкі відмінності; але цей спосіб повинен працювати для обох.

GitHub не пропонує (наразі станом на серпень 2016 року) простий спосіб отримати zip / tarball приватних репо. Отже, вам потрібно вказати setuptools, щоб сказати setuptools, що ви вказуєте на git repo:

from setuptools import setup
import os
# get deploy key from https://help.github.com/articles/git-automation-with-oauth-tokens/
github_token = os.environ['GITHUB_TOKEN']

setup(
    # ...
    install_requires='package',
    dependency_links = [
    'git+https://{github_token}@github.com/user/{package}.git/@{version}#egg={package}-0'
        .format(github_token=github_token, package=package, version=master)
        ] 

Пара приміток тут:

• Для приватних репозиторіїв вам потрібно пройти автентифікацію за допомогою GitHub; найпростіший спосіб, який я знайшов, - це створити маркер oauth, помістити його у своє середовище, а потім включити до URL-адреси
• Вам потрібно вказати деякий номер версії (ось 0) у кінці посилання, навіть якщо на PyPI немає пакету. Це має бути фактичне число, а не слово.
• Вам потрібно передмовити, git+щоб сказати setuptools, що це клонування репо, а не вказівка ​​на zip / tarball
• version може бути гілкою, тегом або хешем коміту
• Вам потрібно забезпечити, --process-dependency-linksякщо встановлюєте з pip

Я знайшов (хакі) обхідний шлях:

#!/usr/bin/env python

from setuptools import setup
import os

os.system('pip install git+https://github-private.corp.com/user/repo.git@master')

setup( name='original-name'
     , ...
     , install_requires=['repo'] )

Я розумію, що існують етичні проблеми із системним викликом у сценарії налаштування, але я не можу придумати іншого способу зробити це.

За допомогою відповіді Тома Хеммеса я виявив, що це єдине, що мені вдалося:

    install_requires=[
        '<package> @ https://github.com/<username>/<package>/archive/<branch_name>.zip']

Використання URL-адреси архіву з github мені підходить для загальних сховищ. Напр

dependency_links = [
  'https://github.com/username/reponame/archive/master.zip#egg=eggname-version',
]

Редагувати: Здається, це працює лише із загальнодоступними сховищами github, див. Коментарі.

dependency_links=[
    'https://github.com/my_account/private_repo_1/tarball/master#egg=private_repo_1',
    'https://github.com/my_account/private_repo_2/tarball/master#egg=private_repo_2',
],

Вищезазначений синтаксис, здається, працює для мене з setuptools 1.0. На даний момент принаймні синтаксис додавання "# egg = project_name-version" до залежностей VCS задокументований у посиланні, яке ви дали для розповсюдження документації .

Це працює для нашого сценарію:

1. пакет знаходиться на github в приватному репо
2. ми хочемо встановити його в пакунки сайту (не в ./src з -e)
3. можливість використовувати pip install -r requirements.txt
4. можливість використовувати pip install -e reposdir (або з github), де залежності вказані лише в requirements.txt

https://github.com/pypa/pip/issues/3610#issuecomment-356687173