Cron і virtualenv

Я намагаюся запустити команду управління Django з cron. Я використовую virtualenv, щоб тримати мій проект пісочницею.

Я бачив приклади тут і в інших місцях, які показують запущені команди управління зсередини virtualenv на зразок:

0 3 * * * source /home/user/project/env/bin/activate && /home/user/project/manage.py command arg

Однак, хоча syslog показує запис, коли завдання повинно було бути запущене, це завдання ніколи насправді не запускається (файл журналу для сценарію порожній). Якщо я запускаю лінію вручну з оболонки, вона працює як очікувалося.

Єдиний спосіб, коли я можу отримати команду для запуску через cron, - це розбити команди і помістити їх у німий сценарій баш-обгортки:

#!/bin/sh
source /home/user/project/env/bin/activate
cd /home/user/project/
./manage.py command arg

Редагувати:

ars придумав робочу комбінацію команд:

0 3 * * * cd /home/user/project && /home/user/project/env/bin/python /home/user/project/manage.py command arg

Принаймні в моєму випадку, виклик сценарію активації для virtualenv нічого не робив. Це працює, так і з шоу.

Ви можете це зробити, використовуючи pythonу своєму віртуальному середовищі:

/home/my/virtual/bin/python /home/my/project/manage.py command arg

EDIT: Якщо ваш проект джанго відсутній у PYTHONPATH, вам потрібно буде перейти в потрібний каталог:

cd /home/my/project && /home/my/virtual/bin/python ...

Ви також можете спробувати зареєструвати помилку з cron:

cd /home/my/project && /home/my/virtual/bin/python /home/my/project/manage.py > /tmp/cronlog.txt 2>&1

Інша річ, що потрібно спробувати, - внести ті самі зміни у свій manage.pyсценарій у самому верху:

#!/home/my/virtual/bin/python

Запуск sourceіз cronfile не працюватиме, оскільки cron використовує /bin/shяк оболонку за замовчуванням, яка не підтримує source. Потрібно встановити змінною середовища SHELL такою /bin/bash:

SHELL=/bin/bash
*/10 * * * * root source /path/to/virtualenv/bin/activate && /path/to/build/manage.py some_command > /dev/null

Складно визначити, чому це не вдається, оскільки /var/log/syslogне записує відомості про помилку. Найкраще псевдонімувати корінь, щоб ви отримали електронні листи з будь-якими помилками cron. Просто додайте себе /etc/aliasesі запустітьsendmail -bi .

Більше інформації тут: http://codeinthehole.com/archives/43-Running-django-cronjobs-within-a-virtualenv.html

Посилання вище змінено на: https://codeinthehole.com/tips/running-django-cronjobs-within-a-virtualenv/

Не дивіться більше:

0 3 * * * /usr/bin/env bash -c 'cd /home/user/project && source /home/user/project/env/bin/activate && ./manage.py command arg' > /dev/null 2>&1

Загальний підхід:

* * * * * /usr/bin/env bash -c 'YOUR_COMMAND_HERE' > /dev/null 2>&1

Краса в цьому - вам НЕ потрібно змінювати SHELLзмінну для crontab з shнаbash

Єдиний правильний спосіб запустити завдання python cron при використанні virtualenv - активувати середовище, а потім виконати python оточення для запуску вашого коду.

Один із способів зробити це - використовувати virtualenv's activate_thisу вашому сценарії python, див. Http://virtualenv.readthedocs.org/en/latest/userguide.html#using-virtualenv-without-bin-python

Ще одне рішення - це повторення цілої команди, включаючи активізацію навколишнього середовища та включення до неї /bin/bash. Розглянемо це для своїх /etc/crontab:

***** root echo 'source /env/bin/activate; python /your/script' | /bin/bash

Замість того, щоб розмовляти навколо специфічних для virtualenv шебангів, просто переходьте PATHна кронтаб.

З активованого virtualenv запустіть ці три команди та сценарії python повинні просто працювати:

$ echo "PATH=$PATH" > myserver.cron
$ crontab -l >> myserver.cron
$ crontab myserver.cron

Перший рядок crontab повинен виглядати приблизно так:

PATH=/home/me/virtualenv/bin:/usr/bin:/bin:  # [etc...]

Найкращим рішенням для мене було обидва

• використовуйте бінар пітона в каталозі venv bin / directory
• встановіть шлях python для включення в каталог модулів venv.

man pythonзгадує про модифікацію шляху в оболонці на $PYTHONPATHабо в python зsys.path

В інших відповідях згадуються ідеї зробити це за допомогою оболонки. З python, додавання наступних рядків до мого сценарію дозволяє мені успішно запускати його безпосередньо з cron.

import sys
sys.path.insert(0,'/path/to/venv/lib/python3.3/site-packages');

Ось як це виглядає в інтерактивному сеансі -

Python 3.3.2+ (default, Feb 28 2014, 00:52:16) 
[GCC 4.8.1] on linux
Type "help", "copyright", "credits" or "license" for more information.

>>> import sys

>>> sys.path
['', '/usr/lib/python3.3', '/usr/lib/python3.3/plat-x86_64-linux-gnu', '/usr/lib/python3.3/lib-dynload']

>>> import requests
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named 'requests'   

>>> sys.path.insert(0,'/path/to/venv/modules/');

>>> import requests
>>>

Я хотів би додати це, тому що я витратив деякий час на вирішення питання і не знайшов тут відповіді на поєднання використання змінних у cron та virtualenv. То, можливо, це комусь допоможе.

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DIR_SMTH="cd /smth"
VENV=". venv/bin/activate"
CMD="some_python_bin do_something"
# m h  dom mon dow   command
0 * * * * $DIR_SMTH && $VENV && $CMD -k2 some_target >> /tmp/crontest.log 2>&1

Він не працював добре, коли він був налаштований так

DIR_SMTH = "cd / smth && venv / bin / activate"

Дякуємо @davidwinterbottom , @ reed -sandberg та @mkb за те, що дали правильний напрямок. Прийнята відповідь насправді працює добре, поки вашому python не потрібно запустити сценарій, який повинен запустити ще один бінарний файл python з каталогу venv / bin.

Це рішення, яке добре спрацювало для мене.

source /root/miniconda3/etc/profile.d/conda.sh && \
conda activate <your_env> && \
python <your_application> &

Я використовую miniconda з версією Conda 4.7.12 на Ubuntu 18.04.3 LTS.

Я в змозі розмістити вищезазначене всередині сценарію і без проблем запустити його через crontab.

сценарій python

from datetime import datetime                                                                                                                                                                
import boto   # check wheather its taking the virtualenv or not                                                                                                                                                                        
import sys                                                                                                                                                                                   
param1=sys.argv[1]     #Param                                                                                                                                                                                                                                                                                                                                                                    
myFile = open('appendtxt.txt', 'a')                                                                                                                                                      
myFile.write('\nAccessed on ' + param1+str(datetime.now())) 

Команда Cron

 */1 * * * *  cd /Workspace/testcron/ && /Workspace/testcron/venvcron/bin/python3  /Workspace/testcron/testcronwithparam.py param  

Вгорі команда

• * / 1 * * * * - Виконайте кожну ковану
• cd / Робоча область / testcron / - Шлях сценарію python
• / Робоча область / testcron / venvcron / bin / python3 - Virtualenv шлях
• Робоча область / testcron / testcronwithparam.py - Шлях файлу
• param - параметр