імпорт pyspark в оболонці python

Це копія чужого запитання на іншому форумі, на яку ніколи не було відповіді, тому я подумав, що я його ще раз запитаю тут, як у мене те саме питання. (Див. Http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736 )

На моїй машині Spark встановлено належним чином і я можу запускати програми python з модулями pyspark без помилок при використанні ./bin/pyspark як мого інтерпретатора python.

Однак, коли я намагаюся запустити звичайну оболонку Python, коли я намагаюся імпортувати модулі pyspark, я отримую цю помилку:

from pyspark import SparkContext

і воно говорить

"No module named pyspark".

Як я можу це виправити? Чи потрібна мені змінна середовище, щоб вказати Python на заголовки / бібліотеки pyspark тощо? Якщо моя іскрова установка / іскра /, які маршрути Pyspark мені потрібно включити? Або програми pyspark можна запускати лише з інтерпретатора pyspark?

Ось простий метод (Якщо ви не турбуєтесь про те, як це працює !!!)

Використовуйте Findspark

1. Перейдіть до своєї оболонки пітона

   pip install findspark
   
   import findspark
   findspark.init()

2. імпортуйте необхідні модулі

   from pyspark import SparkContext
   from pyspark import SparkConf

3. Готово !!!

Якщо він друкує таку помилку:

ImportError: Немає модуля з іменем py4j.java_gateway

Додайте $ SPARK_HOME / python / build до PYTHONPATH:

export SPARK_HOME=/Users/pzhang/apps/spark-1.1.0-bin-hadoop2.4
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

Виявляється, що скринька Pyspark - ЗАВАНТАЖЕННЯ python і автоматично завантажує правильні бібліотечні шляхи. Перевірте $ SPARK_HOME / bin / pyspark:

# Add the PySpark classes to the Python path:
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

Я додав цей рядок до свого .bashrc-файлу, і модулі тепер правильно знайдені!

не запускайте файл py як: python filename.py замість цього використовуйте:spark-submit filename.py

Експортуючи шлях SPARK та шлях Py4j, він почав працювати:

export SPARK_HOME=/usr/local/Cellar/apache-spark/1.5.1
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

Отже, якщо ви не хочете вводити ці щоразу, коли ви хочете запустити оболонку Python, ви можете додати їх у свій .bashrcфайл

На Mac я використовую Homebrew для встановлення Spark (формула "apache-spark"). Потім я встановив PYTHONPATH таким чином, щоб імпорт Python працював:

export SPARK_HOME=/usr/local/Cellar/apache-spark/1.2.0
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

Замініть "1.2.0" фактичною версією apache-spark на вашому mac.

Для іскрового виконання в pyspark потрібно працювати два компоненти:

• pyspark пакет пітона
• Іскровий екземпляр у JVM

Коли ви запускаєте речі з іскровою подачею або pyspark, ці сценарії подбають про обидва, тобто вони встановлять ваш PYTHONPATH, PATH тощо, щоб ваш скрипт міг знайти pyspark, а також запустити екземпляр іскри, налаштовуючи відповідно до ваших параметрів , наприклад - майстер X

Крім того, можна обійти ці сценарії та запустити іскрову програму безпосередньо в інтерфейсі python python myscript.py. Це особливо цікаво, коли сценарії іскр починають ускладнюватися і з часом отримують власні аргументи.

1. Переконайтесь, що пакет Pyspark може знайти інтерпретатор Python. Як уже обговорювалося, або додайте іскру / пітон dir до PYTHONPATH або безпосередньо встановіть pyspark за допомогою установки pip.
2. Встановіть параметри іскрового екземпляра зі свого сценарію (ті, які раніше передавались у pyspark).
   • Для конфігурацій іскр, які ви зазвичай встановлювали за допомогою --conf, вони визначені об'єктом config (або рядковими конфігураціями) в SparkSession.builder.config
   • Для основних параметрів (наприклад, --master або --driver-mem) на даний момент ви можете встановити їх, записавши до змінної середовища PYSPARK_SUBMIT_ARGS. Щоб зробити речі більш чистими та безпечнішими, ви можете встановити їх всередині самого Python, а іскра буде читати його під час запуску.
3. Запустіть екземпляр, який просто вимагає зателефонувати getOrCreate()з об’єкта builder.

Тому ваш сценарій може мати щось подібне:

from pyspark.sql import SparkSession

if __name__ == "__main__":
    if spark_main_opts:
        # Set main options, e.g. "--master local[4]"
        os.environ['PYSPARK_SUBMIT_ARGS'] = spark_main_opts + " pyspark-shell"

    # Set spark config
    spark = (SparkSession.builder
             .config("spark.checkpoint.compress", True)
             .config("spark.jars.packages", "graphframes:graphframes:0.5.0-spark2.1-s_2.11")
             .getOrCreate())

Щоб позбутися ImportError: No module named py4j.java_gateway, потрібно додати наступні рядки:

import os
import sys


os.environ['SPARK_HOME'] = "D:\python\spark-1.4.1-bin-hadoop2.4"


sys.path.append("D:\python\spark-1.4.1-bin-hadoop2.4\python")
sys.path.append("D:\python\spark-1.4.1-bin-hadoop2.4\python\lib\py4j-0.8.2.1-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

    print ("success")

except ImportError as e:
    print ("error importing spark modules", e)
    sys.exit(1)

У Windows 10 для мене працювало наступне. Я додав такі змінні середовища, використовуючи Налаштування > Редагувати змінні середовища для вашого облікового запису :

SPARK_HOME=C:\Programming\spark-2.0.1-bin-hadoop2.7
PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%

(змініть "C: \ програмування \ ..." у папку, в яку встановлено іскру)

Для користувачів Linux наступним є правильний (і не важко кодований) спосіб включення pyspark libaray в PYTHONPATH. Обидві частини PATH необхідні:

1. Шлях до самого модуля Pyspark Python та
2. Шлях до бібліотеки на блискавці, на яку посилається цей модуль Pyspark, коли імпортується

Зверніть увагу нижче, що версія бібліотеки-блискавки динамічно визначається, тому ми не впорядковуємо її.

export PYTHONPATH=${SPARK_HOME}/python/:$(echo ${SPARK_HOME}/python/lib/py4j-*-src.zip):${PYTHONPATH}

Я запускаю іскровий кластер на CentOS VM, який встановлюється з пакетів cloudera yum.

Довелося встановити наступні змінні для запуску pyspark.

export SPARK_HOME=/usr/lib/spark;
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

export PYSPARK_PYTHON=/home/user/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Це те, що я зробив для використання свого дистрибутива Anaconda з Spark. Це версія Spark незалежна. Ви можете змінити перший рядок у пітонну скриньку користувачів. Крім того, що стосується Spark 2.2.0, PySpark доступний як окремий пакет для PyPi, але я ще не повинен його перевірити.

Ви можете отримати pyspark pathв python, використовуючи pip(якщо ви встановили pyspark за допомогою PIP), як показано нижче

pip show pyspark

У мене була така ж проблема.

Також переконайтеся, що ви використовуєте правильну версію python, і ви встановлюєте її з правою версією pip. у моєму випадку: у мене були і python 2.7 та 3.x. Я встановив pyspark с

pip2.7 встановити pyspark

і це спрацювало.

Я отримав цю помилку, оскільки скрипт python, який я намагався подати, називався pyspark.py ( facepalm ). Виправленням було встановити мій PYTHONPATH, як було рекомендовано вище, а потім перейменувати сценарій на pyspark_test.py та очистити файл pyspark.pyc, створений на основі оригінального імені мого сценарію, який усунув цю помилку.

У випадку DSE (DataStax Cassandra & Spark) До PYTHONPATH потрібно додати наступне місце

export PYTHONPATH=/usr/share/dse/resources/spark/python:$PYTHONPATH

Потім використовуйте dse park, щоб отримати модулі в шляху.

dse pyspark

У мене була ця сама проблема і я доповнив би одне до запропонованих вище рішень. Використовуючи Homebrew на Mac OS X для встановлення Spark, вам потрібно буде виправити адресу шляху py4j, щоб включити libexec в шлях (пам'ятаючи про зміну версії py4j на ту, яку у вас є);

PYTHONPATH=$SPARK_HOME/libexec/python/lib/py4j-0.9-src.zip:$PYTHONPATH

У моєму випадку він отримував інсталяцію в іншому python dist_package (python 3.5), тоді як я використовував python 3.6, тому нижче допомогло:

python -m pip install pyspark

Ви також можете створити контейнер Docker з Alpine як ОС та встановити Python та Pyspark як пакети. Це матиме все це в контейнерах.