Проблема з IPython / Jupyter на Spark (Нерозпізнаний псевдонім)

11

Я працюю над створенням набору VM для експерименту зі Spark, перш ніж витрачати гроші та витрачати гроші на створення кластеру з деяким обладнанням. Коротка примітка: Я є вченим з досвідом прикладного машинного навчання і трохи пішов з науки про дані. Я використовую інструменти для обчислень, рідко мені знадобиться їх налаштувати.

Я створив 3 VM (1 майстер, 2 раби) і встановив Spark успішно. Здається, все працює як слід. Моя проблема полягає у створенні сервера Jupyter, до якого можна підключитись із браузера, який не працює на машині кластера.

Я успішно встановив ноутбук Юпітер ... і він працює. Я додав новий профіль IPython, який з'єднується з віддаленим сервером за допомогою Spark.

тепер проблема

Команда

$ ipython --profile=pyspark працює нормально, і він підключається до іскрового скупчення. Однак,

$ ipython notebook --profile=pyspark [<stuff is here>] Unrecognized alias: "profile=pyspark", it will probably have no effect. за замовчуванням для defaultпрофілю, а не для pysparkпрофілю.

Конфігурація мого ноутбука для pyspark:

c = get_config() c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.port = 8880 c.NotebookApp.server_extensions.append('ipyparallel.nbextension') c.NotebookApp.password = u'some password is here'

— gcd
джерело

Чи може бути, що працює наступне? $ ipython --profile=pyspark notebook? Можливо, проблема полягала лише в порядку наведення аргументів.

— Габор Бакос

12

Тепер IPython перейшов до версії 4.0 , що означає, що якщо ви його використовуєте, він буде читати його конфігурацію ~/.jupyter, а не ~/.ipython. Ви повинні створити новий файл конфігурації за допомогою

jupyter notebook --generate-config

а потім відредагуйте отриманий ~/.jupyter/jupyter_notebook_config.pyфайл відповідно до ваших потреб.

Більше інструкцій з монтажу тут .

— dmvianna
джерело

Я часто замислювався, чому вони зберегли команду зошита ipython, розділяючи юпітер з ipython. Ось саме це стає дійсно заплутаним. Дякуємо вам і kau zsh за вказівку невідповідності профілю. Це майже так, як вони повинні використовувати профіль ipython при використанні команди ipython notebook та профілю jupyter-notebook при використанні цієї команди.

— AN6U5

4

Припустимо, що ваш конфігураційний файл ~ / .ipython / profile_pyspark / ipython_notebook_config.py, ви все одно можете використовувати цей файл налаштування:

ipython notebook --config='~/.ipython/profile_pyspark/ipython_notebook_config.py'

або

jupyter-notebook --config='~/.ipython/profile_pyspark/ipython_notebook_config.py'

— кау зш
джерело

1

Проблема полягає в тому, що Pyspark за замовчуванням не знаходиться на шляху os sys. Після кількох невдалих спроб додати його вручну до моїх конфігураційних файлів / шляхів / тощо, я натрапив на це сховище GitHub під назвою findspark.

https://github.com/minrk/findspark

Я клонував це сховище за допомогою git clone https://github.com/minrk/findspark.git

Потім я запустив "pip install findspark" з кореня findspark.

Запустив ноутбук Юпітера, створив новий ноутбук Python3 і додав

імпорту findspark
імпорту os
osspark.init ()
імпорту pyspark
sc = pyspark.SparkContext ()

Перш ніж findspark.init (), імпорт pyspark повернувся з помилкою.

Для тестування я просто набрав sc і повернувся:
pyspark.context.SparkContext на 0x4526d30

Усі зараз працюють на мене.

— Анахіта
джерело

Ласкаво просимо на сайт Anahita :)

— Dawny33