Як надрукувати вміст RDD?

Я намагаюся надрукувати вміст колекції на консолі Spark.

У мене є тип:

linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3]

І я використовую команду:

scala> linesWithSessionId.map(line => println(line))

Але це надруковано:

res1: org.apache.spark.rdd.RDD [Unit] = MappedRDD [4] на карті за адресою: 19

Як я можу записати RDD на консоль або зберегти його на диск, щоб я міг переглянути його вміст?

Якщо ви хочете переглянути вміст RDD, одним із способів є використання collect():

myRDD.collect().foreach(println)

Але це не дуже гарна ідея, коли RDD має мільярди рядків. Використовуйте take()для того, щоб роздрукувати лише декілька:

myRDD.take(n).foreach(println)

mapФункція є перетворенням , а це значить , що іскра НЕ буде на самому ділі оцінити вашу RDD , поки ви не запустите дію на нього.

Щоб роздрукувати його, ви можете використовувати foreach(що є дією):

linesWithSessionId.foreach(println)

Щоб записати його на диск, ви можете скористатися однією з saveAs...функцій (нерухомих дій) API RDD

Якщо ви запускаєте це на кластері, то printlnвін не буде друкуватись у ваш контекст. Потрібно внести RDDдані до сеансу. Для цього ви можете примусити його до локального масиву, а потім роздрукувати:

linesWithSessionId.toArray().foreach(line => println(line))

Ви можете перетворити свою RDDна DataFrameпотім show().

// For implicit conversion from RDD to DataFrame
import spark.implicits._

fruits = sc.parallelize([("apple", 1), ("banana", 2), ("orange", 17)])

// convert to DF then show it
fruits.toDF().show()

Це покаже 20 перших рядків ваших даних, тому розмір ваших даних не повинен бути проблемою.

+------+---+                                                                    
|    _1| _2|
+------+---+
| apple|  1|
|banana|  2|
|orange| 17|
+------+---+

Мабуть, існує багато архітектурних відмінностей між myRDD.foreach(println)і myRDD.collect().foreach(println)(не тільки "збирати", але й іншими діями). Одна з відмінностей, яку я бачив - це робити myRDD.foreach(println), вихід буде у випадковому порядку. Наприклад: якщо мій rdd надходить із текстового файлу, де кожен рядок має номер, вихід буде мати інший порядок. Але коли я це зробив myRDD.collect().foreach(println), замовлення залишається таким же, як текстовий файл.

В пітоні

   linesWithSessionIdCollect = linesWithSessionId.collect()
   linesWithSessionIdCollect

Це дозволить роздрукувати весь вміст RDD

c.take(10)

і Іскра новішої версії добре покаже таблицю.

Замість того, щоб вводити кожен раз, ви можете;

[1] Створіть загальний метод друку всередині Spark Shell.

def p(rdd: org.apache.spark.rdd.RDD[_]) = rdd.foreach(println)

[2] Або ще краще, використовуючи імпліцити, ви можете додати функцію до класу RDD для друку її вмісту.

implicit class Printer(rdd: org.apache.spark.rdd.RDD[_]) {
    def print = rdd.foreach(println)
}

Приклад використання:

val rdd = sc.parallelize(List(1,2,3,4)).map(_*2)

p(rdd) // 1
rdd.print // 2

Вихід:

2
6
4
8

Важливо

Це має сенс лише в тому випадку, якщо ви працюєте в локальному режимі та маєте невеликий набір даних. В іншому випадку ви або не зможете побачити результати на клієнті або не вистачить пам’яті через великий результат набору даних.

Ви також можете зберегти як файл: rdd.saveAsTextFile("alicia.txt")

У синтаксисі java:

rdd.collect().forEach(line -> System.out.println(line));