Запитання з тегом «apache-spark-dataset»

Мені просто цікаво, в чому різниця між RDDі DataFrame (Spark 2.0.0 DataFrame - це псевдонім простого типу Dataset[Row]) у Apache Spark? Чи можете ви перетворити одне на інше?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Відповідно до введення наборів даних Spark : Очікуючи Spark 2.0, ми плануємо кілька захоплюючих удосконалень наборів даних, зокрема: ... Спеціальні кодери - поки ми автоматично автогенеруємо кодери для найрізноманітніших типів, ми хотіли б відкрити API для спеціальних об'єктів. і спроби зберігати користувальницький тип Datasetпризводить до наступних помилок, таких як: Неможливо …

149 scala  apache-spark  apache-spark-dataset  apache-spark-encoders