Іскра: АДС виконується багато разів

У мене є кадр даних із таким кодом:

def test(lat: Double, lon: Double) = {
  println(s"testing ${lat / lon}")
  Map("one" -> "one", "two" -> "two")
}

val testUDF = udf(test _)

df.withColumn("test", testUDF(col("lat"), col("lon")))
  .withColumn("test1", col("test.one"))
  .withColumn("test2", col("test.two"))

Тепер перевіривши журнали, я з’ясував, що для кожного рядка UDF виконується 3 рази. Якщо я додаю "test3" із стовпця "test.three", то UDF виконується ще раз.

Хтось може мені пояснити, чому?

Чи можна цього уникнути належним чином (без кешування кадрів даних після додавання "тесту", навіть якщо це працює)?

Якщо ви хочете уникнути багаторазових дзвінків до udf (що корисно, особливо якщо udf є вузьким місцем у вашій роботі), ви можете зробити це наступним чином:

val testUDF = udf(test _).asNondeterministic()

В основному ви говорите Spark, що ваша функція не є детермінованою, і тепер Spark переконуєсь, що вона викликається лише один раз, оскільки її не можна безпечно викликати кілька разів (кожен виклик може призвести до різного результату).

Також майте на увазі, що цей трюк не є безкоштовним, виконуючи це, ви накладаєте певні обмеження на оптимізатор. Одним з побічних ефектів цього є, наприклад, що Spark Optimizer не натискає фільтри через вирази, які не є детермінованими, тому ви станете відповідальними за оптимальне положення фільтрів у вашому запиті.