Як перезаписати вихідний каталог в іскру

У мене є програма для іскрового потокового передавання, яка виробляє набір даних на кожну хвилину. Мені потрібно зберегти / перезаписати результати оброблюваних даних.

Коли я намагався замінити набір даних org.apache.hadoop.mapred.FileAlreadyExistsException, зупиняє виконання.

Я встановив властивість Spark set("spark.files.overwrite","true"), але немає удачі.

Як перезаписати або попередньо виділити файли з іскри?

ОНОВЛЕННЯ: Запропонувати використання Dataframesплюс щось подібне ... .write.mode(SaveMode.Overwrite) ....

Зручний сутенер:

implicit class PimpedStringRDD(rdd: RDD[String]) {
    def write(p: String)(implicit ss: SparkSession): Unit = {
      import ss.implicits._
      rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p)
    }
  }

Для старих версій спробуйте

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

У 1.1.0 ви можете встановити конфігураційні налаштування, використовуючи скрипт подання іскри із прапором --conf.

УВАГА (старіші версії): Відповідно до @piggybox, в Spark є помилка, де вона буде перезаписувати лише ті файли, які їй потрібні, щоб писати part-файли, а інші файли залишатимуться без змін.

оскільки df.save(path, source, mode)застаріло, ( http://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.DataFrame )

використовувати df.write.format(source).mode("overwrite").save(path)
там, де df.write - DataFrameWriter

"джерелом" може бути ("com.databricks.spark.avro" | "паркет" | "json")

Документація для цього параметра spark.files.overwriteговорить так: "Чи потрібно перезаписувати файли, додані через, SparkContext.addFile()коли існує цільовий файл і його вміст не відповідає вмісту джерела." Отже, це не впливає на метод saveAsTextFiles.

Ви можете зробити це перед збереженням файлу:

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("hdfs://localhost:9000"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }

Aas пояснив тут: http://apache-spark-user-list.1001560.n3.nabble.com/How-can-I-make-Spark-1-0-saveAsTextFile-to-overwrite-existing-file-td6696. html

З документації pyspark.sql.DataFrame.save (зараз на 1.3.1) ви можете вказати mode='overwrite'під час збереження DataFrame:

myDataFrame.save(path='myPath', source='parquet', mode='overwrite')

Я переконався, що це навіть видалить ліві файли розділів. Отже, якщо ви сказали спочатку 10 розділів / файлів, але потім перезаписали папку з DataFrame, який мав лише 6 розділів, в отриманій папці буде 6 розділів / файлів.

Дивіться документацію Spark SQL для отримання додаткової інформації про параметри режиму.

df.write.mode('overwrite').parquet("/output/folder/path")працює, якщо ви хочете перезаписати файл паркету за допомогою python. Це в іскрі 1.6.2. API може бути різним у пізніших версіях

  val jobName = "WordCount";
  //overwrite the output directory in spark  set("spark.hadoop.validateOutputSpecs", "false")
  val conf = new 
  SparkConf().setAppName(jobName).set("spark.hadoop.validateOutputSpecs", "false");
  val sc = new SparkContext(conf)

Ця перевантажена версія функції збереження працює для мене:

yourDF.save (outputPath, org.apache.spark.sql.SaveMode.valueOf ("Перезаписати"))

Наведений вище приклад замінить існуючу папку. Savemode також може приймати ці параметри ( https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html ):

Додавання : Режим додавання означає, що при збереженні DataFrame до джерела даних, якщо дані / таблиця вже існує, очікується, що вміст DataFrame буде доданий до існуючих даних.

ErrorIfExists : Режим ErrorIfExists означає, що при збереженні DataFrame до джерела даних, якщо дані вже є, очікується викид.

Ігнорувати : Режим ігнорування означає, що при збереженні DataFrame до джерела даних, якщо дані вже існують, очікується, що операція збереження не збереже вміст DataFrame та не змінить існуючі дані.

Якщо ви готові використовувати свій власний формат виводу, ви зможете отримати бажану поведінку і з RDD.

Погляньте на наступні класи: FileOutputFormat , FileOutputCommitter

У форматі виводу файлів у вас є метод з назвою checkOutputSpecs, який перевіряє, чи існує каталог виводу. У FileOutputCommitter у вас є commitJob, який зазвичай передає дані з тимчасового каталогу на остаточне місце.

Я ще не зміг це перевірити (зробив би це, як тільки у мене є кілька вільних хвилин), але теоретично: Якщо я розширюю FileOutputFormat і переосмислюю checkOutputSpecs на метод, який не кидає виняток на каталог вже існує, і відрегулюйте Метод commitJob мого користувальницького вихідного комітента, щоб виконувати будь-яку логіку, яку я хочу (наприклад, переосмислити деякі файли, додати інші), ніж я, можливо, зможу досягти бажаної поведінки і з RDD.

Формат виводу передається в: saveAsNewAPIHadoopFile (яким називається метод saveAsTextFile, а також фактично зберегти файли). І Вивідний комітер налаштований на рівні програми.