Написання понад 50 мільйонів від Pyspark df до PostgresSQL, найкращий ефективний підхід

Що було б найефективнішим способом вставити мільйони записів, скажімо, 50 мільйонів із фрейму даних Spark до таблиць Postgres. У минулому я це робив від іскри до MSSQL, використовуючи опцію масової копії та розміру партії, яка теж була успішною.

Чи є щось подібне, що може бути тут для Postgres?

Додавши код, який я спробував, і час, який знадобився для запуску процесу:

def inserter():
    start = timer()
    sql_res.write.format("jdbc").option("numPartitions","5").option("batchsize","200000")\
    .option("url", "jdbc:postgresql://xyz.com:5435/abc_db") \
    .option("dbtable", "public.full_load").option("user", "root").option("password", "password").save()
    end = timer()
    print(timedelta(seconds=end-start))
inserter()

Тому я зробив вищезазначений підхід для 10 мільйонів записів і мав 5 паралельних з'єднань, як зазначено в, numPartitionsа також спробував розмір партії 200k .

Загальний час, який знадобився процесу, склав 0: 14: 05,760926 (чотирнадцять хвилин і п’ять секунд).

Чи є якийсь інший ефективний підхід, який би скоротив час?

Яким би був ефективний чи оптимальний розмір партії, яку я можу використовувати? Чи збільшить розмір моєї партії роботу швидше? Або відкриття декількох з'єднань, тобто> 5 допоможе мені зробити процес швидшим?

В середньому 14 хвилин на 10 мільйонів записів непогано , але шукати людей, які б це зробили раніше, щоб допомогти відповісти на це питання.

Я фактично робив таку ж роботу раніше, але використовуючи Apache Sqoop.

Я б сказав, що для відповіді на це питання ми повинні намагатися оптимізувати зв’язок між Spark та PostgresSQL, зокрема, даними, що надходять від Spark до PostgreSql.

Але будьте обережні, не забувайте іскрову сторону. Немає сенсу виконувати mapPartitions, якщо кількість розділів занадто висока порівняно з кількістю максимальних з'єднань, які підтримує PostgreSQL, якщо у вас занадто багато розділів і ви відкриваєте з'єднання для кожного, ви, ймовірно, матимете наступну помилку org.postgresql.util.PSQLException: FATAL: sorry, too many clients already.

Для налаштування процесу вставки я підійшов би до проблеми, виконуючи наступні кроки:

• Пам'ятайте, що кількість розділів важливо. Перевірте кількість розділів, а потім відрегулюйте його залежно від кількості паралельного з'єднання, яке ви хочете мати. Можливо, ви хочете мати одне підключення на розділ, тому я б запропонував перевірити coalesce, як згадується тут .
• Перевірте максимальну кількість з'єднань, які підтримує ваш екземпляр postgreSQL, і ви хочете збільшити кількість .
• Для вставки даних у PostgreSQL рекомендується використовувати команду COPY . Ось також більш детальна відповідь про те, як пришвидшити вставку postgreSQL.

Нарешті, немає жодної срібної кулі, яка б виконувала цю роботу. Ви можете використовувати всі поради, які я згадував вище, але це дійсно залежить від ваших даних та випадків використання.