Тимчасові таблиці PostgreSQL

Мені потрібно виконати запит 2,5 мільйона разів. Цей запит генерує кілька рядків, які мені потрібні, AVG(column)а потім використовує це AVGдля фільтрації таблиці з усіх значень нижче середнього. Потім мені потрібно INSERTці відфільтровані результати подати у таблицю.

Здається, єдиний спосіб зробити це з розумною ефективністю - це створити TEMPORARY TABLEдля кожного запиту-postmaster python-thread. Я просто сподіваюся, що ці TEMPORARY TABLEs не зберігатимуться на жорсткому диску (взагалі) і залишатимуться в пам'яті (RAM), якщо, звичайно, у них не залишиться робочої пам'яті.

Я хотів би знати, чи буде НА ТИМЧАСНІЙ ТАБЛИЦІ виникати запис на диск (що заважатиме ВСТАВКАМ, тобто сповільнюватиме весь процес)

Зверніть увагу, що в Postgres за замовчуванням поведінка тимчасових таблиць полягає в тому, що вони не скидаються автоматично, а дані зберігаються при фіксації. Див ON COMMIT.

Однак тимчасова таблиця випадає в кінці сеансу бази даних :

Тимчасові таблиці автоматично скидаються в кінці сеансу або, за бажанням, в кінці поточної транзакції.

Є декілька міркувань, які ви повинні взяти до уваги:

• Якщо ви хочете явно DROPвказати тимчасову таблицю в кінці транзакції, створіть її із CREATE TEMPORARY TABLE ... ON COMMIT DROPсинтаксисом.
• За наявності пулу з'єднань сеанс бази даних може охоплювати кілька сесій клієнта; щоб уникнути зіткнень CREATE, вам слід скинути тимчасові таблиці - або до повернення підключення до пулу (наприклад, виконуючи все всередині транзакції та використовуючи ON COMMIT DROPсинтаксис створення), або за необхідності (попередньо будь-якому CREATE TEMPORARY TABLEоператору з відповідний DROP TABLE IF EXISTS, який має перевагу також працювати поза транзакціями, наприклад, якщо з'єднання використовується в режимі автоматичної фіксації.)
• Поки тимчасова таблиця використовується, скільки вона поміститься в пам’яті перед переповненням на диск? Див. temp_buffersОпцію вpostgresql.conf
• Щось ще, про що мені слід турбуватися, часто працюючи з тимчасовими таблицями? Рекомендується пилосос після того, як ви викинули тимчасові столи, щоб очистити всі мертві кортежі з каталогу. Postgres автоматично буде пилососити кожні 3 хвилини для вас, використовуючи налаштування за замовчуванням ( auto_vacuum).

Крім того , не пов'язані з вашим питанням (але , можливо , пов'язані з вашим проектом): Майте на увазі , що, якщо у вас є для виконання запитів тимчасову таблицю , після того, як ви заселили її, то це хороша ідея , щоб створити відповідні показники і випустити ANALYZEна тимчасова таблиця, про яку йде мова після того, як ви закінчите вставляти в неї. За замовчуванням оптимізатор, що базується на витратах, вважатиме, що новостворена тимчасова таблиця має ~ 1000 рядків, і це може призвести до поганої продуктивності, якщо тимчасова таблиця насправді містить мільйони рядків.

Тимчасові таблиці дають лише одну гарантію - вони видаляються в кінці сеансу. Для невеликої таблиці ви, ймовірно, будете мати більшість своїх даних у резервному сховищі. Для великої таблиці я гарантую, що дані будуть періодично видалятися на диск, оскільки механізм бази даних потребує більше робочого місця для інших запитів.

РЕДАГУВАТИ: Якщо вам конче потрібні тимчасові таблиці лише для оперативної пам'яті, ви можете створити табличний простір для вашої бази даних на диску оперативної пам'яті (/ dev / shm працює). Це зменшує кількість вводу-виводу на диск, але пам’ятайте, що наразі це неможливо зробити без фізичного запису на диск; при створенні тимчасової таблиці механізм БД переведе список таблиць до стабільного сховища.