Запитання з тегом «parquet»

Характеристики паркету Apache: Самоописування Стовпчастий формат Незалежна від мови У порівнянні з Avro, послідовними файлами, RC-файлами тощо, я хочу переглянути формати. Я вже читав: як працює Impala з форматами файлів Hadoop , вона дає деяку інформацію про формати, але я хотів би знати, як здійснюється доступ до даних та зберігання …

136 file  hadoop  hdfs  avro  parquet 

Я планую використовувати один із форматів файлів hadoop для свого проекту, пов’язаного з hadoop. Я розумію, що паркет ефективний для запитів на основі стовпців, а avro для повного сканування або коли нам потрібні всі дані стовпців! Перш ніж продовжити і вибрати один із форматів файлів, я хочу зрозуміти, у чому …

91 hadoop  avro  parquet 

Обидва вони - стовпчасті (дискові) формати зберігання для використання в системах аналізу даних. Обидва вони інтегровані в Apache Arrow ( пакет pyarrow для python) і призначені відповідати Arrow як стовпчастий аналітичний рівень в пам'яті. Чим відрізняються обидва формати? Чи завжди вам слід віддавати перевагу перу під час роботи з пандами, …

89 python  pandas  parquet  feather  pyarrow 

Я провожу кілька тестів щодо форматів сховищ, доступних у Hive, і використовую Parquet та ORC як основні варіанти. Я включив ORC один раз із стисненням за замовчуванням і один раз із Snappy. Я прочитав багато документів, у яких зазначено, що паркет кращий за часом / простором у порівнянні з ORC, …

87 hadoop  hive  parquet  snappy  orc 

Як прочитати набір даних Parquet невеликого розміру в пам’яті Pandas DataFrame, не налаштовуючи кластерну обчислювальну інфраструктуру, таку як Hadoop чи Spark? Це лише помірний обсяг даних, які я хотів би прочитати в пам'яті за допомогою простого скрипта Python на ноутбуці. Дані не містяться на HDFS. Це або в локальній файловій …

81 python  pandas  parquet  blaze