ми хотіли б розмістити результати запиту Hive у файл CSV. Я вважав, що команда повинна виглядати так:
insert overwrite directory '/home/output.csv' select books from table;
Коли я запускаю його, він повідомляє, що він завершився успішно, але я ніколи не можу знайти файл. Як мені знайти цей файл чи я повинен витягувати дані іншим способом?
Відповіді:
Незважаючи на те, що це можна використовувати INSERT OVERWRITEдля виведення даних з вулика, це може бути не найкращим методом для вашого конкретного випадку. Спочатку дозвольте пояснити, що INSERT OVERWRITEце робить, потім я опишу метод, який я використовую для отримання файлів tsv з таблиць Hive.
Згідно з посібником , ваш запит зберігатиме дані у каталозі у HDFS. Формат не буде CSV.
Дані, записані у файлову систему, серіалізуються як текст із стовпцями, розділеними ^ A, та рядками, розділеними новими рядками. Якщо будь-який із стовпців не має примітивний тип, тоді ці стовпці серіалізуються у форматі JSON.
Невелике внесення змін (додавання LOCALключового слова) збереже дані в локальному каталозі.
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp' select books from table;
Коли я запускаю подібний запит, ось як виглядає результат.
[lvermeer@hadoop temp]$ ll
total 4
-rwxr-xr-x 1 lvermeer users 811 Aug 9 09:21 000000_0
[lvermeer@hadoop temp]$ head 000000_0
"row1""col1"1234"col3"1234FALSE
"row2""col1"5678"col3"5678TRUE
Особисто я зазвичай запускаю свій запит безпосередньо через Hive в командному рядку для такого роду речей і передаю його в локальний файл так:
hive -e 'select books from table' > /home/lvermeer/temp.tsv
Це дає мені файл, відокремлений табуляцією, який я можу використовувати. Сподіваюся, це корисно і вам.
Виходячи з цього патча-3682 , я підозрюю, що при використанні Hive 0.11 доступне краще рішення, але я не можу перевірити це сам. Новий синтаксис повинен дозволити наступне.
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
select books from table;
Сподіваюся, що це допомагає.
Якщо вам потрібен файл CSV, тоді ви можете змінити рішення Лукаса наступним чином (припускаючи, що ви перебуваєте у вікні Linux):
hive -e 'select books from table' | sed 's/[[:space:]]\+/,/g' > /home/lvermeer/temp.csv
Вам слід використовувати оператор CREATE TABLE AS SELECT (CTAS), щоб створити каталог у HDFS з файлами, що містять результати запиту. Після цього вам доведеться експортувати ці файли з HDFS на ваш звичайний диск і об'єднати їх в один файл.
Можливо, вам доведеться виконати деякі хитрощі, щоб перетворити файли з \ \ 001 з роздільником у CSV. Ви можете використовувати власний CSV SerDe або обробити витягнутий файл.
Ви можете використовувати INSERT…… DIRECTORY, як у цьому прикладі:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
OVERWRITEі LOCALмають такі ж інтерпретації, як і раніше, і шляхи інтерпретуються відповідно до звичайних правил. Буде записано один або кілька файлів /tmp/ca_employees, залежно від кількості викликаних редукторів.
Я шукав подібне рішення, але згадані тут не спрацюють. У моїх даних були всі варіанти пробілів (пробіл, новий рядок, вкладка), символи та коми.
Щоб зробити дані стовпців tsv безпечними, я замінив усі символи \ t у даних стовпця пробілом і виконав команду python у командному рядку для створення CSV-файлу, як показано нижче:
hive -e 'tab_replaced_hql_query' | python -c 'exec("import sys;import csv;reader = csv.reader(sys.stdin, dialect=csv.excel_tab);writer = csv.writer(sys.stdout, dialect=csv.excel)\nfor row in reader: writer.writerow(row)")'
Це створило цілком дійсний CSV. Сподіваюся, це допоможе тим, хто прийде шукати це рішення.
Ви можете використовувати функцію рядка вулика CONCAT_WS( string delimiter, string str1, string str2...strn )
наприклад:
hive -e 'select CONCAT_WS(',',cola,colb,colc...,coln) from Mytable' > /home/user/Mycsv.csv
Це найбільш зручний для CSV спосіб, який я знайшов для виведення результатів HiveQL.
Вам не потрібні команди grep або sed для форматування даних, натомість вулик їх підтримує, потрібно лише додати додатковий тег outputformat.
hive --outputformat=csv2 -e 'select * from <table_name> limit 20' > /path/toStore/data/results.csv
У мене була подібна проблема, і ось як я міг її вирішити.
Крок 1 - Завантажено дані з таблиці Hive в іншу таблицю наступним чином
DROP TABLE IF EXISTS TestHiveTableCSV;
CREATE TABLE TestHiveTableCSV
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' AS
SELECT Column List FROM TestHiveTable;
Крок 2 - Скопійовано крапку зі складу Вулля на нове місце з відповідним розширенням
Start-AzureStorageBlobCopy
-DestContext $destContext
-SrcContainer "Source Container"
-SrcBlob "hive/warehouse/TestHiveTableCSV/000000_0"
-DestContainer "Destination Container"
-DestBlob "CSV/TestHiveTable.csv"
hive --outputformat=csv2 -e "select * from yourtable" > my_file.csv
або
hive --outputformat=csv2 -e "select * from yourtable" > [your_path]/file_name.csv
Для tsv просто змініть csv на tsv у наведених вище запитах та запустіть свої запити
Якщо ви робите це з Windows, ви можете використовувати скрипт Python hivehoney для вилучення даних таблиці в локальний файл CSV.
Це буде:
Виконайте це так:
set PROXY_HOST=your_bastion_host
set SERVICE_USER=you_func_user
set LINUX_USER=your_SOID
set LINUX_PWD=your_pwd
python hh.py --query_file=query.sql
Просто, щоб охопити більше наступних кроків після запуску запиту:
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
select books from table;
У моєму випадку згенеровані дані у папці temp мають deflateформат, і це виглядає так:
$ ls
000000_0.deflate
000001_0.deflate
000002_0.deflate
000003_0.deflate
000004_0.deflate
000005_0.deflate
000006_0.deflate
000007_0.deflate
Ось команда для розпакування файлів дефляції та розміщення всього в одному файлі csv:
hadoop fs -text "file:///home/lvermeer/temp/*" > /home/lvermeer/result.csv
Я можу запізнитися з цим, але допоміг би відповісти:
echo "COL_NAME1 | COL_NAME2 | COL_NAME3 | COL_NAME4"> SAMPLE_Data.csv hive -e 'виберіть окремий конкат (COL_1, "|", COL_2, "|", COL_3, "|", COL_4) із таблиці_Name, де пункт, якщо потрібно;' >> SAMPLE_Data.csv
Ця команда оболонки друкує вихідний формат у CSV output.txtбез заголовків стовпців.
$ hive --outputformat=csv2 -f 'hivedatascript.hql' --hiveconf hive.cli.print.header=false > output.txt
Використовуйте команду:
hive -e "використовувати [ім'я_бази даних]; вибрати * з [ім'я_таблиці] ОБМЕЖЕННЯ 10;" > /path/to/file/my_file_name.csv
У мене був величезний набір даних , деталі якого я намагався організувати та визначити типи атак та кількість кожного типу. Приклад, який я використав на своїй практиці, яка працювала (і мала трохи більше деталей), виглядає приблизно так:
hive -e "use DataAnalysis;
select attack_cat,
case when attack_cat == 'Backdoor' then 'Backdoors'
when length(attack_cat) == 0 then 'Normal'
when attack_cat == 'Backdoors' then 'Backdoors'
when attack_cat == 'Fuzzers' then 'Fuzzers'
when attack_cat == 'Generic' then 'Generic'
when attack_cat == 'Reconnaissance' then 'Reconnaissance'
when attack_cat == 'Shellcode' then 'Shellcode'
when attack_cat == 'Worms' then 'Worms'
when attack_cat == 'Analysis' then 'Analysis'
when attack_cat == 'DoS' then 'DoS'
when attack_cat == 'Exploits' then 'Exploits'
when trim(attack_cat) == 'Fuzzers' then 'Fuzzers'
when trim(attack_cat) == 'Shellcode' then 'Shellcode'
when trim(attack_cat) == 'Reconnaissance' then 'Reconnaissance' end,
count(*) from actualattacks group by attack_cat;">/root/data/output/results2.csv