Я все ще є новачком Hadoop, і цього разу я намагався обробити файл 106 Гб. Раніше я -copyFromLocalкопіював цей великий файл у свій Hadoop DFS, але оскільки файл великий, мені доведеться довго чекати, не маючи підказки про поточний статус копіювання.
Чи є якийсь спосіб показати поточний статус копіювання файлів за допомогою цієї команди?
Заздалегідь дякую, хлопці, за вашу допомогу!
Відповіді:
CopyFromLocalне має можливості відображати хід копіювання файлу. Крім того, ви можете відкрити іншу оболонку і запустити $ watch hadoop fs -ls <filenameyouarecopying>. Це відображатиме файл та його розмір раз на 2,0 секунди.
Можна також відстежувати хід читання локального файлу за допомогою pvкоманди та передавати вміст файлу в hdfs dfsstdin:
pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt
pvє таким заниженим інструментом ІМО. Робота тут ідеально.
Не схоже на те, що існує будь-яка детальна опція для будь-якої з команд копіювання (copyFromLocal, copyToLocal, get, put). Ваша найкраща ставка - це, мабуть, подивитися розмір файлу за його призначенням на HDFS, щоб оцінити його прогрес.