У нас є жорсткий диск, який становить 600 Gigs і майже повний. Він був заповнений 18 501 765 файлами (в основному невеликими 19-тисячними зображеннями) та 7,142,132 папками. Дуже важко з’ясувати, куди саме потрапив і весь простір. Наші регулярні процедури очищення не очищають достатньо місця, а значить, нам потрібно переглянути цей диск у цілому та визначити, що там знаходиться, а що можна перемістити чи видалити. Ми спробували декілька додатків, і поки що вони або підірвались, або просто побігли протягом дивовижної кількості часу.

Інформація про сервер

• Операційна система: Windows Server 2003
• Файлова система: NTFS

Рішення

Space ObServer зміг прочитати 18 501 765 файлів та 7,142,132 папок, не займаючи майже жодної пам'яті. Я впевнений, що це здебільшого пояснюється тим, що він використовує сервер SQL для зберігання всіх даних. Це, на жаль, найдорожчий з усіх продуктів по $ 259,95 за один сервер.

Спроби рішення

Під час мого дослідження я спробував кілька різних рішень як платних, так і безкоштовних. Я зберігав список продуктів, які я спробував нижче, для отримання інформації для всіх.

Безкоштовне програмне забезпечення

• JDiskReport - зупиняється на 10 мільйонів
• WinDirStat - зупиняється на 10 мільйонів
• SpaceMonger - Пропуск через згадування пам’яті оперативної пам’яті
• SpaceSniffer - Зупиняється на невідомому - аварії

Оплатити програмне забезпечення

• FolderS veličine - зупиняється на 12 мільйонах (3 мільйони папок)
• TreeSize Professional - Пропуск через згадування пам’яті оперативної пам’яті

Оновлення

Оновлення №1 : Сервер, який я намагаюся проаналізувати, має 2 Гб оперативної пам’яті, а більшість продуктів, які я намагаюся, намагаються зберегти інформацію про файл / папку в пам’яті. Це, як правило, занадто швидко закінчується з 18 501 765 файлами та 7,142,132 папками.

Оновлення №2 : Схоже, розробники WinDirStat залучилися достатньо, щоб сказати нам, що він може компілюватись під 64-бітною версією. Це дає йому більше пам'яті для роботи, але я не впевнений, чи цього буде достатньо, якщо вони не зможуть зберігати диск.

Якщо ваша ОС - це Windows ...

У будь-якому випадку ви нарізаєте його, табуляція мільйонів файлів завжди займе багато часу і обмежуватиметься введенням / виведенням самого диска. Я рекомендую TreeSize Professional . А може і SpaceObServer . Ви можете спробувати також безкоштовну версію TreeSize.

Однозначно спробуйте WinDirStat : він дає фантастичну візуалізацію використання диска, зображаючи кожен файл у вигляді прямокутника, намальованого масштабом, кольором, кодованим за типом файлу. Клацніть будь-який елемент візуалізації, і ви побачите його в дереві каталогів.

Стандартна 32-бітна збірка обмежена 10 мільйонами файлів та використанням 2 Гб оперативної пам’яті, але вихідний код буде успішно створений як 64-бітний додаток. Той факт, що на розглянутому сервері є лише 2 ГБ оперативної пам’яті, може бути проблематичним у цьому конкретному випадку, але більшість серверів з такою великою кількістю файлів матиме набагато більше оперативної пам’яті.

Редагувати №1: Я шкодую, що виявив, що під час тестування на томі 4 ТБ, що містить мільйони файлів, WinDirStat Portable розбився після індексації близько 6,5 мільйонів файлів. Це може не спрацювати з оригінальним запитанням, якщо накопичувач містить 6+ мільйонів файлів.

Редагувати №2: Повна версія WinDirStat вибиває з 10 мільйонів файлів та 1,9 ГБ

Редагування №3: Я зв’язався з розробниками WinDirStat і: (1) вони погоджуються, що це було викликано обмеженнями використання пам'яті архітектури x86, і (2) відзначив, що вона може бути складена як 64-бітна без помилок. Більше скоро.

Редагування №4: Тест 64-бітної збірки WinDirStat був успішним. За 44 хвилини він індексував 11,4 мільйона файлів і спожив 2,7 ГБ оперативної пам’яті.

Я регулярно використовую FolderSize на декількох 1 ТБ дисках з кількома мільйонами файлів без проблем.

+1 для продуктів TreeSize, але ...

Ваше речення про "недостатнє прибирання місця" змушує мене замислитися: Чи могли б у вас закінчитися зарезервованого місця для NTFS MFT? Якщо файлова система захоплює більше MFT-простору, ніж спочатку виділяється, вона не повертається до звичайної файлової області та не відображається в операціях дефрагментації.

http://support.microsoft.com/kb/174619

"Томи з невеликою кількістю відносно великих файлів спочатку вичерпують незарезервований простір, тоді як томи з великою кількістю відносно невеликих файлів спочатку вичерпують простір зони MFT. У будь-якому випадку фрагментація MFT починає відбуватися, коли одна область або Якщо незарезервований простір стає заповненим, з MFT-зони, що конкурує з MFT, починає виділятися простір для файлів і каталогів користувачів, які конкурують з MFT для розподілу. Якщо зона MFT стає повною, місце для нових записів MFT виділяється з залишку диск, знову конкуруючи з іншими файлами. "

1. cd \
2. dir / s> out.txt
3. пуф! Магія буває; або з'являється хакер з перла
4. Результати!

Серйозно. Я зробив це з 5 або 6 мільйонами файлів; не впевнений, що саме ви шукаєте, але хороша мова сценаріїв з'їсть це.

Я зазвичай не користувач Windows, але я знаю про існування Cygwin. :-)

Якщо це працює досить добре, щось подібне

du -m /your/path | sort -nr | head -n 50

чи, можливо, у Сігвіна

du C:\ | sort -nr | head -n 50

У будь-якому разі, вони повинні надрукувати 50 найбільших каталогів (розміри в мегабайт).

Я знайшов кілька проблем зі Spacemonger і шукаючи утиліту, яку я міг легко перенести або запустити з USB-накопичувача - Space Sniffer виявився дуже універсальним у цьому відношенні, і обробляв багатотерапевтичні томи легко.

du -s можна використовувати в крайньому випадку і працюватиме стільки, скільки потрібно.

У Windows я використовую SpaceMonger (або старішу безкоштовну версію ). На OSX я використовую Disk Inventory X .

Погляньте на GetFoldersize

Згортаючи таблицю mft, я маю на увазі, що jkdefrag, оригінальна версія відкритого коду, дав дуже точний вигляд диска, включаючи різне забарвлення для областей mft. Я думаю, що я раніше використовував це для визначення великого розміру mft та фрагментації.

Також не піклується про chdsk.

Ви можете спробувати це?

http://www.freshney.org/xinorbis/

Ще один потенційний варіант

Я використовував Disk Usage Analyzer - Baobab в Linux, використовуючи функцію віддаленого сканування на сервері Windows. Я не знаю, що це за межі.

Fedora LiveCD містить Baobab. Завантажте його на будь-якому комп’ютері вашої локальної мережі.

Це все безкоштовно - як у пиві, так і в мовленні. Також для комерційного використання.