Я використовую ArcGIS 10.0 в Windows 7 64-розрядний з 4 Гб оперативної пам’яті.
У мене є кілька дуже великих таблиць у форматі CSV для імпорту в ArcGIS, всі вони мають близько 30 полів, що перевищує 5 мільйонів записів на таблицю (декілька мають подвійну кількість або більше) та розмір файлів до приблизно 5 ГБ. Я намагаюся імпортувати кожен із них у базу даних геоданих як окремі таблиці, щоб я, зрештою, міг зв’язати їх з класом функцій та проаналізувати результати у таблицях відповідно до їх розташування.
Проблема полягає в тому, що ArcGIS, здається, просто припинив імпорт записів у певний момент. Я використовую інструмент "Таблиця в таблицю" в розділі Перетворення> в базу даних геоданих, але в інструменті "Скопіювати рядки" є та сама проблема. Навіть якщо я просто додаю файл CSV безпосередньо до ArcGIS, не намагаючись спершу перетворити його в таблицю FGDB, проблема та сама. В одній з моїх таблиць є близько 11 мільйонів записів, а ArcGIS імпортує лише близько 10 мільйонів. ArcGIS не каже мені, що сталася якась помилка, інструмент просто закінчується так, ніби нічого поганого немає.
Я вже кілька разів спробував це, і кількість записів, які вносять його в таблицю FGDB, завжди однакове, і, здається, це не обмеження розміру файлу, про яке я коли-небудь чув (не квадрат 2 або 16). ArcGIS змогла імпортувати ще один CSV з приблизно 6 мільйонами записів, і всі записи пройшли (хоча з проблемами, які виникають у мене з більшою таблицею, менший теж є певним підозрою). Веб-сайт ESRI перераховує такі обмеження розміру у базі даних про геодані , і я далеко не потрапляю на жодне з них:
- Розмір бази даних геоданих: Без обмежень
- Розмір таблиці або класів функцій: 1 ТБ (за замовчуванням), 4 ГБ або 256 ТБ з ключовим словом
- Кількість функціональних класів та таблиць: 2,147,483,647
- Кількість полів у класах функцій або таблиці: 65,534
- Кількість рядків у класних характеристиках або таблиці: 2,147,483,647
- Довжина імені бази даних Geodatabase: кількість символів, яку дозволяє операційна система у папці
- Довжина назви класу чи таблиці: 160 символів
- Довжина назви поля: 64 символи
- Ширина текстового поля: 2,147,483,647
Все, що мені дійсно потрібно зробити для цих таблиць, - це додати пару полів, видалити пару інших та генерувати значення для нових полів (суми кількох існуючих полів). Я використовую ArcGIS для цього, тому що я знайомий з польовим калькулятором, і я знаю (або знав до цих пір), що він може обробляти таблиці, що складаються з мільйонів записів, тоді як більшість інших програм для настільних комп’ютерів у мене зручні (MS Access / Excel ) задихається від багатьох записів. Тому я готовий використовувати інший фрагмент програмного забезпечення для маніпулювання оригінальною таблицею, а потім експортувати (набагато меншу) отриману таблицю в ArcGIS. Дійсно, той факт, що у мене є ця проблема, і що ArcGIS не дає мені жодних помилок або попереджень про те, що проблема навіть виникає, змушує мене якомога більше обробляти ці дані поза ArcGIS.