Гаразд, тому я гадаю, що це неформальний запит / опитування щодо того, наскільки великі набори даних ви використовуєте у своїх ESRI світах ...
Я будую та підтримую загальнодержавний набір даних, де я повинен обробляти до рівня індивідуального будинку, не рівень посилки, але кілька поштових адрес на посилку для наших систем. У багатьох місцях я використовую теоретичні адреси, обчислені з даних вуличної мережі або даних USPS AMS / AIS. Тож мій список адрес становить приблизно 13,5 мільйонів адрес і зростає щомісяця або щоквартально.
Хтось там зараз підтримує живу систему адрес / правильно шукає інформацію, яка така велика в безперервному наборі даних?
Я хотів би співпрацювати або поговорити більше про те, як інші обробляють такий великий набір даних. Я бачу проблеми, коли програмне забезпечення ESRI, здається, розгорається, коли я намагаюся виконувати такі завдання, як перехрестя або просторове з'єднання. ESRI каже, що вони не бачать подібних проблем, але у мене виникли ці проблеми з 9.3.1, тому я не можу бути першою / єдиною особою, яка робить це, оскільки можу відтворити це на багатьох машинах.
Моєю платформою зараз є ESRI ArcGIS 10 на робочому столі, розмовляючи з ArcSDE 9.3.1-sp1 на бекенді SQL2008 за допомогою просторового об’єкта GEOMETRY. Тому я не роблю нічого по-справжньому екзотичного; але все ж мені здається, що в деяких районах я, можливо, штовхаю конверт.
[Далі]
Мені цікаво знати, що інші люди роблять для оптимізації процесів роботи з цими наборами даних. Я буду додавати слова мільйона записів щомісяця вперед, і хоча геокодування тощо не є проблемою, коли ви починаєте виконувати інші процеси та зв'язувати дані для подальшого аналізу, ви починаєте займатися складними приєднаннями. Ну, ви виводите дані з перетину / перекриттів / ідентифікацій за допомогою Only_FID, і ви отримуєте тонку середню таблицю, щоб також приєднатися; але коли ви починаєте намагатися розділити та підкорити створення цієї таблиці, ви починаєте стикатися з проблемами, де потрібно розділити вихідні дані на робочі області, але потім у вас повторюється IDS, що ви не можете злитися назад; тож вам залишаються менші блоки даних, які ви не зможете легко скласти знову цілими.
Роздумуючи над параметрами, які розбивають дані до масштабу округу за округом, а потім використовуйте просторові подання, щоб об’єднати їх назад і т. Д. Просто цікаво, якщо інші користувачі дивляться на такі ж проблеми в такому масштабі, але в малому сліди.