Запитання з тегом «big-data»

У мене є код Python, який призначений приймати точкові файли через наступний робочий процес: Злиття очок Інтегруйте точки, так що будь-які точки, що знаходяться на відстані 1 м одна від одної, стають однією точкою Створіть шар Feature, де вибираються точки з z <10 Буферні очки Полігон до растрової дозволу 1 …

34 arcpy  geoprocessing  big-data 

Мені потрібно імпортувати великі Shapefiles (> 1 мільйон записів) у PostGIS, і мені було цікаво, як найкраще це зробити. У своєму питанні я спеціально використовував слово "хак", а не інструмент, тому що я думаю, це не стільки питання того, який інструмент, а який набір кроків чи налаштування конфігурації. Поки я …

21 postgis  database  big-data 

Мені цікаво дізнатися, як використовувати масиви NumPy для оптимізації геообробки. Значна частина моєї роботи пов'язана з "великими даними", де геопроцедура часто займає кілька днів для виконання певних завдань. Потрібно сказати, що я дуже зацікавлений в оптимізації цих процедур. ArcGIS 10.1 має ряд функцій NumPy, до яких можна отримати доступ через …

16 arcgis-desktop  python  arcpy  numpy  big-data 

Мене цікавлять методи навчання, щоб використовувати повну міру багатоядерної потужності обробки, наявної на настільному комп’ютері. Arc стверджує, що геопроцесоризація фону дозволяє користувачеві використовувати декілька ядер, однак завдання, по суті, повинні зачекати в черзі, щоб виконати попереднє завдання. Хто-небудь розробляв паралельні чи багатопотокові методи геообробки в Arc / Python? Чи існують …

12 python  arcpy  parallel-processing  big-data 

Я намагаюся вирізати великий ECW (деталі нижче), але растровий файл занадто великий, щоб його цілком обробляти. Деякі деталі ECW нижче Драйвер: стислі вейвлети ECW / ERDAS (SDK 5.0) розмір файлу: 50gb Розмір 450000, 565081 Розмір пікселів: 0,15 0,15 COLORSPACE = RGB COMPRESSION_RATE_TARGET = 9 ВЕРСІЯ = 2 Кількість діапазонів: 4 …

9 raster  gdal  clip  ecw  big-data