Шляхи пришвидшити сценарії Python, що працюють як інструменти ArcGIS [закрито]

Це досить загальне питання. Мені просто цікаво, які поради та підказки програмісти ГІС використали для прискорення скриптів для архпій, які ви імпортуєте в панель інструментів і запускаєте.

Я щодня працюю над написанням невеликих сценаріїв, щоб допомогти користувачам, які не є ГІС, в моєму офісі обробляти дані ГІС. Я виявив, що загалом обробка ArcGIS 10.0 проходить повільніше, ніж 9.3.1, а іноді вона стає ще повільнішою під час запуску сценарію python.

Я перерахую конкретний приклад сценарію, який займає 24 години. Це цикл, який відображає таблицю області растра в буфері для кожної форми в буфері. Буфер має близько 7000 форм. Я не вірю, що це має тривати так довго. А

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Перш ніж хтось скаже це, я запустив табличну область у всьому буфері, але він створює помилки, якщо запускається на більш ніж 1 записі. Це недосконалий інструмент, але я мушу його використовувати.

У будь-якому разі, якщо у когось є ідеї щодо оптимізації або прискорення цього сценарію, це було б дуже вдячно. В іншому випадку, у вас є які-небудь прискорення хитрощів для python при використанні в ArcGIS?

Кілька потенційних пропозицій, які допоможуть прискорити ваш процес:

1. Вибір шару за атрибутами може бути в сценарії, призначеному лише для Python, не запускаючи ArcGIS Desktop. Вам потрібно перетворити посилання "buff" з файлової посилання на посилання "рівень ArcGIS", на яке ArcGIS може обробляти запити вибору. Використовуйте arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") над циклом "while", а потім змініть свої посилання нижче циклу while, щоб використовувати "buff_lyr".

2. Обробіть якомога більше своїх операцій GP, використовуючи робочу область in_memory, наскільки це можливо ... Використовуйте arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") для переміщення джерела в пам'ять. Це добре працює лише в тому випадку, якщо у вас є достатня кількість оперативної пам’яті, щоб прочитати в пам'яті всі необхідні класи. Однак остерігайтеся, що існують деякі операції GP, які не можуть запускатися, використовуючи робочу область in_memory (наприклад: інструмент Project).

З онлайн-довідкової статті ArcGIS 9.3 " Проміжні дані та робоча область нуля " (зауважте, ця мова була видалена з довідки 10.0 та 10.1):

ПРИМІТКА. У робочу область in_memory можна записувати лише таблиці та класи функцій (точки, лінії, багатокутники). Робоча область in_memory не підтримує розширені елементи бази даних геоданих, такі як підтипи, домени, уявлення, топології, геометричні мережі та набори даних мережі. Можна записувати лише прості функції та таблиці.

З онлайн-довідкової статті ArcGIS 10.1 " Використання робочої області в пам'яті ":

При вирішенні запису виводу в робочу область пам'яті слід враховувати наступні міркування:

• Дані, записані в робочу область пам’яті, є тимчасовими і видаляються, коли програма закривається.
• Таблиці, класи функцій та растри можна записувати в робочу область пам'яті.
• Робоча область в пам'яті не підтримує розширені елементи бази даних геоданих, такі як підтипи, домени, уявлення, топології, геометричні мережі та набори мереж даних.
• Набори даних або папок функцій не можна створити в робочій області пам'яті.

Загальні методи оптимізації пітона можуть заощадити значну кількість часу.

Одним із дійсно хороших методик визначення місця розташування у вашому сценарії є використання вбудованого модуля cProfile:

from cProfile import run
run("code") # replace code with your code or function

Тестування за допомогою невеликої вибірки даних дозволить вам точно визначити, які виклики функцій займають найбільше часу.

Загальні покажчики на швидший пітон код:

• Розуміння списків, як правило, швидше, ніж циклічне
• Генератори виробляють один предмет одночасно, а не виробляють весь список відразу
• Використовуйте xrange замість діапазону в python 2 (не потрібно в 3)
• Набори можуть виводити списки заздалегідь заздалегідь, коли йдеться про визначення того, який елемент присутній у наборі, але, як правило, повільніше, ніж списки, якщо мова йде про повторення над їх вмістом Джерело
• Виклики функцій можуть бути дорогими для джерела продуктивності
• Більше порад та деталей дивіться тут Підказки щодо ефективності Python та тут 10 Порад та проблеми оптимізації Python.

Що стосується вашого сценарію, я не можу коментувати аспекти ArcPy, оскільки у мене на цьому комп’ютері не встановлена ​​дуга, але ви, можливо, захочете спробувати використовувати цикл замість циклу часу, щоб побачити, чи це щось покращує. Також x = x + 1 можна записати як x + = 1:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Переконайтеся, що ви пишете на внутрішній диск на комп’ютері. Досягнення по всій мережі, коли це не потрібно, може дійсно уповільнити обробку. Можна навіть швидше скопіювати дані, як перший крок у процесі, щоб зберегти наступне читання-запис якомога швидше

Запуск сценарію повністю поза ArcMap може бути набагато швидшим. Якщо під час обробки карта не потрібна, не використовуйте ArcMap.

Це може не відповісти на ваше запитання щодо запуску інструментів ArcPy всередині ArcMap, але коли мені потрібно зробити деяку м'ясну обробку за допомогою інструментів геообробки та Python, я схильний запускати її за межами системи GIS за допомогою IDE PyScripter . Я виявив, що це працює швидше. Я також застосував RAMDISK для невеликих тимчасових наборів даних (трохи схожий на робочу область in_memory )

Ну, це мої головні поради! :)

Спробуйте коментувати arcpy.SetProgressorLabel і подивіться, наскільки ви прискорите. Я виявив, що будь-який вихід із екрана, повертаючись до DOS запаморочення, різко уповільнює час обробки. Якщо вам дійсно потрібно побачити цей вихід, спробуйте показати його кожен N-й цикл.

Переконайтеся, що ви видалили будь-які import xxxxрядки, які не використовуються.

(наприклад, якщо ви ще не використовуєте жодних математичних функцій import Math, це потребує певного часу від завантаження сценарію)

Хоча це не матиме великого впливу на окремі сценарії, які виконуються (такі як ваш), це вплине на будь-які сценарії, які виконуються часто і повторювано.