Растрова різниця: як перевірити, чи мають зображення однакові значення?

Чи є засіб перевірити, чи є якісь два задані растрові шари однаковим вмістом ?

У нас є проблема з нашим корпоративним обсягом спільного зберігання: він зараз настільки великий, що потрібно повне резервне копіювання. Попереднє дослідження виявляє, що один з найбільших винуватців місця, що займає місце, є растрами вмикання / вимкнення, які дійсно повинні зберігатися як 1-бітні шари при стисненні CCITT.

На даний момент зразок зображення є 2-бітовим (тому 3 можливі значення) і зберігається як стислий тиф LZW, 11 Мб у файловій системі. Після перетворення на 1 біт (тобто 2 можливих значення) та застосування стиснення CCITT Group 4 ми зменшуємо його до 1,3 Мб, майже на повний порядок економії.

(Це насправді дуже добре поводиться громадянин, є й інші, які зберігаються як 32-бітний поплавок!)

Це фантастична новина! Однак є майже 7000 зображень, щоб застосувати і це. Було б просто написати сценарій для їх стиснення:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... але в ньому відсутня життєво важлива перевірка: чи збігається зміст новоспеченої версії?

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

Чи є інструмент чи метод, який дозволяє автоматично (не) довести, що вміст Image-A є значенням ідентичним змісту Image-B?

У мене є доступ до ArcGIS 10.2 та QGIS, але я також відкритий для більшості всього іншого, ніж може усунути необхідність перевіряти всі ці зображення вручну, щоб забезпечити правильність перед перезаписом. Було б жахливо помилково перетворити і перезаписати зображення , яке дійсно було мати більше , ніж на / від значень в ньому. Більшість коштує тисяч доларів, щоб зібрати та генерувати.

оновлення: Найбільшими правопорушниками є 32-бітові поплавці, що мають діапазон до 100 000 пікселів в сторону, тому ~ 30 ГБ не стискається.

Спробуйте перетворити ваші растри в нумеровані масиви, а потім перевірте, чи вони мають однакову форму та елементи з array_equal . Якщо вони однакові, результат повинен бути True:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

GDAL:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Ви можете спробувати скрипт gdalcompare.py http://www.gdal.org/gdalcompare.html . Вихідний код сценарію знаходиться на веб-сторінці http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.py, і оскільки це сценарій python, слід видалити непотрібне тести та додайте нові, щоб відповідати вашим поточним потребам. Сценарій, схоже, робить порівняння пікселів за пікселями, читаючи дані зображення з двох діапазонів зображень за діапазоном, і це, мабуть, досить швидкий і багаторазовий метод.

Я б запропонував вам створити свою таблицю атрибутів растру для кожного зображення, а потім можна порівняти таблиці. Це не повна перевірка (як, наприклад, обчислення різниці між ними), але ймовірність того, що ваші зображення відрізняються з однаковими значеннями гістограми, дуже мала. Також він дає вам кількість унікальних значень без NoData (від кількості рядків у таблиці). Якщо ваша загальна кількість менше розміру зображення, ви знаєте, що у вас є пікселі NoData.

Найпростіше рішення, яке я знайшов, - це обчислити деяку підсумкову статистику растру та порівняти їх. Зазвичай я використовую стандартне відхилення і середнє значення, які є надійними для більшості змін, хоча їх можна обдурити, навмисно маніпулюючи даними.

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

Найпростіший спосіб - відняти один растр від іншого, якщо результат дорівнює 0, то обидва зображення однакові. Також ви можете побачити гістограму або графік за кольором результату.