Raster fark: görüntülerin aynı değerlere sahip olup olmadığı nasıl kontrol edilir?

Verilen iki tarama katmanının aynı içeriğe sahip olup olmadığını kontrol etmenin bir yolu var mı?

Kurumsal paylaşılan depolama hacmimizle ilgili bir sorunumuz var: Şimdi tam bir yedekleme yapmak 3 günden fazla sürüyor. Ön araştırma, alan tüketen en büyük suçlulardan birinin CCITT sıkıştırmasıyla gerçekten 1 bit katmanlar olarak depolanması gereken açma / kapama rasterleri olduğunu ortaya koyuyor.

Bu örnek görüntü şu anda 2 bit (3 olası değer) ve dosya sisteminde 11 MB, LZW sıkıştırılmış tiff olarak kaydedildi. 1bit'e dönüştürdükten (2 olası değer) ve CCITT Group 4 sıkıştırmasını uyguladıktan sonra, neredeyse tam bir büyüklükte bir tasarruf sırası olan 1,3 MB'ye indiriyoruz.

(Bu aslında çok iyi davranmış bir vatandaş, 32bit float olarak saklanan başkaları var!)

Bu harika bir haber! Ancak bunu uygulamak için neredeyse 7.000 görüntü var. Bunları sıkıştırmak için bir komut dosyası yazmak basittir:

for old_img in [list of images]:
    convert_to_1bit_and_compress(old_img)
    remove(old_img)
    replace_with_new(old_img, new_img)

... ancak hayati bir test eksik: Yeni sıkıştırılmış sürüm içerikle aynı mı?

  if raster_diff(old_img, new_img) == "Identical":
      remove(old_img)
      rename(new_img, old_img)

Görüntü-A'nın içeriğinin Görüntü-B içeriğiyle otomatik olarak aynı olduğunu (dis) kanıtlayabilen bir araç veya yöntem var mı?

ArcGIS 10.2 ve QGIS'e erişimim var, ancak üzerine yazmadan önce doğruluğu sağlamak için tüm bu görüntüleri manuel olarak inceleme ihtiyacını ortadan kaldırabilecek başka birçok şeye de açığım. Bu yanlışlıkla dönüştürün korkunç olabilir ve gerçekten bir görüntü üzerine yazılacağı vermedi o değerlere kapalı fazla / 'üzerinde daha var. Çoğu toplanması ve üretilmesi binlerce dolara mal oluyor.

güncelleme: En büyük suçlular bir tarafa 100.000 piksel kadar 32bit yüzer, bu yüzden ~ 30GB sıkıştırılmamış.

Rakiplerinizi numpy dizilerine dönüştürmeyi deneyin ve sonra aynı dizi ve öğelere array_equal ile sahip olup olmadıklarını kontrol edin . Eğer aynıysa, sonuç şöyle olmalıdır True:

ArcGIS:

import arcpy, numpy

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

r1 = arcpy.RasterToNumPyArray(raster1)
r2 = arcpy.RasterToNumPyArray(raster2)

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

GDAL:

import numpy
from osgeo import gdal        

raster1 = r'C:\path\to\raster.tif'
raster2 = r'C:\path\to\raster.tif'

ds1 = gdal.Open(raster1)
ds2 = gdal.Open(raster2)

r1 = numpy.array(ds1.ReadAsArray())
r2 = numpy.array(ds2.ReadAsArray())

d = numpy.array_equal(r1,r2)

if d == False:
    print "They differ"

else:
    print "They are the same"

Http://www.gdal.org/gdalcompare.html gdalcompare.py komut dosyasını deneyebilirsiniz . Komut dosyasının kaynak kodu http://trac.osgeo.org/gdal/browser/trunk/gdal/swig/python/scripts/gdalcompare.py adresindedir ve gereksiz bir python komut dosyası olduğundan kolayca kaldırılmalıdır Mevcut ihtiyaçlarınızı karşılamak için testler yapın ve yenilerini ekleyin. Komut dosyası, iki görüntü bandından görüntü verilerini bantlar halinde okuyarak piksel piksel karşılaştırma yapıyor gibi görünüyor ve bu muhtemelen oldukça hızlı ve tekrar kullanılabilir bir yöntemdir.

Her bir görüntü için raster özellik tablonuzu oluşturmanızı öneririm , o zaman tabloları karşılaştırabilirsiniz. Bu tam bir kontrol değildir (ikisi arasındaki farkı hesaplamak gibi), ancak görüntülerinizin aynı histogram değerleriyle farklı olma olasılığı çok küçüktür. Ayrıca, NoData'sız (tablodaki satır sayısından) benzersiz değerlerin sayısını verir. Toplam sayınız resim boyutundan küçükse, NoData piksellerine sahip olduğunuzu bilirsiniz.

Bulduğum en basit çözüm, rasterler hakkında bazı özet istatistikleri hesaplamak ve bunları karşılaştırmak. Genellikle değişikliklere karşı dayanıklı olan standart sapma ve ortalamaları kullanıyorum, ancak kasıtlı olarak verileri manipüle ederek onları kandırmak mümkün.

mean_obj = arcpy.GetRasterProperties(input_raster, 'MEAN')
mean = float(mean_obj.getOutput(0))
if round(mean, 4) != 0.2010:
    print("raster differs from expected mean.")

std_obj = arcpy.GetRasterProperties(input_raster, 'STD')
std = float(std_obj.getOutput(0))
if round(std, 4) != 0.0161:
    print("raster differs from expected standard deviation.")

En kolay yol, bir raster diğerinden çıkarmaktır, sonuç 0 ise, her iki görüntü de aynıdır. Ayrıca sonucu renklendirerek histogramı veya çizimi görebilirsiniz.