Спектрально-пространственная интерпретация

Суть

Post-hoc объяснения изображений обычно показывают, куда смотрит модель, с помощью пространственных тепловых карт либо указывают, какие каналы важны, с помощью глобальных оценок по каналам. Для мультиспектральных данных эти отдельные представления ограничены, потому что значимость канала часто пространственно локализована. В работе предложен Spectral-Spatial Interpretation (SSI) — метод полносеточной атрибуции по игрокам «позиция-канал» (g,c): для каждой пространственной позиции фиксируется наблюдаемый окружающий контекст, определяется условная игра по каналам в этой позиции и к этой локальной игре применяется значение Шепли, что даёт полную спектрально-пространственную матрицу атрибуции.

Результаты

На HLS Burn Scar SSI превосходит оценщик MC-Owen по сохраняемым метрикам атрибуции, используя лишь около 6% его бюджета оценки. На CUB-200, EuroSAT и HLS Burn Scar при базовых линиях по среднему по каналу и по нулю SSI достигает лучшего совместного AUC удаления и вставки по сравнению с dense, flat и rank-1 базовыми линиями, даёт наибольшие показатели спектральных попаданий и удаления каналов, а также лидирует по пространственной локализации на обоих размеченных наборах данных.

Зачем это знать

SSI даёт единую полную спектрально-пространственную матрицу атрибуции вместо отдельных тепловых карт или глобальных рейтингов каналов, что полезно для интерпретации моделей на мультиспектральных данных.