Обработка мультиспектральных спутниковых
advertisement
ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН Обработка гиперспектральных спутниковых изображений при исследовании природных и антропогенных объектов О.И. Потатуркин, С.М. Борзов ИАиЭ СО РАН, г.Новосибирск Обработка мультиспектральных спутниковых изображений высокого пространственного разрешения Спектральные признаки Нормализованный вегетационный индекс NDVI NIR R NIR R Коротковолновый вегетационный индекс SWVI NIR MIR NIR MIR Нормализованный водный индекс NDWI G MIR G MIR Индекс стресса MIR MSI NIR Обобщённый индекс теней SGI B PC1 Обобщённый индекс оголённых почв BGI B PC3 105 , Покрытия дорог, крыши, открытые почвы где PC1 PC3 PC2 значения 1 3 главных компонент. 2 Обработка мультиспектральных спутниковых данных Определение главных компонент Вычисление главных компонент сводится к поиску ортогональных проекций в пространстве спектральных признаков с наибольшим среднеквадратичным расстоянием между точками (путем определения собственных значений ковариационной матрицы исходных данных). Вторая главная компонента PC2 Первая главная компонента PC1 Выборочная дисперсия данных вдоль первой координаты максимальна (первая главная компонента PC1); Выборочная дисперсия данных вдоль каждой следующей координаты максимальна при условии ортогональности предыдущим координатам (вторая главная компонента PC2 и т.п.). 3 Формирование гиперспектральных данных Y X 4 Формирование гиперспектральных данных Гиперспектральные (ГС) данные = 1 nm Y= 1 m X= 10 m Y X 5 Формирование гиперспектральных данных Срезы гиперкуба ГС данных 0.8 200 X (m) (mkm) 0 Y (m) 0.4 Y (m) Срез по . Монохромное изображение Срез по X. Набор спектров элементов поверхности вдоль линии, перпендикулярной направлению движения 6 Формирование гиперспектральных данных Влияние на регистрируемые данные атмосферы Основные вклады в излучение, регистрируемое приемником: 1 – освещение сцены прямым солнечным излучением, 2 – освещение сцены рассеянным излучением, 3 – освещение сцены отраженным излучением, 4 – излучение, отраженное от объектов сцены, 5 – рассеянное излучение от объектов вне поля зрения, 6 – рассеянное в атмосфере солнечное излучение 7 Спектральные характеристики различных объектов Влияние атмосферы на спектр регистрируемого излучения О2 Н2О Спектры отраженного излучения RGB композит ГС изображения (спектры отражения выделенных зон однотипной растительности) При увеличении дальности: - рост интенсивности в синей области (рассеяние в атмосфере). - снижение интенсивности в ИК области (поглощение кислорода и воды). Нормированные спектры отражения на разной дальности 8 Спектральные характеристики различных объектов Спектральный отклик растительности 1600 820 680 NDVI 833 833 680 1245 NDWI 864 864 1245 MSI Влияние пигментов листа: 1 – отсутствие пигментов, 2 – антоцианины (макс. поглощения 0.5 - 0.55мкм), 3 – хлорофилл (0.45,0.65 мкм), 4 – антоцианины и хлорофилл SRPI NDVI0.705 430 680 750 705 750 705 - соотношение пигментов - модернизированный NDVI 9 Спектральные характеристики различных объектов Определение положения красной границы поглощения а б Нормированные спектры отражения растительности в различном состоянии на одной дальности (а) и результаты их дифференциальной обработки по длине волны (б) REP – Red Edge Position – красная граница поглощения хлорофилла, определяется линейной экстраполяцией 1-й производной спектральной кривой (через точки 680 нм, 700 нм и 725 нм, 760 нм) 10 Классификация гиперспектральных изображений Тестовое изображение природной зоны Проект AVIRIS, полигон Индиан Пайс, штат Индиана, США, 12.06.92, размер 614х2677 пикселей, разрешение 20 м/пикс, 220 каналов в диапазоне 0.4-2.5 мкм, выполнено разбиение на 16 классов, в т.ч. 14 различных типов растительности. Обучающая выборка Фрагмент тестового изображения (145х145 пк) Разбиение на 16 классов по наземным данным Классы: кукуруза ( no-till, min-till, clear), соя ( no-till, min-till, clear), люцерна, пшеница, овес, покос, трава/пастбище, скошенное пастбище, трава/деревья, лес, стоянка транспорта, бетон/асфальт Тестовое изображение 11 Классификация гиперспектральных изображений Спектральная различимость кукурузы и сои Спектры отражения кукурузы и сои по обучающим данным (усреднение по пикселям соответствующих классов) 7000 6000 6000 5000 μ 5000 μ 4000 4000 corn_no soy_no 3000 3000 corn_min soy_min corn 2000 2000 soy 1000 1000 0 0 400 900 1400 Кукуруза 1900 2400 400 900 1400 1900 2400 Соя Межклассовый разброс параметров незначителен 1000 800 corn_no corn_min corn soy_no soy_min soy 600 400 200 0 400 900 1400 1900 2400 Существенный внутриклассовый разброс параметров 1.1 1.08 1.06 1.04 1.02 1 0.98 0.96 0.94 0.92 μ corn_no corn_min corn soy_min soy 400 900 1400 1900 2400 Кукуруза и соя (нормировка на “soy_no”) 12 Классификация гиперспектральных изображений Методы классификации изображений, учитывающие расстояние до центра распределения эталонного класса % Отражение MinDist – метод минимального расстояния 50 45 40 35 30 25 20 15 10 5 0 SAM (Spectral Angle Mapper) – метод спектрального угла x y 0 2 4 6 8 10 12 14 SID (Spectral Information Divergence) – метод непосредственного сравнения спектров (путем расчета дивергенции Кульбака-Лейблера) n x( ) n y( ) SID( x, y) x( ) log y( ) log y( ) 1 x ( ) 1 Длина волны (нм) 13 Классификация гиперспектральных изображений Методы классификации изображений, учитывающие распределение пикселей эталонного класса SVM (Support Vector Machine) – метод опорных векторов ML - классификация по максимальному правдоподобию Методы MahDist и ML требуют, чтобы при обучении количество пикселей каждого эталонного класса существенно превышало число спектральных каналов. MahDist - классификация по расстоянию Махаланобиса 14 (предполагает равенство распределений) Классификация гиперспектральных изображений Классификация обучающих данных MinDist – метод минимального расстояния, SAM – метод спектрального угла, SID – метод сравнения спектральных кривых (дивергенция), SVM – метод опорных векторов, MahDist – метод по расстоянию Махаланобиса, ML – метод максимального правдоподобия Фрагмент тестового Разбиение по изображения наземным данным MinDist SAM SID SVM MahDist ML Точность классификации (% верно классифицированных пикселей фрагмента) Точность, % Время обработки MinDist 37.9 3 сек SAM 43.0 2 сек SID 51.0 10 сек SVM 85.7 6 мин MahDist 79.2 15 сек ML 99.9 15 сек 15 Классификация гиперспектральных изображений Классификация тестового изображения Разбиение фрагмента (обучающей выборки) по наземным данным Результат классификации методом ML кукуруза ( no-till, min-till, clear), соя ( no-till, min-till, clear), люцерна, пшеница, овес, покос, трава/пастбище, скошенное пастбище, трава/деревья, лес, стоянка транспорта, бетон/асфальт 16 Классификация гиперспектральных изображений Эффективность выделения кукурузы на тестовом изображении (при слиянии подклассов) Prod. Accuracy (точность производителя) User Accuracy (точность пользователя) Время обработки Точность при обучении по фрагменту (%) SID 9.45 46.0 20 мин SVM 22.2 64.6 2 часа ML 36.0 61.1 22 мин MahDist 60.8 61.2 22 мин Классифицировано как кукуруза Кукуруза - верные решения - пропуск цели - ложная тревога Prod. Accuracy = User Accuracy = + + Результат выделения кукурузы методом ML – верно выделенные пиксели – невыделенные пиксели 17 Классификация гиперспектральных изображений Эффективность классификации фрагмента от количества ГС признаков метод SVM метод MahDist Различные способы сокращения количества признаков: Прореживание – выбор ГС признаков через заданный интервал, PCA – выбор заданного количества главных компонент, MNF – нормализация шума в спектральных каналах и выбор заданного количества главных компонент Убывание информативности MNF компонент фрагмента (1, 4, 8, 10 компоненты) 18 Классификация гиперспектральных изображений Эффективность выделения кукурузы на тестовом изображении (от количества ГС признаков ) а б Точность выделения кукурузы от количества ГС признаков, выбранных: а – прореживанием, б - методом MNF Количество каналов Prod. Accuracy User Accuracy Время обработки 5 45.0 60.8 8 мин SVM MahDist 200 5 200 5 10 10 47.8 14.0 31.6 60.8 69.0 69.6 72.3 60.1 60.0 61.2 55.4 66.8 6 сек 12 сек 34 мин 6 сек 10 мин 2 ч ML 10 71.7 60.1 12 сек 200 36.0 61.1 34 мин Сокращение количества признаков на основе MNF позволяет повысить эффективность процедуры на 10%, снизив ее трудоемкость на два порядка 19 Классификация гиперспектральных изображений Эффективность классификации тестового изображения (от количества ГС признаков) 40 60 35 50 40 25 SVM 20 MahDist 15 ML Точность, % Точность, % 30 SVM 30 MahDist 20 ML 10 10 5 0 0 0 50 100 150 200 0 50 Количество признаков 100 150 200 Количество признаков а б Точность классификации от количества признаков, выбранных методом MNF: а – по 12 классам (исключены из рассмотрения 4 малые региона в обучающих данных), б – по 8 классам (выполнено слияние трех подклассов кукурузы и трех – сои) Метод MahDist наиболее устойчив к изменению соотношения (основан на усредненной по классам ковариационной матрице) 20 Классификация гиперспектральных изображений Тестовое изображение городской застройки Национальная аллея, Вашингтон. Размер изображения 307х1208, 191 канал в диапазоне 0.4-2.4 мкм. 20000 18000 16000 14000 крыша, металл 12000 крыша, черепица 10000 крыша,битум 8000 6000 газон 4000 вода 2000 2473 2389 2301 2209 2113 2011 1780 1659 1530 1336 1190 1041 897 770 667 586 525 476 436 401 0 Спектры отражения различных поверхностей по обучающим данным 21 Классификация гиперспектральных изображений Карта классов фрагмента изображения городской застройки (с визуальным контролем) •Вода вода, газон, дорога, крыши, тень, лес, дорожка RGB-композит исходного изображения (каналы 20,40,60) Результат классификации ML по 5 PCA каналам (принято в качестве наземных данных) 22 Классификация гиперспектральных изображений Классификация изображения городской застройки Классификация MinDist по всем каналам (70.5%) Классификация SVM по всем каналам (84.0%) Классификация ML по 40 PCA каналам (81.9%) 23 Классификация гиперспектральных изображений 100 90 80 70 60 50 40 30 20 10 0 прореживание PCA MNF 0 20 40 60 100 90 80 70 60 50 40 30 20 10 0 прореживание PCA MNF 0 80 20 40 60 80 Количество признаков Количество признаков Классификация SVM Классификация MinDist Точность, % Точность, % Точность, % Эффективность классификации тестового изображения городской застройки (от количества ГС признаков) 100 90 80 70 60 50 40 30 20 10 0 прореживание PCA Классификация на основе MNF признаков малоэффективна из-за некорректной оценки шума каналов (в изображении с большим количеством перепадов яркости). MNF Выбор более 5-10 признаков нецелесообразен. 0 20 40 60 80 Количество признаков Классификация ML 24 Спектрально-пространственная классификация гиперспектральных изображений Включение пространственных признаков в процесс классификации ГС изображений Базовый метод ECHO (Extraction and Classification of Homogeneous Objects) реализуется в 2 этапа: - сцена сегментируется по ГС признакам на статистически однородные области, - рассчитываются средние (по пикселям) спектры сегментов и данные классифицируются путем сравнения с эталонными спектрами. Развитие метода ECHO привело к возникновению объектно-ориентированных методов спектрально-пространственной классификации изображений. Гиперспектральное изображение Попиксельная спектральная классификация Выбор маркеров Выбор класса голосованием Выделение однородных сегментов наращиванием Уточненная карта классов Один из методов спектрально-пространственной классификации 25 Выводы • Гиперспектральные изображения позволяют реализовать анализ тонкой структуры спектров пикселей и их классификацию, однако, это требует корректной калибровки ГС данных. • Повышение эффективности классификации гиперспектральных изображений основано на возможности формирования принципиально новых спектральных признаков, например, определения (с высокой точностью) положения красной границы полосы поглощения, которая характеризует различные состояния растительности. • Наилучшая эффективность классификации типов растительности достигается при применении методов, учитывающих распределения классов в пространстве признаков, что требует, однако, значительного объема данных для обучения. При этом метод Махаланобиса наиболее устойчив к изменению отношения количества пикселей обучающей выборки к количеству спектральных каналов. • При обработке ГС изображений целесообразно использовать небольшое количество признаков (5-10), выделенных методом главных компонент. Его применение позволило повысить эффективность классификации растительности на 10%, снизив трудоемкость на два порядка. • Совместная обработка гиперспектральных и пространственных признаков представляется перспективной, что обусловлено включением дополнительной информации о коррелированности близкорасположенных пикселей. При этом эффективность классификации ГС данных на конечном этапе в значительной степени зависит от качества предварительной сегментации изображений. 26 ИНСТИТУТ АВТОМАТИКИ И ЭЛЕКТРОМЕТРИИ СО РАН СПАСИБО ЗА ВНИМАНИЕ!
