Основы визуального восприятия
advertisement
Лектор: Лукин Алексей Сергеевич Основы визуального восприятия План лекции Свет и цвет ► Восприятие цвета ► Цветовые системы Меры близости изображений ► PSNR, MSE ► Основы восприятия: фильтрация, CSF, маскировка ► Меры, учитывающие восприятие Свет и цвет Свет и его спектр 380–470 нм 500–560 нм 560–590 нм 590–760 нм – – – – фиолетовый, синий зеленый желтый, оранжевый красный Аналогия с «цветами» звуковых шумов Свет и цвет R I ( ) PR ( )d Восприятие цвета G I ( ) PG ( )d B I ( ) PB ( )d P (чувствительность колбочек глаза) G I R (интенсивность) I (λ) B 440 540 580 λ, нм (длина волны) λ Какой это цвет? Свет и цвет Цветовые системы ► RGB и дисплеи, гамма-коррекция ► Закон Вебера: чувство = log(стимул) ► Аддитивные (RGB) и субтрактивные (CMYK) системы RGB CMY Свет и цвет Цветовые системы ► HSV (Hue/Saturation/Value) ► Система YUV и прореживание хроматических компонент Свет и цвет Система YUV: разделение яркости и хроматических компонент Y 0.299R 0.587G 0.114B U 0.147R 0.289G 0.436B V 0.615R 0.515G 0.100B Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия Метрики близости Как измерить похожесть двух изображений? исходное изображение искаженное изображение Метрики близости Среднеквадратичная ошибка (MSE) 1 MSE N N (x y ) i 1 i 2 i N – число пикселей Пиковое отношение сигнал/шум (PSNR) M2 PSNRdB 10 lg MSE M – максимальное значение пикселя Метрики близости PSNR и MSE не учитывают особенности человеческого восприятия! Оригинал Далее будут использованы рисунки из статьи Wang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?” Метрики близости У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) Повышена контрастность Добавлен белый гауссов шум Метрики близости И у этих – тоже примерно 25 dB! Добавлен импульсный шум Размытие Метрики близости И у этого – тоже! Артефакт блочности после JPEG Метрики близости Вывод: PSNR не всегда отражает реальный видимый уровень искажений Как улучшить? ► HVS models (human visual system) ► ► Использовать функцию чувствительности глаза к различным частотам (CSF) Использовать свойство маскировки Использовать равномерные к восприятию цветовые пространства (CIE Lab, CIEDE2000) Метрики качества Contrast sensitivity function (CSF) ► Показывает чувствительность глаза к различным частотам Абсцисса – пространственная частота (колебаний / градус угла обзора) Маскировка Cortex Transform Разбиение плоскости частот ωy cortexk ,l ( , ) domk ( ) fanl ( ) θ ωx ρ gain = 1 gain = 0 Частотные характеристики нескольких кортекс-фильтров Watson “The Cortex Transform: Rapid Computation of Simulated Neural Images” (Computer Vision, Graphics, and Image Processing, 1987) Cortex Transform Разбиение плоскости частот ωy cortexk ,l ( , ) domk ( ) fanl ( ) θ ωx gain = 1 gain = 0 Частотные характеристики складываются ρ Cortex Transform Разбиение плоскости частот ωy cortexk ,l ( , ) domk ( ) fanl ( ) θ ωx gain = 1 gain = 0 Частотные характеристики складываются ρ Cortex Transform Пример кортекс-фильтра y x Импульсный отклик Cortex Transform Примеры кортекс-фильтров ωy y ωx АЧХ x Исходное изображение Cortex Transform Примеры кортекс-фильтров ωy y ωx АЧХ x Отфильтрованное изображение Cortex Transform Примеры кортекс-фильтров ωy y ωx АЧХ x Отфильтрованное изображение Cortex Transform Вычисление Bk ,l ( x, y) 1cortexk ,l ( x, y) I ( x, y) ►Φ и Φ-1 – вещественнозначные двумерные DFT, их можно вычислить через FFT ►Кортекс-фильтры обладают линейной фазой и пологими склонами АЧХ VDP Visual Differences Predictor* 1. Перевести оба изображения в однородное пространство яркостей 2. Вычислить их кортекс-преобразования 3. Вычислить повышение порога восприятия в результате маскировки 1b Threshold elevation Mask contrast s b k ,l T ( x, y) 1 k1 k2 mn ( x, y) k ,l e mnk ,l ( x, y) 1cortexk ,l ( x, y) csf ( x, y) I ( x, y) 4. Вычислить вероятность обнаружения артефактов * Daly “The visible differences predictor: An algorithm for the assessment of image fidelity” (Digital Image and Human Vision, 1993) Mantiuk, Daly, Muszkowsky, Seidel “Predicting visible differences in high dynamic range images – model and its calibration” (Human Vision and Electronic Imaging, 2005)
