Сравнение систем одной и трех матриц Введение

Сравнение систем одной и трех матриц
Введение
Фотоэлементы матриц сами по себе не способны различать цвета, ведь разница в длинах
волн падающих на них фотонов воспринимается лишь как разница в энергиях и не может
учитываться при накоплении зарядов в фотосайтах. Таким образом, считывая заряд с
фотосайтов, мы можем получить только монохромное изображение, то есть только градации
яркости. Поэтому для цветной съемки применяются специальные технические решения.
Можно, например, расщеплять свет после объектива (при помощи системы
цветоделительных зеркал или призм) на три области — красную, зеленую и синюю — и
подавать на три отдельных монохромных сенсора, что применяется в трехматричных (3CCD)
фото- и видеокамерах. Подобный подход обеспечивает отличную разрешающую способность
и цветопередачу, причем без увеличения времени получения изображения. Удешевить
предыдущий подход позволило бы использование одной матрицы с тремя заменяемыми
светофильтрами (красным, зеленым и синим), однако последовательное экспонирование
сенсора через барабан со светофильтрами потребовало бы в три раза больше времени.
Поэтому в настоящее время чаще всего светофильтры устанавливаются перед каждым
фотосайтом матрицы. Если в сенсоре применяются микролинзы, которые служат для
дополнительной фокусировки света на фотосайте с целью повышения чувствительности, то
светофильтры размещаются между микролинзой и ячейкой. Причем распределение таких
светофильтров по поверхности сенсора и соответственно алгоритм получения изображения
могут быть разными.
Байеровская матрица
Наиболее популярным массивом цветных фильтров сегодня является байеровский RGBGфильтр
Как формируется изображение с такой матрицы? Для этого пронумеруем ячейки фрагмента
байеровской матрицы и посмотрим как формируются цвета у каждой точки выходного
изображения
1
2
3
4
5
6
7
8
9
1
0
1
1 1
1
1 2
2
9
2 0
2
1
3
2
1
4
2
1
5
2
1
6
2
1
2
9
2
3
0
3
3
1
4
3
2
1
7
2
8
2
6
5
7
8
Яркость пиксела выходного изображения определяется по зеленому, а цвет пиксела (RGBзначение) получаем в результате интерполяции — усреднения по нескольким близко
расположенным ячейкам одного цвета(на рисунке показано какие ячейки матрицы
учавствуют в формировании цвета каждого пиксела).
1
2
1+2+9
+10
2+3+
10+11
7
3+4+1
1+12
4+5+1
2+13
5+6+1
3+14
6+7+1
4+15
7+8+1
5+16
9+10+
17+18
17+18
+25+
26
23+24
+31+
32
15
21
Конечно, из-за того, что цвет итогового пиксела изображения размывается по нескольким
соседним ячейкам, мы теряем и в цветопередаче, и в разрешении. Например, резкие контуры
(цветовые переходы) размываются, мелкие детали (сравнимые по размеру с шириной
интерполяции) теряются, а на изображении может появиться муар.
В связи с этим современные цифровые камеры байеровского типа могут давать дефект
изображения, который называется Blooming (расплывание). Он появляется, когда
изображение имеет сильную локальную контрастность, то есть когда светлый объект
находится по соседству с темным. Если вы увеличите эти области фотографии, то
обнаружите, что пикселы на их границе имеют очень странные цвета. Дело в том, что
алгоритмы обработки изображения просто не могут разобраться в цвете на границе
контрастных областей, ведь при интерполяции они переходят на соседнюю область, что дает
неправильные яркость и тон.
Можно сказать, что картинка полученная с матрицы Байера с числом пикселей под формат
записи имеет количество информации близкое к изображению в представлении 4:2:0
Тест для байеровской матрицы
Проведем следующий тест на цветовое
разрешение: на зеленом фоне шириной 3м
разместим тонкую красную веревочку
толщиной 1,5 мм. Снимая фон на камеру
с одной матрицей 1920*1080 эффективных
пикселов и записью без потерь получим, что
один столбец матрицы захватывает
пространство шириной 3м/1920= 1,56мм,
т.е. наша камера должна увидеть красную
веревочку. Посмотрим, что происходит в этот
момент на матрице:
1
9
1
7
2
5
2
1
0
1
8
2
6
3
1
1
9
2
7
4
1
2
0
2
8
5
1
3
2
1
2
9
6
1
4
2
2
3
0
7
1
5
2
3
1
8
1
6
2
4
3
2
1
9
1
7
2
5
2
1
0
1
8
2
6
3
1
1
9
2
7
4
1
2
0
2
8
5
1
3
2
1
2
9
6
1
4
2
2
3
0
7
1
5
2
3
1
8
1
6
2
4
3
2
Когда веревочка попадает на столбцы без красных ячеек, то матрица ее не видит и на
выходном изображении чистый зеленый фон. Когда веревочка попадает на столбцы с
красными и зелеными ячейками, то матрица ее видит, но как мы видим точки выходного
изображения формируются такими: 3+4+11+12=желтый (т.к. ячейка 3 захватила зеленый
фон) , 4+5+12+13=желтый, 11+12+19+20=желтый, 12+13+20+21=желтый и т.д. вниз по
столбцу. Как видим в этом случае веревочка формирует желтый столбец толщиной в 2
пикселя выходного изображения. Итак, мы получили, что либо веревочка не видна, либо
видна с толщиной в 2 пикселя, а при ее движении в кадре(т.е. изображение веревочки
скользит по матрице) получим, что она то появляется, то пропадает, т.е. мерцающий объект. В
реальных условиях съемки таких мелких цветных предметов и их сочетаний с разным фоном
может быть много, из-за чего картинка может пестреть муаром или давать цветной шум.
Система трех матриц
Как известно в системе трех матриц изображение с помощью оптической системы делится на
составные части по трем основным цветам, т.е. это красная, зеленая и синяя составляющая
исходной картинки. Далее каждая составляющая направляется оптической системой к своей
матрице, каждая матрица регистрирует свой цвет непрерывно по всей площади исходного
изображения, а в результате сложения сигналов с матриц мы получаем картинку, полученную
регистрацией полного цвета в каждой точке исходного изображения (т.е. нет таких участков
исходного изображения, где один из цветов не учитывался бы, как это происходит на матрице
Байера)
Тест для системы трех матриц
Проведем аналогичный тест на цветовое разрешение для системы трех матриц 1920*1080 на
камере записывающей сигнал без потерь.
R
G
B
Как видим «красная» матрица регистрирует веревочку непрерывно и при движении
последней в кадре она будет всегда видна, без пропаданий. Цвет веревочки на выходном
изображении будет отличен от красного и находиться в пределах от желтого до красного, т.к.
веревочка не закрывает точно столбец матрицы и «зеленая» матрица на этом столбце увидит
часть зеленого фона. Но усложним тест, взяв вместо веревочки красную нить толщиной 0,5
мм. Теперь нить в наших условиях проецируется на треть ширины столбца матрицы. Камера
ее увидит, но цвет нити будет желтым, она по прежнему будет видна при движении без
пропаданий.
Попытка приблизиться к трем матрицам
А что если использовать одну матрицу с фильтрами Байера, но с числом пикселей не под
формат записи, а больше в несколько раз, например в К раз, где К – например степень
двойки, начиная со второй (4,8,16...) Что это даст? Мы сможем для каждой точки выходного
изображения формировать цвет по 4 и более независимым пикселям матрицы, т.е. эта группа
пикселей формирует только один выходной пиксель и не участвует в формировании
соседних. Способ уйти от размытости в классической матрице Байера?
1
1
15
7
2
1
1
21
На рисунке показана подобная матрица с числом пикселей в 4 раза больше, чем точек в
выходном изображении (т.е. здесь К=4).
Что плохого сразу видно в этой системе: регистрация каждого цвета производится не в
каждой точке, т.е. нет непрерывной регистрации полного цвета в каждой точке исходного
изображения.
Тест для матрицы с увеличенным числом пикселей
Проведем предыдущий тест с участием нитки толщиной 0,5 мм на зеленом фоне 3м, считаем,
что камера записывает сигнал без потерь и имеет матрицу с числом пикселей 1920*1080*4 =
8,3Мп. Сейчас нитка проецируется на столбец шириной 2/3 ширины ячейки матрицы.
Когда нитка попадает на столбцы без красных ячеек, то матрица ее не видит и на выходном
изображении чистый зеленый фон. Когда нитка попадает на столбцы с красными и зелеными
ячейками, то матрица ее видит, но формирует выходное изображение нити шириной в 2
ячейки матрицы (т.к. точка формируется из 2*2 ячеек матрицы) и желтого цвета, поскольку
«зеленые» ячейки относящиеся к этим же пикселам регистрируют зеленый фон. Итак, мы
получили, что либо нитка не видна, либо видна с толщиной пиксела, а при ее движении в
кадре (т.е. изображение нитки скользит по матрице) получим, что она то появляется, то
пропадает, т.е. мерцающий объект. В реальных условиях съемки таких мелких цветных
предметов и их сочетаний с разным фоном может быть много, из-за чего картинка может
пестреть муаром, давать цветной шум или не регистрировать мелкие цветные детали – т.е.
иметь цветовое разрешение ниже системы трех матриц.
Вывод
Система трех матриц обеспечивает регистрацию полного цвета в каждой точке исходного
изображения, что дает малый уровень цветного шума, артефактов, муара. Матрица Байера с
увеличенным в К раз числом пикселей чем необходимо выходному изображению лишь
приближается к системе трех матриц, при этом выдавая цветной шум, артефакты и муар, а
так же проигрывая по цветовой четкости. Если принять за А – цветовую четкость системы
трех матриц, за В - цветовую четкость матрицы Байера с увеличенным в К раз числом
пикселей, то верен предел: В->А при К->бесконечности. Т.е. для достижения одной матрицей
цветовой четкости трех матриц она должна обладать очень большим количеством пикселей,
что отразится на чувствительности и увеличит количество шума.