Теории и практики медиа искусства:

эстетические смыслы и перспективы развития

семинар, УрГУ, 21.05.2010

Практические аспекты
использования видеокамер и датчиков
для интерактивных систем

Д. С. Перевалов

Институт Математики и Механики УрО РАН

perevalovds@gmail.com
www.uralvision.blogspot.com
Интерактивные системы

Нас будут интересовать преимущественно

интерактивные системы типа
Камера + ТВ, а также Датчики + ТВ.
План
1. Камеры

2. Датчики

3. Алгоритмы анализа видео

4. Ультра-короткие игры

Доклад посвящен анализу некоторых способов ввода данных в

интерактивные системы.
В нем рассматриваются возможности, особенности, точность и
надежность работы usb-камер, активных и пассивных ИК-датчиков, а
также ультразвуковых дальномеров. Особое внимание будет уделено
объединению данных с разных датчиков, и вопросам конкретной
реализации.
Будут показаны примеры действующих систем.
1. Камеры
Виды видео-камер
В зависимости от способа передачи данных в компьютер:

- Аналоговые
- Веб-камеры (USB-камеры)
- Firewire
- Сетевые (IP-камеры)

Отдельный тип:
- Инфракрасные
Аналоговые

Исторически появились первыми,

сигнал передается в аналоговом сигнале (формат ТВ).

(+) передают данные на большие расстояния,

хотя и с помехами (100 м)
(+) легко монтируются, малые размеры

(-) для ввода сигнала в компьютер требуется специальная плата или "ТВ-
тюнер", они обычно потребляют много вычислительных ресурсов.
(-) "интерлейс", или черезстрочная развертка - очень затрудняет анализ
изображения, если есть движение.
(фактически идет 2 полукадра, каждый 50 раз/сек)
Веб-камеры (USB-камеры)

Появились в ~2000г.,
передают сигнал, сжатый
в JPEG через USB.

(+) легко подключаются к компьютеру и программному обеспечению

(+) дешевые, имеются в продаже

(-) Накладные расходы - надо разжимать JPEG, поэтому обычно не

хватает скорости процессора, чтобы обработать более 4-х камер.
(-) В дешевых моделях обычно плохая оптика и матрица (дает шум на
изображении)
- Из-за ограничений пропускной способности USB нельзя подключить
более 2-х камер к одному USB-хабу, но обычно на PC 2-3 USB хаба.
Firewire

Камеры, передающие сигнал

по протоколу FireWire,
обычно в пылевлагозащитном корпусе,
обычно это камеры для промышленного применения.

(+) передают несжатое видео в отличном качестве на большой скорости

(+) можно подключать несколько камер
(+) обычно имеют отличную оптику

(-) высокая цена

(-) требуют питания, что иногда осложняет подключение к портативным
компьютерам
Сетевые (IP-камеры)

Камеры, передающие данные по

сетевому (проводному или беспроводному)
каналу. Сейчас стремительно набирают
популярность во всех сферах.

(+) простое подключение к компьютеру

+ удобство монтажа
+ возможность передачи данных на неограниченное расстояние, что
позволяет конструировать сеть камер, охватывающих здание или район,
крепить на дирижабль и т.п.
+ возможность управления - вращать камеру, настраивать увеличение

(-) могут быть проблемы со скоростью отклика

- пока относительно высокая цена
- пока недостаточно портативны (2010 год)
Отдельный тип: Инфракрасные

Конструируется из обычной камеры

путем добавления ИК-фильтра
и, зачастую, ИК-подсветки.

+ ИК-лучи почти не видны человеку (в темноте видно как слабый красный

цвет), поэтому часто используют для упрощения анализа объектов в поле
зрения.

- бывает трудно найти камеру, которая видит только в ИК, так как
наиболее распространены камеры, которые видят и в ИК, и в видимом
диапазоне (такие камеры используются для систем охраны).
2. Датчики
Кнопки, потенциометры, слайдеры

http://www.djtechtools.com/wp-content/uploads/2008/11/nano-sliders.jpg

http://www.itsahit.com/rikard/Restorations/images/JP6/uncleanpcbpotsandall.jpg
ИК датчики движения

Активные
стоит излучатель и приемник.

acroname Sharp IR (в России пока не нашел) - меряет также расстояние.

Autonics BA2M-DDT - по типу реле, выдает бинарный сигнал если объект ближе
некоторого расстояния.

Проблемы - если объект черный, то могут не сработать так как они рассчитаны на то,
что объект отражает свет. Показатель расстояния зависит от цвета объекта.

Пассивные
Использутся в охранных системах.
Ультразвуковой датчик расстояния -
сонар
Maxbotix LV-MAXSONAR-EZ1

Компактный, недорогой, поэтому используется

энтузиастами-любителями, в частности, для
экспериментальной робототехники.
Проблемы для применения в интерактивных системах -
недостаточно точный, и не будет работать за стеклом.
Ввод данных с датчиков - Arduino

На снимке - клон Arduino - Freeduino 2009

Микроконтроллер: ATmega168 (ATmega328)
Цифровые порты ввода/вывода: 14 портов (из них 6 с ШИМ-сигналом)
Аналоговые порты ввода: 6 портов
ППЗУ (Flash Memory): 16 K (32 К), из них 2 К используются загрузчиком
ОЗУ (SRAM): 1 Кбайт (2 Кбайт)
ПЗУ (EEPROM): 512 байт (1024 байт)
Тактовая частота: 16 МГц
Интерфейс с ПК: USB
Питание от USB, либо от внешнего источника, выбор автоматически
Подключение сонара к аналоговому
входу Arduino
3. Алгоритмы анализа видео
Пороговая обработка
Пороговая обработка выделяет пикселы на основе значений их яркости.

Применение в интерактивных системах:

- использование пикселов
в качестве маски
для спецэффектов

- анализ выделенных пикселов

для обнаружения объектов,
и использование этого для
управления объектами в
интерактивной системе.
Детектор движения
Детектор движения на основе
видеокамеры обнаруживает области
на изображении,
в которых имеется движение некоторых
объектов.
Результат работы - набор пикселов,
в которых есть движение.

Использование:
- маска для спецэффектов

- если посчитать число пикселов в некоторой

области, можно понять, есть ли в ней
движение, и на основе этого управлять,
например, распусканием цветка.

Flowers, А.В. Марьянова,

матмех УрГУ, МТ-103
Оптический поток
Оптический поток (optical flow, optic flow) - это векторное поле явного движения
объектов, поверхностей и ребер в визуальной сцене, вызванное относительным
движением между наблюдателем (глазом, камерой) и сценой.

http://www.ultimategraphics.co.jp/jp/images/stories/ultimate/BCC/optical.jpg
Основные применения оптического
потока
1. Для определения направления, в котором движутся
объекты в кадре.

2. При производстве фильмов - для осуществления

плавного морфинга между последовательными кадрами,
либо между кадрами, снятыми соседними камерами
(наиболее характерно это использовано в фильме
"Матрица").

3. В стереозрении - для определения расстояния до

объекта.
Пример применения
Частицы на экране управляются оптическим потоком.

FunParticles, Ф. А. Корнилов,
ИММ УрО РАН
Поиск лиц

Методы типа Виолы-Джонса

позволяют находить лица на изображении.

(Нет распознавания мимики,

определение пола и т.п.,
это делают другие алгоритмы).

Применение:

???

(учет посетителей и т.п.

- в нашем контексте не очень интересно)
4. Ультра-короткие игры
Ультра-короткие игры
В публичных местах интерактивные системы можно
использовать как площадку для игр.

1) Если зрители ходят мимо, то длительности игры может

быть 10-30 сек.

2) Игры "бескасательные" - зрители могут ничего не

касаться во время игры, только двигаться.

3) Пользователь движениями рук, головы, тела влиять на

несколько участков виртуального мира одновременно.

Это накладывает интересные особенности на такой вид

игр.
Специфические особенности
Ограничение времени игры:
1) Цель у такой игры может быть, а может и не быть.

2) Какие могут быть цели: за короткое время нет времени

обучиться игре и помочь кому-то, можно успеть только помешать
кому-то или чему-то сделать свое дело.

Специфика управления с помощью движений тела:

3) Игровой мир может быть изолированным пространством
(как в обычных аркадных играх),
либо - может являться зеркалом, которое явно отражает или
копирует мир зрителя.

4) Может быть несколько игроков, число которых во время игры

может меняться.
Пример: MirrorFun

Кривое зеркало, которое искривляется от движений

зрителя.
Игра без цели, типа зеркала.
Эффект зеркала делается с помощью моделирования сетки, на которую затем "натягивается" изображения с камеры.

Сетка
http://www.youtube.com/watch?v=QX5TlIHXhd0
DigitalGerms, А.А. Белоконь, MultiDJ, М. Р. Музафаров,
МГКН-1 МТ-203

SunFlowers, Ф. А. Корнилов, Microsound

ИММ УрО РАН
Спасибо за внимание