AR и VR

Что должна сделать сеть корейских супермаркетов, чтобы заманить в нее корейских же трудоголиков? Конечно же расположить свои витрины прямо на станциях метро. А чтобы у компании не возникло никаких проблем с санитарными нормами, сделать витрины полностью виртуальными. В результате люди оформляют заказы прямо в подземке, ожидая прибытия электропоезда, а товары доставляются им домой курьером.

Мобильник HTC Evo 3D, снабжённый двумя фотовидеокамерами (и способный поэтому к записи стереовидео) и специальным экраном, воспроизводящим стереоизображения («3D») без необходимости специальных очков, этой весною появился в Штатах (о чём Pollux любезно сообщал нам, приведя полезные подробные технические характеристики устройства).

AR Door разработала примерочную для Topshop для показа новой коллекции платьев Dress up.

Виртуальная примерочная сочетает в себе две самые модные технологические тенденции: дополненную реальность и Microsoft Kinect. Пользователь не только видит себя на экране киоска в новой одежде, но и управляет программой жестовыми командами: взмахами рук и нажатием невидимых кнопок прямо в воздухе.

Для работы программы не требуются дополнительные маркеры: камера, встроенная в Kinect, распознает тело человека и накладывает поверх него трехмерные модели платьев.

Третья и заключительная часть стенограммы-трилогии (см. часть 1 и часть 2) доклада про Дополненную Реальность.

Речь пойдет об обработке изображений в применении к дополненной реальности:

• детектирование маркеров и меток;
• многокамерные системы маркерного захвата движений;
• структурированная подсветка;
• Z-сенсоры (в частности, Kinect);
• использование баз данных поз;
• чисто оптические системы захвата движений.

И на закуску — субъективный взгляд на будущее дополненной реальности, который прояснит смысл картинки с собакой.

Это продолжение (см. часть 1) стенограммы одноименного доклада с конференции ADD-2010.

В этой части речь пойдет о том, как обрабатывать данные с сенсоров, а именно: акселерометров, гироскопов и магнитных компасов. И зачем в современных устройствах ставят все три вида датчиков.

Аннотация

Представляю вашему вниманию материалы одноименного доклада, сделанного мной на конференции ADD-2010 осенью прошлого года.

В докладе после краткого экскурса в историю рассматривается текущее¹⁾ состояние дел в освоении дополненной реальности:

• использование датчиков: акселерометры, гироскопы, магнитные компасы, GPS
  (различные мобильные телефоны, Wii, Sony Move, XSens)
  
• использование маркеров: с инфракрасной подстветкой, в видимом диапазоне
  (Sony Move, OptiTrack, Vicon)
  
• использование структурированной подсветки
  (на примере Microsoft Surface)
  
• Z-камеры, выдающие картику + расстояние до объекта
  (Microsoft Kinect, её предшественники и аналоги)
  
• безмаркерный захват движений
  (OrganicMotion, iPi Soft Desktop Motion Capture)
  
• сканирование 3d-поверхности по набору изображений:
  (стереокамеры, 3d-сканеры, воссоздание 3d-сцены с движущейся камеры)
  

Программа (iPhone) для перевода картинок/знаков и других надписей с помощью дополненной реальности.



Уже доступна для загрузки через iTunes. Словари по $4.99, пока только англо-испанский и обратно.

Введение

Все началось с того, что мною были куплены анаглифные очки. Как только они попали в руки, сразу было решено проверить их общие возможности. Просто путешествовать по интернету и искать фотографии не так интересно, поэтому, скрепя сердце, пришлось признать за любимой операционной системой существенный недостаток (отсутствие драйверов для добавления в игры режима вывода в анаглифе) и загрузить давно заброшенный Windows. Так как я счастливый обладатель видеокарточки с чипсетом от Nvidia, то используя несложный трюк (можно загрузить более свежие драйвера, также для владельцев 64-битных систем надо подредактировать реестр) я открыл для себя потрясающий мир псевдообъемных игр. Понятное дело, что ощущения не совсем те, как если бы использовались очки с ЖК-затворками, но ведь и порядок затраченных денег совсем другой. (Кстати, для тех, у кого более старые видеокарты или чипсеты других производителей, есть замечательная бесплатная утилита, позволяющая делать то же самое. Правда, по моему субъективному мнению, качество картинки на моей видеокарточке у нее несколько хуже). Так как цель данной статьи вовсе не реклама разных технологий псевдообъемного изображения, то я не буду подробно рассказывать о своих впечатлениях и показывать скриншоты игр (тем более, те, у кого есть очки, и так прекрасно это знают, а у кого их нет — не смогут и оценить). Но то, что меня огорчило — что я не могу сделать себе скриншот на память. То есть сделать я его могу (благо Nvidia заботливо предусмотрела недокументированную комбинацию «alt»+«F1»), но вот формат его вовсе не в виде анаглифа, а в виде стереопары (.jps).

Тема электротранспорта уже перестала быть новой для IT-сообщества. Хотя электромобиль на российских дорогах увидеть пока в диковинку, но некоторые хабралюди уже собирают электровелосипеды своими руками. Этот репортаж об электромобилях, но главная изюминка вовсе не в этом. Дело в том, что итальянская фирма VisLab некоторое время назад начала воплощать в жизнь грандиозное мероприятие — трансконтинентальный автопробег на автоматически управляемых электромобилях, способных передвигаться почти без участия человека и совсем без использования традиционного топлива. С 17 по 19 августа итальянская делегация находилась в Москве, 18 августа проводилась демонстрация рядом с гостиницей «Космос», а вчера, 19 августа — демонстрация для московского представительства фирмы Topcon Positioning Systems, которая является партнёром пробега и поставляла для него своё навигационное оборудование. На эту демонстрацию мне и посчастливилось попасть.

Брюс Стерлинг приметил, что новый номер «Зюддойче цайтунг» вышел с иллюстрациями, при наведении мобильника на которые может вылазить дополненная реальность (если установить соответствующее приложение). Выглядит вот как:

Похоже, Sony готовит очередной приятный сюрприз владельцам PlayStation 3. Согласно полученной информации, компания запатентовала новую систему, которая позволит выдавать сразу несколько независимых друг от друга изображений на один телевизор. Правда, для этого экран должен поддерживать технологию 3D, а всем зрителям/игрокам понадобятся специальные очки.

Новинка позволит пользователям при совместной игре не видеть картинки друг друга. Очевидно, что это может оказаться отличной альтернативой режиму split-screen. Теперь пользователи не смогут подглядывать за действиями соперников, или просто смогут наслаждаться игрой на полном экране.

Как обычно бывает на важных мероприятиях, крупные компании упражняются в помпезной риторике, и такие слова, как «революция», «прорыв», «сенсация» постепенно тускнеют и приедаются. Компания Nintendo предпочла не злоупотреблять громкими словами, позволив своему небольшому устройству говорить за себя… и, как это часто бывает, «собачка», которая лаяла меньше всех, оказалась самой кусачей — новая 3DS это настоящий маленький убийца конкурентов. И сейчас вы в этом сами убедитесь.

Вчера Брюс Стерлинг обнаружил (и перепечатал в своём блоге) новость о том, что REDMADROBOT создал программную часть для промо-стенда бренда Sobranie, причём дополненная реальность использовалась для рисования в стиле Light Art и для навигации внутри программы стенда:



Постскриптум Стерлинга был таков:

— Okay, objectively speaking, what’s weirder: pretty girls drawing augmented roses in mid-air, or former Soviets hanging out in some big glossy capitalist mall?

(Я специально цитирую его на английском, также как сам он цитировал апрельскую новость про REDMADROBOT на русском языке.)

Ну не странно ли видеть, как медленно исчезают стереотипы в голове у этого автора киберпанковской прозы? Скоро двадцать лет, как состоялся антисоветский переворот, а Стерлинг продолжает называть «бывшими советскими» даже современных «pretty girls», многие из которых либо не помнят Советский Союз, либо даже родились после него.

А для всех нас эта блогозапись Стерлинга даёт возможность проследить ещё одну веху творческого пути той самой команды REDMADROBOT, которая в прошлом году подвешивала пирамиду над Кремлём в дополненной реальности.

Брюс Стерлинг приводит (у себя во блоге «Beyond the Beyond») видеоролик португальской фирмы YDreams, в котором пользователь играется сперва с жидкостью, затем с потоком кубиков, и наконец — с трёхмерным объектом в прозрачной сфере. (Всё это — в дополненной реальности.) Поглядите и вы, полюбуйтеся:

_{Видеоролик широкоформатный → есть смысл смотреть его на полный экран или на YouTube.}

Половина очарования этого видеоролика заключена в его саундтреке, который YDreams заимствовали на Jamendo у группы Tryad. Хвала свободной культуре!

Девушка, глядя через дополненную реальность на прохожую, видит поверх неё четыре маркера, которые указывают на женское пальто, шарф, лосины и обувь:

_{Прямо скажем: эта иллюстрация заставляет недоуменно призадуматься: прохожая одета в пальто и тёплый шарф, а девушки слева стоят в лёгких, открытых платьях. Кто из них одет по погоде? Но оставим это несоответствие на совести фотохудожника.}

Протянув левую руку, наблюдательница активирует маркер пальто, который начинает светиться салатовым цветом и показывает название, ценник, рейтинг, число довольных и недовольных отзывов покупательниц. В дополненной реальности тотчас же протягивается оранжевая линия, указывающая направление на магазин, в котором можно приобрести такую одежду, а также расстояние (четверть мили).

Эта бытовая сценка из ближайшего будущего — лишь одна из иллюстраций к статье «Ваша жизнь в 2020 году», опубликованной в журнале «Форбс» по итогам взаимодействия многих экспертов: дизайнеров, футурологов и журналистов. Один из тех дизайнеров (Сэм Мартин) посвятил ей запись в своём блоге, на которую сослался Брюс Стерлинг.

Вот так разлетается информация в цифровую эпоху.

Теперь давайте поглядим ещё парочку небезынтересных футуристических картинок о дополненной реальности, которая (по рассуждениям экспертов) будет демонстрироваться мобильниками, особыми очками или даже контактными линзами.

Компания Sharp планирует выпуск своих уже довольно популярных телевизоров Quatron в 3D-версии.
На днях в Японии прошла технологическая демонстрация новых панелей, но пока не известно ни точной даты появления на рынке, ни названия серии телевизоров.


Демонстрационная модель с диагональю экрана в 60"

Остаётся надеяться, что это наложение.

Ещё одна компьютерная игра «убей их всех», на сей раз в iPhone. Типа клёвая «камера дополненной реальности» на фиброкартоне с шурупами под крестовую отвёртку.

На проходившей недавно в Болонском Университете конференции Жанмарко указал на то, что при обсуждении AR-технологий всегда рассматриваются лишь положительные аспекты. После этого я задумался о негативных сторонах технологии.

Гиперссылка на этот короткометражный синтетический видеофильм попалась мне во блоге Брюса Стерлинга.

Фильм представляет собою некоторое пророчество (утопию? антиутопию?) о том, как именно дополненная реальность может переменить архитектуру, потребление и быт.