Игровой контроллер Kinect – первое на рынке устройство для прямого трехмерного измерения

Microsoft kinect технические характеристики. Игровой контроллер Kinect – первое на рынке устройство для прямого трехмерного измерения Smart Voice Recorder.

Игровой контроллер Kinect – первое на рынке устройство для прямого трехмерного измерения

Выпущенный на рынок в ноябре 2010 года игровой контроллер Kinect является первым недорогим бытовым устройством для прямого дистанционного трехмерного измерения объектов и сцен. Я искренне благодарен компании Microsoft за этот шаг.

Совсем недавняя история

Первым устройством такого типа являлись любые разновидности радаров и сонаров, начиная от устройств системы ПВО и заканчивая парктроником на автомобиле. Если известна скорость распространения зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучением и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал. Ориентируя по-разному систему излучатель-приемник в пространстве, можно промерять набор расстояний до отражающих объектов в данном направлении.
Производство компактных твердотельных лазеров позволило создать системы измерения, которые в качестве зондирующего импульса использовали свет. Тот или иной механический способ ориентирования светового луча позволил таким системам производить последовательные измерения в пространственном секторе (или сканировать его, соответственно устройства измерения стали называться лазерными сканерами).

Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения. Представление в такой локальной системе координат является вполне достаточным для измерений локальных размеров вплоть до здания (стационарный сканер). Если же снабдить такой сканер достаточно точным GPS приемником и системой измерений его угловой ориентации по трем направлениям, то его можно устанавливать на самолет как аэросъемочный сканер или на на автомобиль как мобильный сканер.
Рабочей длиной волны сканеров является ближний инфракрасный свет с длиной волны около 1 мкм для авиационных сканеров (меньшее рассеивание в парах атмосферы) и больше 1 мкм для стационарных сканеров (более безопасно для зрения).
Результатом работы лазерных сканеров является облако трехмерных точек (point cloud).
Вся история лазерного сканирования произошла буквально «вот только что», прямо на моих глазах, и укладывается в 20 лет.

Достоинства и недостатки лазерного сканирования

Достоинств много:
— Прямой метод измерения трехмерных координат, в отличие от стереомтерии.
— Возможность измерять сквозь оптически прозрачные покровы. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности.
— Высокая производительность, что особенно важно для мобильных систем.
Но есть и недостатки, можно выделить три основных:
— Длительность процесса механического сканирования назначенного пространственного сектора (полного пространства для стационарного сканера, полосы или окружности для мобильного). К тому же дополнительные системы развертки могут вносить искажения в путь распространения луча, что требует отдельной обработки.
— Отсутствие яркостной информации. Современные сканеры позволяют измерять интенсивность отраженного света, что только в некоторой степени способно заменить яркостное изображение, но полностью не решают проблемы интерпретации точек отражения.
— Сочетание лазерного сканера с параллельным цифровым фотографированием позволяет получить яркостную характеристику сцены только косвенным методом путем проецирования фотографии на соответствующие участки облака точек. Особенно трудоемок это процесс для
— Большие габариты и энергопотребление, хотя в последнее время производители работают над этим вопросом. Этой зимой я видел электрический беспилотный вертолет с очень компактным сканером на борту, которым обследовали участок леса в Лапландии.

Очевидное решение

Совершенно очевидным подходом к дистанционному трехмерному измерению является использование оптической фокусирующей системы и цифровой матрицы. Если известны параметры оптической системы, то задача восстановления пространственного положения любого пришедшего на матрицу луча является тривиальной. Дело остается за тем, что бы создать вспышку света на корпусе измеряющего аппарата и каким-то образом измерить задержку в приходе отраженного от объекта света на каждый пиксель цифровой матрицы.
В 2006 году, на одной из отраслевых конференций, случилось обсуждение только что взошедшей звезды Google Maps вкупе с понятием «неогеографии». Практически каждое выступление сопровождалось упоминанием о необходимости перехода на истинно трехмерные текстурированные данные. Слушая докладчиков, я ясно ощутил, что лет через пять-семь портативные бытовые трехмерные камеры выйдут на рынок. Но сканерные решения на эту роль подходят плохо.
Идея нового решения приходила в голову многим, при этом инвестиционный план предлагался по одной и той же схеме: «сейчас вы нам дадите миллион (или десять, или сто), а мы вам аппарат через десять лет (или пять, или через год)». Мы не стали инвестировать.

А Microsoft вложилась

Весной 2009 года компания приобрела израильскую фирму 3DV Systems. Израильтяне до того выпустили на рынок свою дальномерную камеру ZCam и нацелились на рынок игровых контроллеров. Судя по всему, Microsoft оценила технологию, как перспективную и решила использовать ее для внедрения в новый контролер для игровой приставки Xbox 360, назвав эту разработку «проект Наталь»

Устройство дальнометрической камеры ZCam (по материалам из интернета)

Конструкция камеры позволяет отнести ее к так называемым «времяпролетным», что, по сути, означает параллельную реализацию указанных выше принципов.
Основными узлами камеры являются излучатель, оптическая система, специальная цифровая матрица и электронная измерительная и вычислительная система.
Необходимо отметить, что характерные размеры области измерений (несколько метров) и требуемая точность (несколько сантиметров) выдвигают очень жесткие требования к временной точности работы всех измерительных устройств.
Например, для обнаружения объекта, находящегося на расстоянии нескольких метров от камеры, характерное время запаздывания отражения составляет всего 10 нс (при скорости света c = 3 10 8 м/с). Соответственно, можно посчитать, что заявленная точность определения расстояния требует определять момент прихода отклика с точностью на два порядка больше. Характерные рабочие частоты электронной схемы лежат в области гигагерц.

Внешний вид объектива и вспышки

Общие принцип работы камеры

Излучатель создает очень короткую равнонаправленную световую вспышку (по длительности эквивалентную расстоянию в несколько метров, что определяет максимально дальность камеры, например 7.5 метров при длительности вспышки t₀ =50 нс). Рабочая длина волны составляет, скорее всего, 1.5 мкм. Отраженный от сцены свет возвращается обратно и фокусируется оптической системой так, что бы падать на цифровую матрицу.
Эта матрица имеет специальный тип и состоит из фотодиодов. При попадании света на фотодиод, он начинает вырабатывать ток, который через ключ передается на накопительные элементы (конденсаторы). В простейшем случае можно использовать два конденсатора
Первоначально заряжается первый конденсатор S₁, через 50 нс после начала световой вспышки ключ переключается на зарядку второго конденсатора S₂. Еще через 50 нс ключ переходит в нейтральное положение.
Через небольшой интервал весь процесс повторяется снова. Так как частота следования вспышек достаточно большая и всю сцену можно считать неподвижной, то заряды конденсаторов S₁ и S₂ накапливаются от вспышки к вспышке, тем самым повышая уровень сигнал/шум и увеличивая надежность расчета. Для накопления используются несколько тысяч циклов.
В результате, соотношение между зарядами S₁ и S₂ позволяет определить положение фронта отраженного импульса относительно вспышки. Окончательно рассчитать расстояние D вдоль луча, пришедшего к данному пикселю, можно по формуле

Временные диаграммы (из Википедии)

Согласно заявленным техническим характеристикам, контролер Kinetic поддерживает рабочий диапазон дальностей от 1 до 6 метров и имеет поле зрения примерно 50 угловых градусов в обоих направлениях. Разрешение дальномерной матрицы невелико и составляет, скорее всего, 320 х 240 пикселей.
Одновременно со сбором дальностной информацией, обычная цифровая матрица выполняет видеосъемку сцены.

Облака точек как результат работы Kinect

Недостатки схемы

Ими являются паразитная засветка, которая может превышать яркость вспышки и множественные отражения света, что дает фальшивые точки отражений. В принципе, бороться с этим можно, вводя ту или иную модуляцию сигнала для выделения его из фона.

Движение — жизнь! Что такое «Кинект» для XBOX 360?

Зачем нужен аксессуар KINECT для XBOX 360 и что это такое

Индустрия развлечений развивается очень динамично, постоянно выбрасывая на рынок технологии, призванные увлечь новую аудиторию. Использование новых технологий особенно заметно в сфере видеоигр, где высокотехнологичные новинки следуют одна за другой. Чаще всего это касается новаторских решений по управлению игровой средой. Пионером в области решений, которые позволяют максимально погрузить геймера в игровую среду, является компания Microsoft. В статье речь пойдет о том, что же такое Kinect для Xbox 360.

Обновление Kinect для Xbox 360

Владельцы «чистых» консолей не будут сталкиваться с какими-либо трудностями, когда система попросит обновить кинект на Xbox 360.

Тем, у кого приставки с Freeboot, придется немного помучаться. Если совсем коротко, вам понадобится скачать обновления для кинект на Xbox 360, которое точно подходит под вашу версию дашборда, скопировать его на флешку и установить на консоль.

Важно помнить, что данная операция требует максимум внимания к деталям. Перед тем, как приступить к установке файлов, внимательно изучите все нюансы, чтобы не пришлось нести консоль в ремонт.

Если сомневаетесь, лучше отнесите приставку в мастерскую, где специалисты занимаются подобным чуть ли не каждый день. Они сделать все быстро и правильно.

Установка и настройка Freeboot на Xbox 360 в Москве Профессиональная установка Freeboot на любые Xbox 360: Fat, Slim и E. Подробнее >

Какие возможности открывает Kinect

Если рассматривать дополнительный узел к игровой приставке от Microsoft под названием Kinect, то это решение, сочетающее в себе датчики и камеру высокой четкости. Сочетание таких сенсоров призвано определить, каким образом тело человека расположено в пространстве, распознать его мимику и жесты и преобразовать всю эту информацию для управления командами консоли. Таким образом, при использовании такого аксессуара геймер получает способность управлять игровым процессом без использования каких-либо дополнительных контроллеров.

Хороший пример – это видеоигры, в которых игроку приходится почувствовать себя в роли спортсмена (например, теннисиста). Чтобы сделать передачу мячом своему оппоненту, нужно будет сделать всего лишь характерное движение руками. Игроки взаимодействуют с консолью, а за улавливание движений и их обработку и отвечает Kinect.

Если разобрать устройство на технические составляющие, то получаем следующие данные:

Помимо использования в играх, аксессуар дает возможность удаленно управлять в приложениях и меню, также его можно использовать для видеовызовов.

Как выполнить настройку Kinect

Существуют два основных способа подключения кинекта, которые немного различаются между собой. Первый способ предназначен для Xbox One – новой серии игровых консолей, или которые имеют в своей маркировке буквы S или Е. В этом случае, консоль уже имеет отдельный разъем для такого аксессуара, который также выполняет функцию подачи напряжения.

Алгоритм действий выглядит следующим образом:

Подключение Кинект к Xbox One

После этого подсоедините приставку (ее не требуется настроить, как и подключать что-то еще) и продолжать ей пользоваться. Если речь идет о старых версиях Xbox 360 (промаркированных словом FAT), то дополнительно еще придется выполнить два шага:

Подключение к Xbox 360

Дополнительных настроек после этого проводить не требуется. Единственным нюансом может быть то, что система оповестит о необходимости установки новой версии ПО. В таком случае присоединяемся к Xbox Live и в автоматическом режиме загружаем и устанавливаем новую прошивку.

Аксессуар Kinect является удобным и эффектным устройством, которое может быть использовано не только в видеоиграх, но и для занятий фитнесом, а также для проведения групповых телеконференций. При демократичной стоимости в 4-6 тысяч рублей, такое приобретение способно вывести на абсолютно новый уровень удовольствие от видеоигр.

Нужен ли Kinect в 2021 году

Как показала практика, Kinect – это весьма специфический продукт, который подойдет далеко не всем геймерам. Скорее всего, после 1-2 недель вы забросите его и не вспомните еще очень долго.

Игра на Xbox 360 с Kinect

Малое количество игр, библиотека которых не обновляется даже на Xbox One, говорит о том, что разработчики сочли эту технологию бесполезной и невостребованной.

Но! Это не значит, что кинект плохое и бесполезное устройство. С ним вы можете играть, например, в компании друзей, соревнуясь друг с другом, заниматься фитнесом и танцами, если вам это нравится или если вы ведете сидячий образ жизни. То есть Kinect – это своеобразный домашний аттракцион, который в любом случае будет приносить вам положительные эмоции, пусть и не каждый день.

Внешний вид. Комплект поставки.

Обновленная приставка Xbox 360 выглядит весьма стильно и эффектно: черный глянцевый корпус, футуристические линии и элементы оформления.

Комплект поставки включает:

Kinect выполнен, как и сама ингровая консоль, из глянцевого пластика. Это означает, что их внешняя поверхность прекрасно подходит для сохранения отпечатков пальцев. Моторизированная подставка может управлять сенсором вертикально и на вид кажется довольно прочной. На лицевой стороне можно обнаружить зелёный светодиод и три камеры. Центральная производит захват цветного изображения в разрешении 640×480 при скорости 30 кадров в секунду. Две других камеры являются черно-белыми сенсорами глубины с инфракрасной подсветкой для анализа движений даже в плохих условиях освещения. 4 микрофона призваны распознавать речь и направление звука.

Специальное программное обеспечение анализирует всю эту информацию для скелетной анимации, лицевого и голосового распознавания. Расчёты производит процессор Xbox 360, однако, как сообщается, требуется минимум ресурсов. К примеру, из 512 Мбайт оперативной памяти в Kinect-играх для сенсора выделяются фиксированные 60 Мбайт.

Как работает консоль?

Компания-разработчик – знаменитая Microsoft. Возможно, вы задавались вопросом: что такое «Кинект» для XBOX 360? Это глянцевая внешность, прочная подставка – все, что создает впечатление новизны и совершенства. Сенсорами можно управлять вертикально. Лицевая сторона снабжена тремя камерами и зеленым светодиодом. Центральная камера считывает цветное изображение в пространстве. Скорость – 30 кадров в секунду. Остальные анализируют изображения при неблагоприятном световом фоне. Четыре микрофона помогут четче услышать речевое обращение.

Kinect взаимодействует с пользователем через позы тела либо устные команды или же рисунки. Как это происходит? Вы – бейсболист. В процессе игры необходимо отбить мяч битой. Ваши действия: делаете нужные движения, а персонаж на экране все повторяет – точность выполненного удара зависит от вас.

Это самое простое объяснение. Но что такое «Кинект» для XBOX 360 на техническом уровне? Здесь все куда сложнее. Работа основана на точном взаимодействии двух сенсоров:

1. инфракрасный – исследует пространство;
2. CMOS-сенсор – анализирует лица, переводит в 3D-вариант.

Наличие видеокамеры позволяет распознавать и делать фото человеческого лица, а также предоставлять видео для чата.

Установка и настройка.

Если имеется новая Xbox 360, то всё, что потрубуется для начала работы — это подключение Kinect в специальное гнездо на задней стороне игровой приставки над сетевым портом. Для старых консолей питание обеспечивается отдельным сетевым кабелем, а подключение — через USB. Для тех пользователей, которые используют USB-адаптер Wi-Fi, Microsoft предусмотрела в упаковке USB-удлинитель, с помощью которого можно подключить брелок Wi-Fi к одному из портов на лицевой стороне консоли.

В нашем случае, достав из коробки Kinect и подключив его к Xbox, началась автоматическая настройка конфигурации. Система проверяет свое местоположение, не стоит ли она рядом с динамиками, определяет уровень шума вокруг. Потом с помощью подсказок происходит настройка управления движениями, для этого придется, например, попрыгать по комнате. К слову сказать, все подсказки на русском языке. При этом система требует, чтобы вы находились на расстоянии в 2-2,5 метра от консоли. Не так уж это и в обычных квартирах.

Крутить и поворачивать Kinect как во время настройки, так и во время игры. При включении Xbox 360 контроллер Kinect сделает всё возможное, чтобы обнаружить разумную жизнь, используя для этого свой мотор для вертикального наклона, который позволяет максимально точно захватить игроков в кадр. Видимо, специально для нашего русского человека в инструкции написано, что категорически запрещается поворачивать руками сенсор. В противном случае он выйдет из строя. Мы трогать руками ничего не стали.

В заключении настройки нам нужно определить свой профиль. В это входит привязка игрока к аватару. Для этого нужно в течение небольшого времени совершать те или иные действия. После этого все готово, аватар привязан к профилю.

Поначалу, как-то странно наблюдать за работой Kinect’а. Прямо-таки робот трехглазый, внимательно следящий за тобой.

Во время настройки система подсказок рассказывает как работать с системой. Например, чтобы запустить Kinect Dash, необходимо помахать правой рукой. Чтобы запросить Guide (аналог большой центральной кнопки на джойстики), необходимо правую руку прижать к себе, а левую немного отклонить от тела.

Навигация и управление.

Практика показала, что пока Kinect не может полностью заменить привычный контроллер для управления консолью по удобству. Несмотря на то, что теперь навигацию в меню можно осуществлять как голосом, так и с помощью движений, оба подхода имеют ряд ограничений.

После того как Kinect настроился окончательно, мы попадаем в главное меню. В правом нижнем углу которого располагается превью того, что видит Kinect. Помахав рукой мы вызываем Kinect Dash. В нем мы управляем движением правой руки, и, если нам надо нажать на кнопку, руку надо просто задержать на нужной кнопке.

Универсальное движение для паузы работает так: правая рука опускается вниз, а левая отклоняется на 45 градусов, затем нужно подождать несколько секунд, и появится меню паузы.

Голосовое управление, несмотря на ограниченную функциональность, время от времени работает более менее адекватно. В любом месте, даже при просмотре видео нужно лишь сказать «Xbox», чтобы попасть в меню с доступными голосовыми командами.

Kinect поддерживает сервис видеочата благодаря встроенной VGA-камере и микрофону. При наличии соединения с Интернетом вы можете общаться с собеседниками.

Игровые возможности.

Выше мы отмечали, что комплект Xbox 360 Kinect идет с игрой Kinect Adventures (разработчик Good Science Studio). В этот пакет входят пять мини игр. Расскажем о них более подробно.

Космические пузыри (Space Pop). Цель игры – зависать в пространстве и руками собирать всяческие бонусные предметы и стараться уклониться от препятствий. Часто на уровнях случается такое, что бонусные предметы находятся в непосредственной близости от препятствий, так что для их подбирания нужны невероятные физические усилия. Кроме этого, после прохождения уровня вы сможете увидеть на фоне результатов запись того, как вы выглядели во время испытания.

Спуск по реке (River Rush). Очень динамичная мини игра, которая полною повторяет реальные сплавы по реке. Только здесь нужно уворачиваться от внезапно появляющихся предметов. Можно играть сразу нескольким людям. Для этого необходимо просто войти в игровое пространство.

Полоса препятствий (Reflex Ridge). Игроку необходимо пройти полосу препятствий, передвигаясь на специальной платформе.

В игре Rallyball игроку необходимо отбивать мячи и вышибать объекты, находящиеся перед ним.

Аквариум (20 000 Leaks). Смысл игры в том, что злобно настроенные рыбы бьют по стеклу аквариума и пытаются разбить стекло. И это у них получается. Игроку нужно руками и ногами заткнуть все дыры.

Дополнительные игры можно загружать из Marketplace и пользоваться сервисами на Xbox Live.

Первое подключение Kinect к Xbox 360

Сенсор Kinect позволяет приставке захватывать ваши движения, что дает возможность управлять персонажем в играх для Kinect.

Только представьте: если вы захотите, чтобы герой игры побежал или прыгнул, достаточно побежать или прыгнуть самому!

Все действительно так просто и очевидно, управление персонажами в играх для кинекта очень естественное.

Для правильного подключения следует соблюдать ряд требований. Кроме непосредственно правильного подключения сенсора (в версиях Xbox 360 E и S все просто: нужно лишь вставить кабель в AUX гнездо, в более старых моделях требуется отдельное подключение питания через переходник), нужно пройти первичную его настройку.

Первое включение

Если вы обладатель непрошитого Xbox 360 или приставки с прошитым приводом, то вам нужно всего лишь обновить программное обеспечение своей консоли до актуальной версии. Старые версии дашборда могут не поддерживать Kinect или не работать с определенными играми.

Обновление может также потребоваться и сенсору. Поэтому отвечайте согласием на предложение системы об обновлении Kinect и дождитесь его окончания (не прерывайте ни в коем случае!).

После включения (и обновления) инициализация и запуск Кинекта произойдут автоматически.

Если же Вы обладатель Xbox 360 Freeboot, то, вполне вероятно, что по умолчанию запустится не стоковый дашборд, а оболочка FreeStyle Dashboard. Эта оболочка позволяет в удобном и наглядном виде управлять играми и другими файлами, а также дает доступ к некоторым настройкам, которыми невозможно управлять из родного дашборда.

Если при подключении сенсора система не предложит вам произвести его настройку, то вам придется перейти из оболочки FSD в родной дашборд Xbox 360, нажав на клавишу Guide и выбрав в разделе настроек переход к параметрам системы.

Видеообзор Kinect для Xbox 360

Итоги

Главное достоинство Kinect

как устройства – в его расширенной функциональности. Это не просто игровой аксессуар, но еще и камера, и микрофон. У изобретения Microsoft большой потенциал. Сейчас он раскрыт далеко не полностью, но все равно «общение» с
Kinect
с помощью жестов и голоса впечатляет.

Что же касается игр, то все упирается в актуальность казуальных развлечений лично для вас и вашей компании (родственников, друзей). Kinect

вряд ли будет эффективен в core-проектах (сложных шутерах, к примеру), но для казуалов и не-геймеров он подходит великолепно. Если соответствующие игры востребованы, и у вас уже есть Xbox 360 (или вы собирались купить консоль в ближайшем будущем),
Kinect
станет отличным к ней дополнением.