Создатели проекта Skeltrack (http://www.opennet.me/opennews/art.shtml?num=33437), в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения конечностей человека перед камерой с датчиком глубины, представили (http://www.joaquimrocha.com/2012/04/03/controlling-gnome-3-w... прототип практической реализации интерфейса для организации управления GNOME 3 через систему пространственных жестов. Код (https://github.com/joaquimrocha/Skeltrack-Desktop-Control) управляющего интерфейса распространяется под лицензией GPLv3. Наглядно оценить возможности пространственного управления можно просмотрев специально подготовленный видеоролик (http://vimeo.com/39660879).<center><a href="http://vimeo.com/39660879"><img src="http://www.opennet.me/opennews/pics_base/0_1333564312.jpeg&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
Используя web-камеру с датчиком глубины, которой комплектуется устройство Kinect (http://en.wikipedia.org/wiki/Kinect), разработчикам удалось организовать генерацию событий Xlib через распознавание типовых жестов. Например, можно перемещать курсор контролируя его позицию указательным пальцем, масштабировать окна и изображение через характерное разведение или сведение ладоней, выбирать объект делая хватательный жест, прокручивать содержимое окон, перемещать окна и т.п. Отдельный интерес представляет демонстрация возможностей Skeltrack для управления играми. В частности, показано как можно управлять автомобилем в играх Super Tux Kart и Tux Racer, изображая руками вращение руля.
Для приёма видеопотока с данными глубины от камеры Kinect используется GFreenect (https://gitorious.org/gfreenect), а для отслеживания движений рук задействована библиотека Skeltrack (https://github.com/joaquimrocha/Skeltrack). Управляющие жесты воспринимаются путем анализа попадания руки в активную область, которая определена примерно в 20 см. от головы. Жесты достаточно интуитивны. Например, когда одна рука двигается осуществляется перемещение курсора; как клик воспринимается когда одна рука находится в активной зоне, а вторая быстро входит и выходит из активной зоны; если вторая рука задерживается в активной зоне распознаётся нажатие и удерживание кнопки мыши, первая рука при этом может использоваться для перемещения объекта.<center><iframe src="http://player.vimeo.com/video/39660879?title=0&byline=0&... width="601" height="338" frameborder="0" webkitAllowFullScreen mozallowfullscreen allowFullScreen></iframe></center>
URL: http://www.joaquimrocha.com/2012/04/03/controlling-gnome-3-w.../
Новость: http://www.opennet.me/opennews/art.shtml?num=33533
Диетологи будут прописывать гном 2 раза в день?
Почему? Для похудения?
Даже по экрану возить пальцем нужно больше энергии, чем мышкой или тачпадом. А тут вообще упражнение и руки постоянно в воздухе!
Всё-таки до сих пор ничего лучше мыши не придумали для работы! И тачпада в случае стеснённых или полевых условий.
> Всё-таки до сих пор ничего лучше s/мыши/клавиатуры/ не придумали для работы.Вот под этим подпишусь :)
Теперь на работу будут принимать действительно "сильных" программистов.
Склиозники с мех.-мата МГУ будут просто падать в обморок от истощения,
после 2-х часов работы ибо забивали на Физ-ру :D
Откройте для себя продукцию Wacom:) И мультитач-экраны, которые доступны и для ПК(правда по заоблачной цене).
> Даже по экрану возить пальцем нужно больше энергии, чем мышкой или тачпадом.
> А тут вообще упражнение и руки постоянно в воздухе!
> Всё-таки до сих пор ничего лучше мыши не придумали для работы! И
> тачпада в случае стеснённых или полевых условий.Наоборот. К "упражнениям" и "рукам постоянно в воздухе" человеческий организм уже привых за сотни тысяч лет эволюции. А вот к мышке - нет. Что соответственно вызывает целый букет профессиональных заболеваний.
угу, 15 минут руки на весу подержи, тогда перестанешь умничать бредом об эволюции
Согласен, только вы еще про trackpoint забыли =)
на небольших ноутах это очень удобно )
>>в случае стеснённых или полевых условий.трекбол наше всё.=)
гном 3 раза в день =)
А что без "датчика глубины" нельзя управлять?
Годно будет, если допилить, ИМХО...
Может быть полезно в качестве дополнения к основному интерфейсу.
> Годно будет, если допилить, ИМХО...Допилить и отправить аппл к чертям с их патентами на тачскрин жесты в соседней ветке.
Тогда придет мелкософт, у нх кинект уже давно и патентов наверняка уже целый ворох.
Вот уже два часа Василий пытался объяснить гному "Иди на*, я не хочу удалять все файлы с рабочего стола"
> Вот уже два часа Василий пытался объяснить гному "Иди на*, я не
> хочу удалять все файлы с рабочего стола"А просто показать средний палец в камеру он не пробовал? :)
Приложение GNOME обиделось и закрывается. Следующие 12 часов он не хочет с вами разговаривать.
> Вот уже два часа Василий пытался объяснить гному "Иди на*, я не хочу удалять все файлы с рабочего стола"При чем здесь гном? Это будущее windows 9.
А линуксу оно не грозит. Ибо там довольно сложно превратить десктоп в файлопомойку :)
я уже придумываю, какой жест повесить на "послать sigkill текущему приложению"
> я уже придумываю, какой жест повесить на "послать sigkill текущему приложению"Да что там придумывать - "см. рис. 1", там вполне доходчиво :)
Теперь инвалидам будет еще легче работать в гном3.
А остальным людям что делать?
Тем, кто пользуется гном3 - можно ничего не делать, им и так хорошо.
Стать инвалидами
> Теперь инвалидам будет еще легче работать в гном3.Это каким? У которых нарушена координация или слабое зрение? Тут проф. дирижером нужно быть, а не инвалидом... Хотя может кому-нибудь и поможет.
> Это каким? У которых нарушена координация или слабое зрение?Ну вот поневоле и прокачаются :)
+1
Угу.
Вот надел очки и думаю: и как это г*вно должно понять, что шрифты мне надо чуть больше, но не везде?
> Теперь инвалидам будет еще легче работать в гном3.Наоборот - не всякий инвалид осилит руками махать.
Гномошелл - для здоровых и энергичных людей.
А лица с ограниченными возможностями могут поставить ubuntu воспользоваться голосовым управлением из unity.
В гугло-хроме подобную срань пилят, типа заняться больше нечем... Все сделано, чтобы вы работали-работали, но почесав ушко выполнили rm -rf ~/;)
Офигительно.
Вот оно, будущее.Имхо, как дальнейшее развитие, реакция на простое указание пальцем в сторону объекта.
Кстати, не так сложно, если система будет знать, как относительно друг друга расположены монитор и kinect.
Есть точка в пространстве "голова"/"глаза", есть точка "кончик указующего пальца".
Выбираем момент, когда кончик пальца закончил движение в сторону монитора и начал движение обратно.
Через две точки строим прямую до пересечения с плоскостью "монитор" - получаем координаты щелчка.
В итоге:
- не нужна мышка
- не нужна клавиатура
- не нужны широкие жесты рукамиP.S.
Мне кажется, для управления жестами пора придумывать что-то, отличное от мышки.P.P.S.
Кстати, так же можно подумать об управлении клавиатурой жестами.
Молотишь пальцами в пространстве - система распознает, на место какой кнопки ты нажал.
Можно ориентировать клавиатуру по большим пальцам, они обычно на концах пробела лежат.P.P.P.S.
Блин, куча идей сразу возникает)
1. пальчики у всех разные... настройки сделаешь?
2. всю кучу уже запатентовали... ;)
> 1. пальчики у всех разные... настройки сделаешь?Лазерные клавиатуры никогда не видели? Они именно этим и занимаются. Подсветка лазером нехило в этом помогает. Заодно вы еще и видите что печатаете :)
> Вот оно, будущее.Будушее - это возможность рулить силой мысли (прямой интерфейс человек-машина). Лучше чем перед камерой кривляться.
>> Вот оно, будущее.
> Будушее - это возможность рулить силой мысли (прямой интерфейс человек-машина). Лучше чем
> перед камерой кривляться.Нет не так. Будушее - это возможность силой мысли выполнять необходимую работу без участия машин (это промежуточное звено).
> Нет не так. Будушее - это возможность силой мысли выполнять необходимую работу
> без участия машин (это промежуточное звено).Люди - промежуточное звено.
> Люди - промежуточное звено.Тссс, роботы, не палимся.
Рюмка коньяка с долькой лимона - вот венец творения. Человек лишь промежуточное звено.
Тоже сначала так думал. Но купив ребенку XBOX с Kinect, ессесно вместе с ребенком изучал всю эту ацкую конструкцию, и через полчаса после первой игры понял ну его нафиг такое будущее с такими физическими нагрузками. :) Мышкой по столу елозить проще. Хотя детям думаю полезно двигаться, дети от этих жестов просто в восторге. :)
Всем полезно двигаться, не только детям :)
Ваши идеи находят практическое воплощение с 60-х годов. Мне понравились перчатки где клик реализован как сведение пальца с большим пальцем (кликов соотв. 4). Но практическое использование оказалось излишне неудобным.В 90-е мартышке вживили провода в мозг и научили использовать механическую руку силой мысли. Сейчас разрабатывают аналогичное решение пытаясь считывать волны мозга без сверления черепа.
Но всё это, как я думаю вы понимаете, не в СССР, не в России и не в Сколково.
> Но всё это, как я думаю вы понимаете, не в СССР, не в России и не в Сколково.Найвный чукотский бот.
>Мне кажется, для управления жестами пора придумывать что-то, отличное от мышки.Уже придумали - голосом, мыслью, взглядом. Осталось довести до ума.
А подобное пальцемахание - глупости. Когда будут экраны в воздухе, тогда они будут иметь смысл. Хотя, толстожопому будет удобно, лежа на диване с бутылкой пива, переключить другой роли порнухи на тытруба.
прикольно, интересно пощупать... если так можно выразиться :)
нашёл практическое применение - повесить монитор + Raspberry Pi + Kinect на стене под потолоком на кухне)))
Так вот он какой танец с бубном ))))
Ага, в бубне - rfid-чип для доступа к административным функциям )))
Gunomushiki-do
Gnome-do, Путь Гнома, или Искуcство Побеждать Программы.В книге:
Ката Журавль взмахнул крыльями и запустил Программу
Ката Обезьяна Ошиблась
Ката Обезьяна Ошиблась-2
Ката Обезьяна Ошиблась-3
Ката Обезьяна Изображающая Журавля
Ката Змей ползающий между окон
Ката Комар Жалящий все окна
Ката Злой Дракон Запутавшийся в Окнах
Ката Рассвирепевший Тигр Прыгающий на Монитор и Ударяющий его Лапой
Ката Уставшая Обезьяна без Монитора
Теперь мне все ясно, мне ясно почему все такое большое в гноме. Это чтобы сдалека не промахнуться.
Кэп не дремлет :D
Если у вас проблемы с работой в 3D приложениях в том числе Wine: нельзя переключиться на другую программу/рабочий стол, свернуть и т.п. Открой для себя Гноме 3, как это сделали для себя многие. Поняв философию интерфеса, выучив пару тройку хоткеев уже не захочется, что-то другого, кроме может быть устаревшего оборудования. Проект бурно развивается и на целен на будущее. ИМХО реальной альтернативы ему нет в своей категории... А так злобно критиковать зачем? Сделай лучше...
ЗЫЖ Основной аргумент ненавистников звучит один - слишком унифицированный интерфейс, нормальный человек посчитает это только плюсом единый интерфейс на многих типах/формах устройств.
GNOME: решение на уровне "посмотрите что я могу", практической пользы из-за неудобства и колоссальных затрат энергии не имеет.Игры: Кинект используется уже давно и широко (для игр собственно и создавался), так что "отдельный интерес представляет демонстрация возможностей для управления играми" показывает желтизну ресурса во всей красе.
управления играми - _которые изначально под киннект не затачивались_.
"Игры, написанные для Kinect" и "Kinect, разработанный для игр" - это программно-аппаратный комплекс, дяденька.
Напомнило сцену из фильма "Особое мнение"
> Jeepers!
>
> This video can’t be played with your current setup.
> Please switch to a browser that provides native H.264 support or install Adobe
> Flash Player.Opennet местами бывает ну прям такой OPENnet xD xD xD
Вот тут-то и проявил себя гном три в самом лучшем виде: им легко управлять чем угодно, в том числе методами которые не были придуманы во время написания кода. Глючный тачпад, мышка, тачскрин, графический планшет — на любом устройстве среда отлично управляема и не раздражает.
