В Microsoft хотят расширить возможности сенсорных панелей и научить их воспринимать жесты, создаваемые руками. Например ладонь поставленная ребром может восприниматься как прямая линия для обрезания изображения. Буква «О», показанная рукой, может автоматически вызывать увеличительное стекло.
Пока базовых жестов всего три: кулак удерживает объекты, рука, поставленная на ребро, задает линию перпендикулярно которой можно двигать объект, и еще один жест устанавливает ось вращения. Добавление других жестов не является проблемой, но в то же время в Microsoft хотят свести их количество к минимуму, чтобы пользователям не пришлось заучивать слишком много новых движений.
Для демонстрации проекта «Rock and Rails» используется платформа Surface, которая умеет отслеживать жесты пользователей с помощью методов, недоступных в обычных сенсорных экранах. Таким образом ожидать внедрения новой технологии в мобильных устройствах уже завтра, не стоит.