Исследователи из Университета Аалто и Лейпцигского университета представили инструмент Log2Motion, который впервые позволяет заглянуть за пределы обычной аналитики касаний экрана. Если раньше данные со смартфонов показывали лишь точки нажатий и свайпы, то теперь становится ясно, какие реальные физические усилия стоят за этими действиями. В основе системы лежит цифровая модель человеческого тела, включающая виртуальные кости и мышцы. Она получает данные о взаимодействии пользователя с экраном и воспроизводит движения пальца, одновременно оценивая мышечную активность, точность и энергозатраты. Такой подход позволяет увидеть, насколько «дорогими» с точки зрения усилий оказываются даже самые привычные жесты.
Модель использует обучение с подкреплением, чтобы генерировать реалистичную механику движений, и напрямую взаимодействует с мобильными приложениями через программный эмулятор. В результате обычные логи касаний превращаются в полноценные сценарии движения, где можно отследить скорость, точность и нагрузку на пользователя. Эксперименты показали, что далеко не все действия одинаково удобны. Например, вертикальные свайпы оказываются более требовательными к контролю, а работа с мелкими элементами интерфейса или кнопками в углах экрана требует дополнительных усилий. Эти нюансы раньше оставались вне поля зрения разработчиков.
Появление таких инструментов может заметно изменить подход к дизайну мобильных интерфейсов. Теперь речь идет не только о визуальной эстетике или скорости взаимодействия, но и о физическом комфорте пользователя. Это особенно важно для людей с ограниченными возможностями, сниженной моторикой или при использовании устройств одной рукой в нестандартных условиях. Разработчики ожидают, что подобные системы станут частью стандартного набора инструментов при создании интерфейсов. В перспективе они позволят адаптировать приложения под индивидуальные особенности пользователя и сделать взаимодействие со смартфонами не только быстрым, но и по-настоящему комфортным.
