Объем рынка протезирования нижних конечностей за 2024 год составил более 138 тыс. изделий. Ограничение роста числа применений бионических протезов во многом обусловлено длительностью реабилитации пациентов. В связи с этим мы решили изучить текущий процесс от потребности в протезе до окончания реабилитации.

АКТУАЛЬНОСТЬ

На данный момент поцесс от получения протеза до его эксплуатации заключается в длительной настройке протеза с нуля при непосредственном участии пациента в течение курса сессий.
В свою очередь тестирование протезов на надежность на производстве выполняется либо при участии человека, либо в нереалистичных условиях.

АНАЛИЗ СФЕРЫ

Мы посчитали, что данные проблемы могли бы быть решены при помощи стенда, иметирующего человеческую походку, что, с одной стороны, позволило бы тестировать протезы в условиях приближенных к реальным сценариям использования, и, с другой стороны, выполнять предварительную настройку протеза под параметры конкретного человека (рост, вес, индивидуальные особенности походки и д.р.) еще до первой примерки, что позволит сократить время настройки протеза непоспредственно на человеке

Создание такого стенда является сложным не только технически, но и алгоритмически. Мы же в своем проекте сосредоточились именно на алгоритмической части.

Целевой аудиторией могут являться реабилитологи и разработчики протезов

ЦЕЛЕВАЯ АУДИТОРИЯ

ЦЕЛЬ

Задачи

БИОМЕХАНИКА

Разработака конструкции бедра для соединения фланца промышленного робота-манипулятора с пасивным протезом нижней конечности

МАКЕТ БЕДРА

ПРОГРАММИРОВАНИЕ РОБОТА

Применение метода виртуальных голономных связей (VHC) для построения семейства кривых, описывающих фазы походки на различных скоростях

АЛГОРИТМ

КОМПЬЮТЕРНОЕ ЗРЕНИЕ

1

2

3

4

5

РЕСУРСЫ

Материальное обеспечение

НТУ "Сириус" предоставил нам:

• Шестиосевой робот-манипулятор

Кобот АИМ РСИ 607-890

• Беговая дорожка Torneo
• Пассивный протез левой ноги
• Камера захвата движения NOKOV Orbit
• Камера технического зрения Sony
• Шаговый двигатель ISV57t

Собственная разработка

Отдельно был спроектирован макет бедра для соединения фланца промышленного робота-манипулятора с пасивным протезом нижней конечности. Было создано крепление камеры к беговой дорожке. Проработана концепция применения и реализации активного протеза с применением шагового двигателя.

Математическая модель

Обобщённые координаты выбраны как относительные углы в суставах: ................ в фазе переноса и ................. в опорной фазе.

В фазе переноса нога представляется двухзвенным маятником (бедро + голень со стопой) с
управляющими моментами в тазобедренном и коленном суставах. Точка подвеса (таз) движется в
направлении ходьбы; при ходьбе по беговой дорожке модель сводится к маятнику с неподвижным
подвесом.

В опорной фазе нога моделируется перевёрнутым двухзвенным маятником с точкой опоры в голеностопе и управляющими моментами в голеностопном и коленном суставах.

Для построения алгоритма генерации траекторий использована модель динамики многозвенного тела на основе уравнений Эйлера–Лагранжа. Для каждой фазы шага динамика записывается в
стандартной форме.

• Параметры звеньев ....................... восстанавливаются по антропометрическим данным из роста, массы тела и длин сегментов конкретного человека.
• Особенности походки задаются связью между углами в суставах, измеренной на здоровой ноге испытуемого или восстановленных.
• Параметры протеза учитываются заменой характеристик соответствующего звена и типом момента в коленном суставе:

‣ пассивный протез - ....................
(жёсткость и демпфирование как настраиваемые параметры);
‣ активный протез -........ - независимое управление.

Особенности походки формализуются как виртуальная голономная связь между суставными углами, снятая со здоровой ноги:

Связь .... аппроксимируется по записи здоровой походки.
Траектория получается путем подстановки связи в уравнения динамики и, в случае пассивного протеза - аналитическое решение, активного протеза - решение оптимизационной задачи в рамках ограничений, выводимых из траектории здоровой конечности.
На выходе алгоритм даёт опорную траекторию движения бедра ............ (и, при необходимости, ................ ) для целевой скорости , которая подаётся как задание на привод стенда.

Верификация выполнена сравнением сгенерированных траекторий с записью системы захвата движения. Пайплайн верификации:

1. Захват движения реальной походки испытуемого (набор маркеров на сегментах нижней конечности).
2. Восстановление углов из траекторий маркеров.
3. Фильтрация и сегментация записи на циклы шага по событиям постановки/отрыва стопы.
4. Приведение циклов к нормированной фазе ................. и усреднение по циклам.
5. Сравнение сгенерированной и измеренной траекторий по метрикам: среднеквадратичное отклонение по моментам.

Индивидуальные параметры испытуемого входят в модель через матрицы .////..........:

БИОМЕХАНИКА

Захват движения

Мы произвели запись походки нашего эксперта при помощи камеры захвата движения NOKOV Orbit.
Мы прикрепили светоотражающие маркеры к ключевым точкам: таз, бедро, колено, голень, стопа, носок, пятка. И записали 3-D координаты точек во времени. Визуализировали данные и вычислили углы в тазе, колене и голени от времени.

На изображении представлены траектории движения маркеров, полученные при помощи камеры захвата движения. Слева - в трехмерном пространстве, справа - в проекции на сагитальную плоскость.

Построение динамической модели

Подтавив в уравнения динамики эти функции и параметры человека, мы получили управляющие моменты. Мы усреднили их и подставили обратно в уравнения динамики, чтобы вычислить усредненную траекторию.

На изображении представлены графики моментов в суставах от времени на одном шаге по отдельным фазам

Графики моментов от фазы цикла, усредненные по всем шагам, моменты в голени и тазу рассматриваются только в соответствующую фазу шага, в колене - на протяжении всего шага

Анализ траекторий

Поскольку получить функцию зависимости одного угла от другого невозможно из-за отсутствия монотонности, мы параметризовали полученные два угла от фазы. Данные функции мы подставили в уравнение динамики, получили уравнение, описывающее семейство траекторий. В случае активного протеза мы выбираем оптимальные угловые скорости с минимальными затратами энергии.

Виртуальная голономная связь - связь между координатами, не обусловленная физическим ограничениями, а искуственно вводимая в модель. Графики VHC (virtual holonomic constraints, виртуальных голономных связей) 1ая гипотеза 𝑞 2 = 𝑓 ( 𝑞 1 ) не сработала, так как одному значению 𝑞 1 может соответствовать два значения 𝑞 2 . Поэтому вводим монотонную фазу s, от которой строим графики обоих углов

Графики углов и угловых скоростей от фазы, как и на предыдущем, цветная линия - усреднение по моментам, цветная зона - разброс по нескольким шагам, пунктир - генерация. Поскольку наши голономные связи ограничивают саму траекторию, но не диктуют в точности, как по ней двигаться, скорости выбираются решением задачи минимизации интеграла управления на периоде фазы

КОМПЬЮТЕРНОЕ ЗРЕНИЕ

В проекте с помощью компьютерного зрения мы динамически определяем скорость дорожки, скорость и положение препятствия.

Рабочая область задается 4 маркерами на ее вершинах, для определения скорости дорожки мы равномерно нанесли штрихи через каждые 10 см и считаем скорость через простейшую формулу от пути и времени.

Скорость препятствия тоже считается простейшим образом по смещению его центра масс от времени, а координаты вычисляются при помощи преобразования гомографии.

Благодаря техническому зрению и парсингу позиции манипулятора мы можем предугадать столкновение и включить траекторию перешагивания, а также выбрать скорость ходьбы и перешагивания.

ИТОГОВЫЙ АЛГОРИТМ

Итоговый алгоритм включает в себя 4 программы: 2 на ПК, 2 на Коботе.

Ключевая - PointGenerator, работающая на ПК, которая единожды генерирует состояния-триггеры для KobohodTrigger и триггеры и соответствующие им кортежи координат траекторий в память Trigger.
KobohodTrigger работает на ПК и динамически определяет, какой триггер записать манипулятору в регистр.
SendPosition фоново работает на коботе и отправляет текущее положение по сокету.
Trigger - главная программа кобота, которая динамически запускает плавные траектории по регистру триггера манипулятора.

фаза s

фаза s

РЕЗУЛЬТАТ

А вот и наш результат!
С работой нашего алгоритма на практике, а также с другими полезными материалами можно ознакомиться перейдя по qr-code