Разработчик под ником Nekhil представил умные очки, которые могут переводить язык жестов в речь. Устройство на базе одноплатного компьютера Raspberry Pi Zero 2 W использует камеру Raspberry Pi Camera Module V2, а за распознавание жестов отвечает модель YOLOv8.
По словам Nekhil, изначально он планировал использовать новейший Raspberry Pi 5, но затем остановился на Pi Zero 2 W, который при своей компактности вполне подходил для его задачи.
Для разработки своего устройства Nekhil использовал открытую платформу VIAM, предназначенную для реализации проектов в области искусственного интеллекта. За распознавание и интерпретацию языка жестов отвечает модель YOLOv8. После распознавания жеста модель определяет, какой букве он соответствует, и озвучивает её при помощи синтеза речи. В деталях проекта Nekhil отмечает, что, хотя VIAM работает с Tensor Flow Lite, он выбрал YOLOv8, так как эта модель лучше справляется с распознаванием американского жестового языка (ASL).
Raspberry Pi Zero 2 W подключён к модулю камеры V3, который располагается в передней части оправы очков. Это позволяет ей снимать всё, что находится перед пользователем. Оправу Nekhil спроектировал в Fusion 360 и напечатал на 3D-принтере.
Подробнее о проекте можно узнать на Hackster.
