ExecuTorch alpha - PyTorch выпустили новый инструмент для запуска моделей на телефонах ⚡️ 

PyTorch выпустили новую версию своего инструмента - ExecuTorch alpha.

Он предназначен для развертывания больших языковых моделей и запуска моделей на Edge девайсах.

Edge ML - это технология, которая приближает алгоритмы машинного обучения к источнику данных, что значительно  сокращает задержку и улучшает возможности обработки данных в реальном времени.

ExecuTorch позволяет эффективно запускать Llama 2 7B и Llama 3 8B (и другие модели) на телефонах iPhone 15 Pro, iPhone 15 ProMax, Samsung Galaxy S22, S23 и S24 и других современных устройствах. 

Разработчики постоянно улучшают производительность на разных edge девайсах и добавляют новые модели.

Здесь можно посмотреть тесты производительности.

• Announce

• Github

В своем канале я разбираю новые модели машинного обучения и тестирую их, залетайте.