AI Form Analizli Sosyal Fitness Uygulaması

Motus'u React Native ve cihaz üstü TensorFlow Lite ile geliştirdik: kamera üzerinden gerçek zamanlı form analizi yapan sosyal fitness uygulaması takvimden önce App Store'a çıktı. Motus, ABD ve Hindistan pazarları için geliştirilmiş bir sosyal fitness uygulaması. Temel özelliği standart fitness uygulamalarının hiçbirine benzemiyor: kullanıcı antrenman yaparken uygulama, cihaz kamerasıyla formunu gerçek zamanlı izliyor, tekrarları yalnızca hareket doğru yapıldığında sayıyor ve form bozulduğunda geri bildirim veriyor. Diz hizası bozuk bir squat sayılmıyor. Tam derinliğe inmeyen bir şınav sayılmıyor. Tekrar sayacı bir form koçuna dönüşüyor.

Problem

Fitness uygulaması geliştirmek yaygın bir iş. Cihaz üstünde yapay zeka ile form analizi, sosyal özellikler, abonelik yönetimi ve koçlar için içerik sistemi olan bir uygulama geliştirmek ise bambaşka bir problem.

Motus'un hepsini sahiplenebilecek tek bir ekibe ihtiyacı vardı: mobil uygulama, makine öğrenmesi pipeline'ı, abonelik akışı, antrenman içeriği için CMS ve App Store ile Google Play yayını için test süreci. Bunu birden fazla tedarikçiye bölmek, ürünün bütünlüklü bir deneyim olarak çıkmasını imkansız kılardı.

Ne Yaptık

Motus uygulamasının tamamını React Native ile geliştirdik. Tek kod tabanından iOS ve Android.

Yapay zeka form geri bildirim sistemi tamamen cihaz üstünde, TensorFlow Lite ile çalışıyor. Cihaz kamerası kullanıcının hareketini gerçek zamanlı yakalıyor, TensorFlow modeli vücut pozunu kare kare analiz ediyor. Hareket o egzersiz için doğru form kriterlerini karşıladığında tekrar sayılıyor. Karşılamadığında uygulama düzeltici geri bildirim veriyor: egzersize göre diz pozisyonu, kalça hizası ya da hareket açıklığı hakkında bir uyarı. Cloud'da çıkarım yok, gecikme yok, videoyu sunucuya gönderme gibi bir gizlilik sorunu yok. Model cihazda yerel olarak çalışıyor.

Bu teknik olarak zorlu bir iş. Aktif video yakalama sırasında cihaz üstü makine öğrenmesi çıkarımı hem işlemciyi hem grafik birimini yoruyor. Inference pipeline'ını, kamera kare hızını düşürmeden ve uzun antrenman seanslarında ısınma kaynaklı yavaşlamaya yol açmadan çalışacak şekilde optimize ettik.

Sosyal katman kullanıcıların birbirini takip etmesine, antrenman paylaşmasına ve liderlik tablosunda yarışmasına imkan veriyor. Antrenman akışı ve aktivite takibi, uygulamaya tek tek seansların ötesinde bir ağ etkisi kazandırıyor.

Abonelik yönetimi, iOS ve Android için doğrudan ödeme akışlarıyla kuruldu ve uygulamanın içerik açma sistemiyle entegre edildi. Ücretsiz kullanıcılar sınırlı antrenman görüyor, aboneler tam erişim alıyor.

Motus içerik ekibinin egzersizleri, programları ve koçluk ipuçlarını kod tabanına dokunmadan yönetebilmesi için Strapi CMS kurduk. Yeni egzersizler eklenebiliyor, form kriterleri güncellenebiliyor ve programlar tamamen içerik panelinden yeniden kurgulanabiliyor.

Uygulama yayına çıkmadan önce iOS ve Android'de tam test sürecinden geçti. Buna farklı vücut tipleri, ışık koşulları ve kamera açılarında form modeli doğruluk testi de dahildi.

Sonuç

Motus takvimden önce çıktı ve App Store'da yayında. ABD ve Hindistan'daki fitness kullanıcılarını hedefliyor.

Cihaz üstü TensorFlow form analizi ürünün temel farklılaştırıcısı. Yapay zeka kullanan fitness uygulamalarının çoğu videoyu analiz için sunucuya gönderiyor. Motus çıkarımı yerelde yapıyor. Bu da hareket sırasında sıfır gecikmeli geri bildirim, cihazdan hiç veri çıkmaması ve internet bağlantısı olmadan tam işlevsellik demek.