TapType: Yalnızca İvmeölçerler Kullanarak Yapay Zeka Destekli El Hareketi Takibi


İsviçre, ETH Zürih’teki Algılama, Etkileşim ve Algı Laboratuvarı ekibi, TapType, ilginç bir metin giriş yöntemi Bu, yalnızca bileğe takılan ve kullanıcı herhangi bir eski yüzeye yazı yazdığında hızlanma değerlerini algılayan bir çift cihaza dayanır. Her bir bilekteki bir çift sensörden gelen hızlanma değerlerini, sırayla geleneksel bir olasılıksal dil modelini besleyen bir Bayes çıkarım sınıflandırma tipi sinir ağına besleyerek (tahmini metin, size ve ben) sonuçta ortaya çıkan metin 19 WPM’ye kadar girilebilir. %0,6 ortalama hata ile. Uzman TapTyper’lar, oldukça kullanışlı olabilecek 25 WPM’ye kadar hızlar bildirir.

Ayrıntılar biraz azdır (sonuçta bu bir araştırma projesidir) ancak gerçek donanım, İletişim Kutusu DA14695 güzel bir Cortex M33 tabanlı Bluetooth Low Energy SoC. Bu, ana CPU’dan bağımsız olarak arayüzlerine bağlı sensör cihazlarını idare edebilen bir “sensör düğüm denetleyicisi” bloğu içeren, başlı başına ilginç bir cihazdır. Kullanılan sensör cihazı, Bosch BMA456 Sadece 150 μA’lık düşük güç tüketimi ile dikkat çeken 3 eksenli ivmeölçer.

Kullanıcı herhangi bir uygun yüzeye “yazabilir”.

Bileklik birimlerinin kendileri, BLE çipini barındıran bir ana PCB ve her iki ucunda bir çift ivmeölçer cihazı bulunan esnek bir PCB’ye bağlanan destek devresinin bir kombinasyonu gibi görünüyor. Montaj daha sonra muhtemelen 3D baskılı TPU’dan yapılmış esnek bir bilekliğe kaydırıldı, ancak ilk gömülü platformdan giyilebilir prototipe geçiş belirsiz olduğu için gerçekten tahmin ediyoruz.

Açık olan şu ki, bilekliğin kendisi sadece aptal bir veri akışı cihazıdır ve tüm akıllı işlemler bağlı cihazda gerçekleştirilir. Sistemin eğitimi (ve ardından en doğru sınıflandırıcı mimarisinin seçimi), gönüllülerin A3 boyutlu bir klavye görüntüsüne “yazarak”, parmak hareketleri bir hareket izleme kamerası ile izlenirken, her iki bilekten de ivme veri akışları kaydedilerek gerçekleştirildi. içinde birkaç detay daha var yayınlanan makale Bu araştırmayı biraz daha derinlemesine incelemek isteyenler için.

Kartal gözlü, bir VR ortamında girdi olayları oluşturmak için VR tipi el izleme ile kemik iletimi algılamayı ilişkilendiren aynı ekipten geçen yıla benzer bir şey hatırlıyor olabilir.


Kaynak : https://hackaday.com/2022/05/14/taptype-ai-assisted-hand-motion-tracking-using-only-accelerometers/

Yorum yapın