Yapay Görme Kullanarak İşaret Dili Öğrenin


Yeni bir dil öğrenmek, zihni çalıştırmanın ve farklı kültürler hakkında bilgi edinmenin harika bir yoludur ve öğrenme deneyimini geliştirmek için anadili İngilizce olan birinin olması harikadır. Bir tane olmadan, videolar, kitaplar ve yazılımlar aracılığıyla öğrenmek hala mümkün. Amerikan İşaret Dili gibi konuşulmayan bir dili öğrenmeye çalışırken görev çok daha karmaşık hale geliyor. Bu proje, kullanıcıların bilgisayarlı görme ve bazı makine öğrenimi algoritmaları yardımıyla ASL alfabesini öğrenmelerini sağlar..

Yapı, MobileNetV2’de ASL alfabesindeki her işaret için eğitilmiş bir bilgisayarlı görü modeli kullanır. Bir ekranda kullanıcıya bir işaret gösterilir ve kullanıcının ilerlemek için işareti bilgisayara göstermesi gerekir. Bunun için Raspberry Pi üzerinde PiCamera ile çalışan OpenCV, kullanıcının karelerini gerçek zamanlı olarak analiz etmek için kullanılır. Kullanıcıya doğru tabelanın resimleri gösterilir ve doğru tabela yapıldığında ödüllendirilir.

Bu, şu anda yalnızca ASL’deki alfabe işaretleri için geçerli olsa da, bu projeyi oluşturan Glasgow Üniversitesi’ndeki ekip, onu diğer işaretleri de içerecek şekilde genişletmeyi planlıyor. Geçmişte ASL’yi öğretmek için yapılmış, bilgisayar görüşünden ziyade özel bir eldivene dayanan bunun gibi başka makineler gördük.



Kaynak : https://hackaday.com/2022/04/30/learn-sign-language-using-machine-vision/

Yorum yapın