Une application de traduction en langue des signes deviendra-t-elle jamais une réalité?

Imaginez un monde où les barrières entre les sourds et l'audience ont disparu. Un monde où les conversations se déroulent de manière fluide entre ceux qui entendent des sons et ceux qui ne les entendent pas. Ce monde pourrait-il devenir réel dans un proche avenir?

En juin, un groupe d'étudiants en marketing de la Berghs School of Communication a développé un concept vidéo pour un produit fictif appelé Google Gesture. Le produit comprenait un bracelet portable et une application mobile utilisant l'électromyographie pour lire les mouvements musculaires d'une personne sourde qui utilise la langue des signes. Le système a ensuite transmis ces signaux à l'application, qui les a traduits en une voix numérisée et parlait pour la personne..

Regarder la fausse vidéo de marketing était plutôt excitant. Tellement excitant, en fait, que des sites technologiques majeurs tels que Mashable, Slashgear et d’autres ont initialement annoncé que le produit était réel, puis ont ensuite dû relater l’affirmation et s’excuser pour leur erreur. Ce fut une erreur étrange, étant donné qu'il y avait vraiment est un produit Google appelé Google Gesture Search [Non disponible plus], qui vous permet de dessiner des gestes sur votre écran de mobile pour rechercher des contacts, des signets, etc..

Quoi qu’il en soit, le concept des étudiants de Berghs a présenté une idée remarquable, qui a conduit à la question suivante: est-il possible de créer une telle application pour de vrai??

La traduction de la langue des signes est-elle possible??

Disséquer le concept marketing au niveau technique révèle que la technologie utilisant l’électromyographie (EMG) “sens” la langue des signes n’est vraiment pas si exagérée. Dès 2009, des chercheurs de l'Université de Washington ont pu utiliser plusieurs capteurs EMG pour décoder les mouvements musculaires et les convertir en gestes réels des bras et des mains..

Les chercheurs ont en réalité construit un “bibliothèque de reconnaissance de geste”, identifier quels signaux musculaires représentaient quel geste. La recherche prouve que ce type de technologie est disponible et prêt à être mis en œuvre dans le type d'applications envisagées par les étudiants de Berghs.

Alors, est-ce que quelqu'un a déjà accompli cela? Sinon, pourquoi personne ne le fait-il et donne-t-il aux personnes sourdes et malentendantes la possibilité de communiquer avec qui que ce soit dans le monde grâce à la langue des signes?

L'avenir de la technologie de traduction en temps réel

La vérité est que quelqu'un travaille en fait sur une telle technologie de traduction de la langue des signes en temps réel.

Il existe une société appelée SpeechTrans, qui repousse les limites des technologies de traduction. 3 meilleurs outils de traduction basés sur Google Translate 3 meilleurs outils de traduction basés sur Google Translate en savoir plus ces dernières années. SpeechTrans travaille avec des partenaires technologiques pour produire certains des services de traduction linguistique en temps réel les plus remarquables du marché. Ce sont des services qui traduisent une conversation textuelle en une conversation textuelle, une voix à l'autre et même une traduction en temps réel d'une langue à l'autre via un téléphone mobile et des applications de bureau..

MakeUseOf s'est réuni avec le directeur général de SpeechTrans, John Frei, et le directeur des opérations, Yan Auerbach, pour discuter de cette nouvelle technologie de traduction révolutionnaire. Comprenez toutes les langues avec ces sites Web de traduction en 5 langues Comprenez toutes les langues avec ceux-ci 5 Sites Web de traduction linguistique La technologie a fait du monde un endroit plus petit. Des personnes de toutes les régions de la planète utilisent beaucoup des mêmes outils, visitent certains des mêmes sites Web et se mêlent à divers forums de discussion en ligne. The… Read More et à quel point il pourrait être tourné vers l'avenir.

Développement d'une application de traduction en langue des signes

MUO: Est-il possible de faire la traduction du langage des signes en langage gestuel décrite par les étudiants de Berghs dans cette vidéo du concept Google Gesture?

John: Je dirais que la technologie est disponible pour développer cela. Nous travaillons actuellement avec Microsoft et Intel à l’exploration de certaines des technologies qu’ils développent, en termes de matériel et de logiciels. Nous envisageons la possibilité d’utiliser cette technologie pour reconnaître le langage des signes, puis le convertir en sortie audio et vocale.

MUO: Vous travaillez activement au développement de cette technologie en ce moment?

Yan: Il y avait donc un client qui utilisait notre logiciel et pensait que ce serait merveilleux si nous pouvions le modifier afin que les personnes malentendantes puissent l'utiliser pour passer des appels téléphoniques depuis notre application, pour communiquer sans avoir besoin de signer langue quand ils sont en personne ou sans avoir besoin d’un service de type ATS pour les appels téléphoniques. Nous avons développé ce produit et, avec un financement de Microsoft et d'Intel, nous avons lancé SpeechTrans pour les malentendants sous Windows 8.1, ce qui supprime le besoin de langage des signes..

MUO: Comment le “en personne” travail de l'application?

Yan: Il y a un mode d'écoute et un mode d'entrée. Ainsi, lorsque quelqu'un vous parle, vous passez en mode écoute et le texte de ce que vous dites est affiché à l'écran. Ensuite, lorsque vous répondez, vous le tapez, puis le message énonce ce que vous tapez. Avec le téléphone, vous composez simplement le numéro de téléphone de n'importe quelle personne, et quand celle-ci répond, cela devient un message instantané. Quoi qu'ils parlent, vous recevez un message instantané. Ensuite, tout ce que vous tapez est énoncé au téléphone. C'est la première phase.

Prochaine traduction en langue des signes

MUO: À quelles technologies peut-on s'attendre dans un avenir proche? Quelle est la prochaine phase?

John: Nous envisageons - pour une personne n'ayant que la capacité d'utiliser la langue des signes - de le faire devant un appareil tel qu'un téléphone, un ordinateur ou un ordinateur portable. Intel a un nouveau système de caméra, et Microsoft utilise également le Kinect, qui reconnaît les gestes.

MUO: Comment est-ce meilleur que le concept de brassard présenté par les étudiants de Berghs?

Yan: En gros, la nôtre fonctionnera de manière à ne pas nécessiter de mettre quoi que ce soit sur le bras. Il reconnaîtra 64 points sur votre main. Nous utilisons la version bêta de la caméra RealSense d’Intel. Ainsi, non seulement nous serons en mesure de reconnaître la totalité de la langue des signes et de nombreux dialectes différents de la langue des signes, mais nous pourrons également reconnaître les émotions, les expressions faciales et autres petites nuances, puis les convertir en mots parlés..

Cela ne vous obligera pas à porter des gants ou quoi que ce soit. Nous nous concentrons sur ce marché en particulier parce que nous aimons simplement aider les gens en général. Nous voulons non seulement aider les personnes qui souhaitent parler dans de nombreuses langues, mais nous voulons également aider les personnes qui ne peuvent parler aucune langue. La technologie existe et il n'y a aucune raison pour que leur qualité de vie soit différente de la nôtre.

John: C'est un concept réalisable. C'est juste une entrée et une sortie différentes. Certaines des conversations que nous avons eues avec Microsoft au sujet de certaines des technologies futures ont notamment permis à quelqu'un d'implanter une micropuce dans son cou, qui lit directement les schémas de ses ondes cérébrales. Donc, si vous aidez les personnes qui ne peuvent pas communiquer, nous verrions en fait quelque chose comme ça comme un déploiement de phase trois.

L'année dernière, un groupe d'étudiants est sorti avec un prototype fonctionnel de gant branché à un ordinateur. Les gestes que vous avez faits avec le gant seraient alors reconnus et convertis en langage des signes. Donc, ils ont déjà la capacité avec la technologie actuelle.

Notre vision est que nous ne voulons pas vraiment créer les accessoires comme les brassards que vous devez mettre. Il devrait être naturel et fluide pour les [personnes utilisant le langage des signes] de le faire devant leur caméra vidéo. 90% de ce que les gens disent dans la communication est en réalité dans leur langage corporel. Pour pouvoir accéder à la reconnaissance faciale, aux gestes et aux émotions, nous pourrons également utiliser ces données pour nous assurer que la traduction et ce qu'ils essaient de transmettre sont exprimés sous la forme appropriée..

MUO: Intel dispose-t-il de la technologie de reconnaissance de la langue des signes depuis cinq ans??

John: Intel a certainement beaucoup de ressources disponibles. Leur technologie et leurs logiciels avancent à un rythme où nous pouvons y arriver assez rapidement..

MUO: Avez-vous un laps de temps pour espérer commercialiser cette technologie??

John: Pour la langue des signes, il faut compter entre 12 et 18 mois.

MUO: Quelqu'un d'autre a-t-il autre chose à dire sur la traduction en langue des signes??

John: J'ai vu une vidéo YouTube montrant IBM faisant un prototype où quelqu'un parlait le langage des signes, mais c'était une preuve de concept et il n'y avait que trois ou quatre mots qu'il reconnaissait. Nous avons plus de cinq cent mille mots avec lesquels nous prévoyons de le diffuser, donc ça va passer à un tout autre niveau..

Conclusion

Bien que la vision imaginée par les étudiants de Berghs ne devienne peut-être pas l'application de traduction en langue des signes de l'avenir, cela ne signifie pas pour autant qu'un tel concept ne se produira pas. Le travail effectué par SpeechTran, Intel et Microsoft prouve que la traduction en langage des signes est presque certaine de devenir une véritable technologie dans quelques années à peine. Cela n'impliquera sans doute pas de brassards lourds, mais plutôt une caméra vidéo spéciale et une application mobile..

Grâce à la magie des gestes et de la reconnaissance faciale, cette application de traduction en langue des signes du futur promet de complètement révolutionner les communications interpersonnelles pour des centaines de milliers de malentendants 5 Meilleures ressources pour les utilisateurs de périphériques Mac et Apple avec handicaps 5 Meilleures ressources pour les utilisateurs de périphériques Mac et Apple Handicapés Lire plus ou malentendants partout dans le monde.

En savoir plus sur: Technologie bionique.