本学情報工学研究院システム創成情報工学研究系の齊藤剛史准教授は読唇技術の研究に取り組んでおり、今回、読唇技術をスマートフォンやタブレットなどのスマートデバイスで体験できるWeb版のデモンストレーションアプリを開発しました。

読唇技術は音声情報を用いずに映像情報のみから発話内容を推定する技術で、走行中の車内や、賑やかな場所など音声認識技術の利用が難しい高騒音環境、図書館や待合室など音声認識技術を利用しにくい公共の場所、加齢や喉頭摘出などにより音声コミュニケーションが困難な障害者が利用可能な次世代の音声認識インタフェースとして期待されています。

今回開発した読唇技術のデモンストレーションアプリは、日本語25単語を対象としており、認識精度など実用化のための課題が残っていますが、読唇技術とはどのようなものなのかを誰でも簡単に体験していただける、スマートデバイスでデモンストレーション可能な世界初の読唇システムです。

読唇技術のWeb版デモンストレーションアプリの概要

現在は主に音声コミュニケーションが難しい障害者のコミュニケーション支援の実用化を目指して研究開発を進めています。障害者と健常者のスムーズなコミュニケーションを実現することで、障害者の社会参加の促進、介護負担の軽減が期待できます。

※Web版読唇技術デモンストレーションアプリはこちら

※なお、本研究は英国雑誌「Impact」に掲載されました。詳細はこちら

※本研究の一部は文部科学省科学研究費補助金16H03211および平成28年度文部科学省地域イノベーション・エコシステム形成プログラムの助成を受けています。

◇詳細はこちらから(プレスリリース本文)