Authors: 池田昂太郎， 松平茅隼， 加藤大貴， カストナーマークアウレル， 平山高嗣， 駒水孝裕， 井手一郎

Abstract:

言語の発音と口唇形状には密接な関係があるため，翻訳後の文の発音を翻訳前の文の発音に近づける技術は，映画の吹き替え，特にその歌唱シーンなど，人物が発話する際の口唇形状と発音がその前後で一致していることが望ましい場合に活用できる．そこで本研究では，一般的な自動翻訳における訳語選択アルゴリズムにおいて，音声学の知見に基づいて定義した口唇形状の類似度を導入する．翻訳後の意味と口唇形状の類似度との間のバランスを調整するための重みを設定することで，意味だけでなく口唇形状の類似性も考慮可能な歌詞の自動翻訳手法を提案する．

Type: Poster at MIRU Symposium (画像の認識・理解シンポジウム)

Publication date: August 2024