Authors: 松平茅隼， カストナーマークアウレル， 駒水孝裕， 平山高嗣， 道満恵介， 井手一郎

Abstract:

テキストから画像を生成するモデルが近年急速に発展する一方で，定義が存在しない語（未知語）に対する生成画像が人間の直感と合致しないという問題点はあまり着目されてこなかった．未知語に対する生成画像が人間の直感と相違する原因として，人間が未知語の発音から直感的に意味や印象を想像，またその類音語を連想する心理学的現象がある．そこで本発表では，類音語の連想性を考慮した未知語―画像間の対応付けを行なうことで，未知語に対するより直感的な画像生成を実現する．主観評価実験により，提案手法がテキストから画像を生成する既存手法と比べ，未知語に対してより人間の直感に合致した画像を生成することを確認した．また，提案手法を多言語へ拡張しその画像生成結果を比較することで，他言語間で類似／相違した概念を連想する発音の探索を試みた．

Type: Poster at MIRU Symposium (画像の認識・理解シンポジウム), Awarded with MIRU Interactive Session Award (MIRUインタラクティブ発表賞 受賞)

Publication date: July 2023