マルチモーダル

マルチモーダルは、文章だけでなく、画像や音声、動画など複数の種類の情報をまとめて扱えるAIのことです。モーダルは「情報の様式」を意味し、目と耳と言葉を同時に使えることに近いといえます。たとえば写真を見せて「これは何の料理か、レシピも教えて」と聞くと、画像を読み取って文章で答えます。人が複数の感覚を組み合わせて状況を把握するように、複数の入り口から情報を受け取れるほど、対応できる作業が広がります。