Transformer

Transformerは、現在の生成AIやLLMの土台になっているAIの構造の一つです。文章を読む際に、離れた単語どうしの関係までまとめて把握できる点が特徴です。たとえば「それ」が何を指すかを、前の文全体をふまえて判断します。従来は文章を前から順番に処理していましたが、Transformerは全体を同時に扱えるため、学習を効率よく進められます。2017年にGoogleの研究者が発表しました。ChatGPTの「GPT」のTもTransformerを指しています。