DEEPPOINT

トークン(Token)

要点

AIが文章を処理するときの、テキストの最小単位。

別名: 言語モデルのトークン

定義

トークンとは

トークンは、大規模言語モデルが文章を処理するときに使う、テキストを細かく分けた最小の単位です。単語や文字の断片にあたり、日本語は英語より、同じ内容でもトークン数が多くなりやすい傾向があります。AIが一度に扱える文章量の上限や、APIの利用料金は、トークンの数を基準に決まるのが一般的です。たとえば長い資料を読み込ませるほど、使うトークンが増えて費用も増えます。

関連するデータ

ディープテックDBと連動

ディープテックDBでは、この用語に近い分野「AI」のスタートアップを199社収録しています。AIの分野ページへ

AIの記事一覧で、この領域の最新の記事を読めます。

用語集の一覧へ戻る