トークン(Token)
要点
AIが文章を処理するときの、テキストの最小単位。
別名: 言語モデルのトークン
定義
トークンとはトークンは、大規模言語モデルが文章を処理するときに使う、テキストを細かく分けた最小の単位です。単語や文字の断片にあたり、日本語は英語より、同じ内容でもトークン数が多くなりやすい傾向があります。AIが一度に扱える文章量の上限や、APIの利用料金は、トークンの数を基準に決まるのが一般的です。たとえば長い資料を読み込ませるほど、使うトークンが増えて費用も増えます。
関連するデータ
ディープテックDBと連動ディープテックDBでは、この用語に近い分野「AI」のスタートアップを199社収録しています。AIの分野ページへ
調達額の多い会社
- Sakana AI664億円
- Turing349億円
- Preferred Networks349億円
- LayerX252億円
- シンクサイト103億円
開催予定のイベント
- DCEXPO 2026(INTER BEE IGNITION×DCEXPO)2026.11.18-20
- EdgeTech+ 2026(旧ET&IoT Technology)2026.11.18-20
- Slush 20262026.11.18-19
- IAMAS創立30周年展「the Augmentation——テクノロジーとアートの短絡」2026.11.21-23
- アーキテクチャConference 20262026.11.26-27
AIの記事一覧で、この領域の最新の記事を読めます。