「トークン」という言葉に出くわして、この記事にたどりついた方へ。一言でいうと、**トークンは「AIが文章を処理するときの最小単位」**です。文字でも単語でもない、AI独自の区切りだと考えてください。
結論：3行まとめ
- トークンとは、AIが文章を噛むときの「一口の大きさ」。単語でも文字でもありません。
- AIの料金・記憶（どこまで覚えていられるか）・精度は、すべてこのトークンの数で決まります。
- 日本語は英語よりトークンを多く消費するため、同じ内容でも「割高・上限が早い」傾向があります。
「結局なにを押さえればいいのか」を先に言うと、トークンは1つの物差しで料金・記憶・精度をまとめて説明できる概念だ、という点です。ここが分かると、AIの挙動の多くが腑に落ちます。
トークンとは？ ―「AIが文章を噛む一口の大きさ」
トークン（token）とは、AIがテキストを処理するために区切った最小単位です。
人間は文章を「単語」で読みます。一方でAIは、文章をトークンという独自サイズの一口に切り分けてから処理します。この一口は、ときに単語ひとつ分、ときに単語の一部分です。
なぜ単語のまま扱わないのでしょうか。世の中の単語の種類は膨大で、すべてをそのまま扱うと計算が爆発してしまいます。そこで、ほどよい大きさの「トークン」という単位に分割することで、膨大な文章を効率よく処理できるようにしているのです。
ここで押さえておきたいのは、トークンは文字数とも単語数ともイコールではないという点です。同じ文章でも、言語や記号の使い方によってトークン数は変わります。
補足：AIがどうやって「次のトークン」を予測して文章を作るのかは、LLMとは？初心者向けに5分でわかる解説 で詳しく扱っています。トークンはその予測の「単位」にあたります。
なぜトークンが重要なのか ― 料金・記憶・精度すべてに効く
トークンが大事なのは、それがAIの3つの性質を同時に左右するからです。
① 料金 ― 従量課金はトークン数で決まる
AIをAPIなどで利用する場合、料金は送ったトークン数＋返ってきたトークン数で計算されるのが一般的です。長い文章を投げれば投げるほど、コストは増えていきます。
ChatGPTの月額プランのような定額制でも、長い文章ほど内部的な負荷が増える点は共通です。いずれにせよ「トークンが多いほどコスト・制約が増える」と捉えておけば大きく外しません。
② 記憶 ― コンテキストウィンドウという上限
AIには「コンテキストウィンドウ」と呼ばれる、一度に扱えるトークン数の上限があります。文脈長（context length）とも呼ばれます。
この窓に入る範囲が、AIが「いま見えている文章」のすべてです。会話が長くなり、この上限を超えると、古い部分は窓からあふれて見えなくなります。
なお、コンテキストウィンドウの広さはAIモデルによって大きく異なります。モデルごとの違いは ChatGPT・Claude・Gemini の違い完全比較 でも触れています。
③ 精度 ― 上限を超えると「最初の話」を忘れる
長い会話を続けていて、AIが最初に伝えた前提を忘れてしまった経験はないでしょうか。あの現象の正体が、まさにコンテキストウィンドウの超過です。
上限を超えた古いトークンはAIの視界から外れるため、結果として回答の精度が落ちたように見えるわけです。料金・記憶・精度は、すべて同じ「トークン」という物差しでつながっています。
コンテキストの上限とどう付き合うか、設計面の話は コンテキストエンジニアリングとは？ で掘り下げています。
日本語は英語より「トークン効率が悪い」 ― 体感の正体
「日本語で使っていると無料枠がすぐ尽きる」と感じたことはありませんか。これは気のせいではなく、構造的な理由があります。
英語では、多くの場合1単語がおおよそ1トークンに収まります。一方で日本語は、1文字で2〜3トークンを消費することも珍しくありません。
その結果、同じ内容でも日本語は英語に比べておおむね1.6〜2.4倍ほどトークンが膨らむとされています。これが「日本語だと割高・上限が早い」体感の正体です。
注意点として、ここで挙げた倍率はあくまで目安です。実際の数値は、使うAIモデルや内部のトークナイザ（区切り方の仕組み）によって変わります。
トークン数の目安と数え方
厳密なトークン数はモデルごとに異なりますが、ざっくりした感覚をつかむための目安は次の通りです。
| 言語 | おおよその目安（あくまで概算） |
|---|---|
| 英語 | 4文字前後で約1トークン |
| 日本語 | 1文字で複数トークンになりやすい |
繰り返しになりますが、これは概算です。正確に知りたい場合は、主要なAI提供各社が公式に用意している「トークナイザ（トークン計算ページ）」に文章を貼り付けると、その文章が何トークンになるかを実際に数えられます。日本語と英語で同じ意味の文を入れて数を比べると、効率差をその場で体感できます。具体的なツール名や仕様は提供元の最新情報を確認してください。
トークンを節約する5つのコツ
無料枠やAPI料金を抑えたいときに効く、実践しやすい工夫を5つ紹介します。
- 指示を簡潔にする ― 冗長な前置きを削り、要点だけを渡す
- 会話履歴を引きずらない ― 話題が変わったら新しいスレッドを立てる
- 長文は要約して渡す ― 全文ではなく必要な箇所だけを抜き出す
- 出力フォーマットを指定する ― 「箇条書きで」など指定し、無駄に長い回答を防ぐ
- 英語で済む作業は英語で ― 翻訳や定型処理など、内容を選べば効率が上がる
これらは、プロンプトを短く的確にする工夫そのものでもあります。プロンプト設計の基本は プロンプトエンジニアリング基本の型5選 にまとめています。
よくある誤解Q&A
Q. トークン＝文字数ですか？ いいえ。トークンは文字数とは別物です。同じ文字数でも言語や記号でトークン数は変わります。
Q. 1トークン＝1単語ですか？ 英語では近いことが多いですが、日本語では当てはまりません。日本語は1文字で複数トークンになることがあります。
Q. ChatGPTの「文字数制限」とトークンは別物ですか？ よく「文字数制限」と表現されますが、実体は文字数ではなくトークンの上限です。だから同じ文字数でも、内容によって引っかかったり引っかからなかったりします。
まとめ
トークンとは、AIが文章を噛むときの「一口の大きさ」です。そして、AIの料金・記憶・精度は、すべてこの一口の数で決まります。
- 料金：従量課金はトークン数で計算される
- 記憶：コンテキストウィンドウ＝トークンの上限
- 精度：上限を超えると古い文脈を忘れる
日本語は英語よりトークンを多く使うため割高になりやすい、という構造も押さえておくと、AIの挙動が一段わかりやすくなります。ただしトークン数の倍率や目安はモデルによって変わるため、正確な値は各ツールで確認してください。
次に読むのにおすすめ
- LLMとは？初心者向けに5分でわかる解説 ― トークンを予測して文章を作る仕組みの全体像
- コンテキストエンジニアリングとは？ ― トークン上限とどう付き合うかの設計論
- プロンプトエンジニアリング基本の型5選 ― トークン節約にも効く、簡潔な指示の作り方