無料診断

トークン

トークンとは、AIが文章を処理するために区切る小さな単位です。利用料金の計算にも、一度に読み込める文章量の上限にも、この単位が使われます。

AIサービスの料金表を見ると「100万トークンあたり◯ドル」と書かれていたり、長い仕様書を貼り付けたら「上限を超えました」と断られたりします。この「トークン」という言葉の正体をつかんでおくと、料金の見積りも、うまくいかなかった原因の切り分けも、ぐっと楽になります。この記事では、トークンとは何か、1トークンがどれくらいの長さなのか、なぜ日本語は割高になりやすいのかを公式資料をもとに整理し、そのうえで建設会社の実務でどう関わってくるのかを見ていきます。

トークンとは

トークンとは、AIが文章を処理するために区切る小さな単位のことです。人が文章を単語や文字で読むのに対し、AIは文章をいったんトークンの並びに切り分けてから中身を扱います。OpenAIの開発者向け資料では、モデルはテキストを「トークンと呼ばれるかたまり」で処理し、トークンは「よく現れる文字の並び」を表すものだと説明されています。

英語の例として、OpenAIは「tokenization」という語が「token」と「ization」の2つに分かれる一方、「the」のような短くよく使われる語は1トークンとして扱われる、と示しています。日本語でも同じことが起きます。AI Watchの用語解説では「私は車を使います」という8文字の文が、AIの内部では「私」「は」「車」「を」「使い」「ます」のような単位に分けられると紹介されています。つまり、1文字ずつでも1単語ずつでもない、その中間くらいの刻み方だと考えると近いです。

1トークンはどれくらいの長さか

肌感覚をつかむために、公式に示されている目安を並べてみます。GoogleのGemini API向け資料では、1トークンはおよそ4文字にあたり、100トークンは英単語60〜80語ぶんに相当するとされています。OpenAIも英語について1トークンは約4文字、単語数でいえば0.75語ほどという目安を挙げており、Anthropicの料金ページにも同じ趣旨の記述があります。

ただし、これはあくまで英語の話です。日本語では事情が変わります。電通総研AITCの解説では、概算として日本語は1文字でおおむね1トークン、英語は4〜5文字で1トークンという目安が示されています。同じ内容を書いても、日本語のほうがトークン数はふくらみやすいわけです。Anthropicの資料も、正確なトークン数は言語や内容によって変わると明記しています。

短い文でも差は出ます。同じ解説では「私は生成AIを使います。」が7トークン、英語の「I use generative AI.」が6トークンという例が挙げられています。文字数で見れば日本語のほうがずっと短いのに、トークン数ではほぼ並ぶ。この逆転が、日本語でAIを使うときのコスト感を左右します。

AIが文章をトークンに分ける流れ

トークンは、単に数を数えるための単位ではありません。AIが文章を読んで答えを返すまでの、いちばん最初の入口にあたります。おおまかな流れは次の4段階です。

1文章をトークンに切り分ける

入力された文章を、あらかじめ決められた辞書にしたがって細かい単位に分解します。よく出てくる言葉はひとかたまり、珍しい言葉は細かく分かれます。工事名や現場の略称のような特殊な文字列は、細かく刻まれてトークン数が増えやすい部分です。

2それぞれを数値に置き換える

切り分けたトークンを、意味の近さが計算できる形の数値に変換します。ここで初めて、AIにとって計算できる材料になります。

3次に来るトークンを予測する

文脈全体を見渡して、続きに来る可能性がもっとも高いトークンを選びます。AI Watchの解説でも、AIは文章をそのまま意味として読むのではなく、トークンに分けて数値化し、その関係から次に来そうなトークンを予測していると説明されています。

4選んだトークンを文字に戻して書き出す

予測したトークンを人が読める文字に戻して表示し、また次のトークンを選ぶ、を繰り返します。回答が少しずつ表示されていくのは、この一つずつの処理がそのまま画面に出ているためです。

この流れはLLM(大規模言語モデル)に共通する土台の部分です。トークンという単位を挟んでいるからこそ、入力量も出力量も同じ尺度で数えられ、料金や上限の話につながっていきます。

トークンが料金を決める仕組み

AIを業務システムに組み込んで使う場合、料金は「使った分だけ」の従量制になっているのが一般的で、その物差しがトークンです。しかも、入力と出力で単価が分かれています。こちらが送った指示や資料が入力トークン、AIが返した文章が出力トークンで、たいてい出力のほうが高く設定されています。

たとえばAnthropicの料金ページでは、100万トークンあたりの単価として、軽量なモデルで入力1ドル・出力5ドル、標準的なモデルで入力3ドル・出力15ドル、上位モデルで入力5ドル・出力25ドルといった価格が公開されています。「100万トークン」と聞くと途方もない量に思えますが、日本語では1文字あたり1トークン前後ですから、日本語100万文字ぶんに近い感覚です。

現場の作業に置き換えてみます。日報のもとになるメモが2,000字、返ってきた下書きが800字だとすると、合計で3,000トークン弱。軽量なモデルの単価で計算すれば1回あたり1円に満たない水準です。ひとりが毎日使っても月に数十円から数百円というのが、まずの目安になります。逆に、数百ページの仕様書を毎回まるごと読み込ませるような使い方をすると、桁がいくつか変わります。

なお、同じ資料を何度も送る使い方に対しては、読み込んだ内容を一時的に保持して再利用することで、2回目以降の入力を通常の1割の単価で扱える仕組みが用意されています。急ぎでない処理をまとめて流すことで半額になる仕組みもあります(出典: Anthropic「Pricing」)。社内システムとしてAIを組み込むなら、こうした仕組みを前提に設計するかどうかで費用は大きく変わります。

コンテキストウィンドウ:一度に扱える上限

トークンが関わるもうひとつの重要な話が、一度に扱える量の上限です。これをコンテキストウィンドウと呼びます。OpenAIの資料では、送った指示と生成される回答の合計が、モデルごとに決められた最大のコンテキスト長を超えてはならないと明記されています。つまり、入力と出力を合わせた総量に天井があるということです。

この天井は年々広がっています。Anthropicは、現行世代のモデルで100万トークンのコンテキストウィンドウを追加料金なしで利用できるとしており、90万トークンを送るリクエストも9千トークンのリクエストと同じ単価で課金されると説明しています。AI Watchの解説では、100万トークンは日本語でもかなりの分量で、文庫本数冊ぶんに相当することがあると表現されています。

Anthropicの資料には、一般的なウェブページ(10KB程度)で約2,500トークン、大きな技術文書のページ(100KB程度)で約25,000トークン、研究論文のPDF(500KB程度)で約125,000トークンという目安も示されています。数字だけ見ると、仕様書や施工要領書のような分厚い資料でも意外と入りそうに思えます。ただし、画像として取り込まれた図面や写真もトークンに換算されますし、Googleの資料はテキスト以外の入力もすべてトークン化されると述べています。スキャンした紙の書類ほど、消費は読めなくなります。

建設現場でトークンが関わる場面

「用語としては分かったが、自分の仕事には関係あるのか」という点が気になるところでしょう。建設の実務では、次のような場面でトークンの話が表に出てきます。

  • 仕様書や設計図書を読ませる:数百ページの資料をまるごと投げると上限に触れる。該当する章だけを切り出して渡すほうが、速く正確に返ってくる
  • 打合せ議事録の要約:1時間の打合せを文字起こしすると数万字になる。長い記録ほどトークン量が大きく、費用も応答時間も伸びる
  • 写真の判定や図面の読み取り:画像もトークンに換算される。枚数が多い写真台帳の整理では、テキストだけの作業より消費が読みにくい
  • 社内システムへの組み込み:日報の自動整形や見積書の下書き生成をシステム化する場合、1件あたりのトークン量に件数を掛けた額が月々の費用になる
  • 無料・定額プランでの利用制限:長い資料を連続で投げると一定時間使えなくなることがある。急ぎの日にこれが起きると業務が止まる

特に効いてくるのは、自社の資料をAIに参照させる仕組みをつくるときです。資料をすべて毎回読み込ませるのではなく、質問に関係する箇所だけを探して渡すRAG(検索拡張生成)という組み合わせ方が広く使われているのは、精度の話だけでなく、トークン量を抑えるという実利もあるからです。どの業務から手をつけるかで費用感は大きく変わりますので、進め方に迷うときはAI番頭のサービスもあわせてご覧ください。

トークンを無駄にしないコツ

費用を抑えるためというより、答えの質を上げるために効く工夫がほとんどです。余計な情報を減らすと、AIも迷わなくなります。

  • 必要な範囲だけ渡す:仕様書は該当する章、議事録は該当する議題まで絞る。全部渡せば賢くなるわけではない
  • 話題が変わったら会話を分ける:前の話が残っていると、そのぶん毎回読み直されて量がふくらむ
  • 出力の長さを指定する:「300字以内で」と添えるだけで、出力トークンは目に見えて減る
  • 繰り返し使う指示は型にする:毎回書き直すより、決まった依頼文を用意しておくほうが短く済み、結果も安定する
  • 同じ資料を使い回すなら仕組みで対処する:同じ内容を何度も送る前提なら、読み込んだ内容を再利用できる仕組みを検討する

指示の書き方そのものを整えることは、プロンプトの工夫としてよく語られますが、トークンの節約という面でも効きます。電通総研AITCの解説でも、実務では1割から2割程度の削減はすぐに実現できると述べられています。

メリットと注意点

建設業でいまどこまで使われているか

トークンの理屈を知るより前に、そもそも業界としてどのあたりにいるのかも押さえておきたいところです。インフォマートが2026年4月に建設業従事者1,040名を対象に実施した調査では、生成AIを業務で利用している人は33.1パーセントにとどまったと公表されています。同社は、総務省の調査による日本企業全体の水準を20ポイント以上下回ると指摘しています。

同じ調査では、社内に生成AIの利用ルールがあると答えた人は18.0パーセントにとどまり、デジタル化に未着手と答えた割合は建設現場で33.2パーセント、バックオフィスで24.9パーセントだったとされています。ルールが整っていない状態で各自が使い始めると、費用が読めないだけでなく、外に出せない情報を入力してしまう事故も起きやすくなります。使ってよい情報の線引きについては情報漏洩対策の観点から先に決めておくのが確実です。

裏を返せば、いま基本の用語から押さえておけば十分に先行できる段階だということでもあります。トークンは、AIの費用と限界を語るときの共通言語です。ここを分かっている担当者が一人いるかどうかで、社内の議論の質は変わってきます。

よくある質問

日本語1文字はだいたい何トークンですか

概算としては1文字で1トークン前後と考えておくと実用的です。電通総研AITCの解説では、日本語は1文字でおおむね1トークン、英語は4〜5文字で1トークンという目安が示されています。ただしモデルによって区切り方が違い、同じ文章でも数は変わります。厳密に知りたい場合は各社が用意しているトークン数の計測機能を使ってください。

なぜ日本語は英語より割高になりやすいのですか

文字あたりのトークン数が多くなりやすいためです。電通総研AITCの解説では、ほぼ同じ内容の文章で日本語が49トークン、英語が28トークンという比較例が挙げられています。文字数では日本語のほうが短いのに、トークン数では上回るという逆転が起きます。従量課金はトークン数で計算されるため、同じ仕事でも日本語のほうが費用がかさむ傾向があります。

長い仕様書を貼り付けたら断られました。どうすればよいですか

入力と出力の合計が、そのモデルの上限を超えている可能性が高いです。OpenAIの資料でも、指示と生成される回答の合計が最大のコンテキスト長を超えてはならないと説明されています。対処としては、必要な章だけを切り出して渡す、資料を分割して順に読ませる、上限の大きいモデルに切り替える、といった方法があります。頻繁に起きるなら、質問に関係する箇所だけを探して渡す仕組みの導入を検討する段階です。

無料で使う分にはトークンを気にしなくてよいですか

料金という意味では気にしなくて構いません。ただし、無料や定額のプランでも一定時間内に扱える量には上限が設けられていることが多く、長い資料を続けて投げると一時的に使えなくなることがあります。締切前に止まると困りますので、大きな資料を扱う予定がある日は余裕をもって取りかかるか、有料プランを検討するのが現実的です。

画像や図面もトークンとして数えられますか

数えられます。Googleの資料では、Gemini APIへの入力と出力はテキストだけでなく画像やその他の形式もすべてトークン化されると説明されています。Anthropicも、画面の画像や取得したページの内容がトークンとして消費される旨を料金の資料に記載しています。写真台帳やスキャンした図面を大量に扱う使い方では、文字だけの作業より消費が読みにくくなる点に注意してください。

セキュリティで聞く「トークン」とは違うものですか

別のものです。ログイン時のワンタイムパスワードを表示する機器や、認証状態を保つための情報も「トークン」と呼ばれます。暗号資産の分野でもまた別の意味で使われます。生成AIの文脈では、この記事で説明している文章の処理単位を指します。社内で話が食い違うときは、どちらの意味かを先に確認してください。

関連用語

LLM(大規模言語モデル)文章をトークンに分けて次の言葉を予測するプログラム。トークンはこの仕組みの入口にあたります。 ChatGPTもっとも広く使われている対話型AIサービス。プランごとに扱える量の制限が異なります。 生成AI文章・画像・音声などを作り出すAIの総称。画像や音声もトークンに換算して扱われます。 ハルシネーションAIが事実と異なる内容をもっともらしく書く現象。上限を超えて条件が抜けたときにも起きやすくなります。

トークンは、AIを使うときの「寸法」にあたる単位です。料金も、一度に読める量も、この寸法で決まっています。難しい理屈まで覚える必要はありませんが、日本語なら1文字で1トークン前後、という目安だけ持っておくと、判断に迷う場面がぐっと減ります。

無料相談はこちら

出典・参考

OpenAI API Docs「Key concepts」(トークンの定義と1トークンあたりの目安) Google AI for Developers「Understand and count tokens」(Gemini API) Anthropic「Pricing」Claude Platform Docs(100万トークン単位の料金・キャッシュ・長文コンテキスト) 電通総研 AITC「生成AIにおける『トークン』とは?をやさしく解説」(2025年8月13日) AI Watch(インプレス)AI用語の基礎知識 第15回「トークン」とは(2026年7月21日、大和哲) 株式会社インフォマート プレスリリース「建設業のDXとAI活用に関する実態調査」(2026年6月10日)