マルチモーダルAI

現場の仕事は、文字だけで完結することがほとんどありません。図面があり、写真があり、無線や電話でのやりとりがあり、そこへ仕様書や打合せ記録が重なります。こうした「種類の違う情報」をまとめて扱えるAIが、マルチモーダルAIです。この記事では、意味と仕組み、建設会社での具体的な使いどころ、導入前に押さえておきたい注意点までを、専門用語をできるだけ避けて整理します。実際に動いている大手建設会社・メーカーの事例と、公的機関のデータもあわせて紹介します。

マルチモーダルAIとは

マルチモーダルAIとは、文章・画像・音声・動画・センサーの値など、形式の異なる複数の情報を同時に受け取り、それらをつき合わせて理解・判断・生成できるAIのことです。「モーダル（モダリティ）」は情報の種類・形式を指す言葉で、「マルチ」は複数。つまり「いろいろな形の情報を一度に扱えるAI」という意味になります。

大成建設は自社のニュースリリースで、マルチモーダル生成AIを「通常対象とされるテキストで記述される言語情報のみならず、画像や動画、音声といった複数の形態にまたがる情報を解釈・生成できるもの」と説明しています。言葉は硬いものの、中身は「文字も絵も音も分かるAI」と考えて差し支えありません。

シングルモーダルAIとの違い

これまで実務で使われてきたAIの多くは、扱える情報が一種類でした。文字だけを読むOCR、写真だけを見る画像認識AI、音声だけを文字にする文字起こしAI。こうした一種類専門のAIをシングルモーダルAIと呼びます。得意分野ははっきりしている反面、情報が足りずに判断を誤ることがあります。

• 扱える情報：シングルモーダルは一種類のみ／マルチモーダルは文章・画像・音声などを同時に
• 判断の材料：シングルモーダルは目の前のデータだけ／マルチモーダルは前後の文書や状況も加味できる
• 得意な仕事：シングルモーダルは仕分けや読み取りなど単機能／マルチモーダルは複数の資料を突き合わせる仕事
• 苦手な点：シングルモーダルは文脈を取り違えやすい／マルチモーダルは処理が重く、判断の根拠が見えにくい

たとえば「作業員がヘルメットをかぶっていない」という写真を見せられても、写真だけでは、そこが保護具の必要な区画なのか、休憩所なのかは分かりません。作業手順書や当日の指示という文字の情報とあわせて見て、はじめて意味のある判断になります。ここがマルチモーダルAIの効きどころです。

AI侍

写真だけ見て叱るのは早合点でござる。図面と指示書もあわせて読んでこそ、正しき判断ができるのでござるよ。

マルチモーダルAIの仕組み

細かい理屈は抜きにすると、マルチモーダルAIはおおよそ次の流れで動いています。土台になっているのはLLM（大規模言語モデル）で、そこへ画像や音声を理解する仕組みを組み合わせた構成が主流です。

1. 1

   受け取る

   写真、図面、音声、文章など、形式の違うデータをそれぞれの入口から取り込みます。現場でスマホを向けて撮った一枚も、ここでの入力になります。

2. 2

   意味をそろえる

   画像は画像のまま、音は音のままでは比べられないため、AIが扱える共通の数値表現に変換します。異なる情報を同じ土俵に乗せる、いちばん肝心な工程です。

3. 3

   つき合わせて考える

   そろえた情報どうしの関係を読み取ります。写真に写る配管と、仕様書に書かれた口径の指定を結びつける、といった具合です。

4. 4

   答えを返す

   文章の要約、書類のドラフト、異常の指摘、CADデータなど、目的に応じた形で出力します。入力が複数でも、出力は一種類に絞れます。

ChatGPTやGeminiのような身近な生成AIも、写真を貼り付けて質問できる時点ですでにマルチモーダルです。「マルチモーダルAI」という別製品があるわけではなく、AIが扱える情報の幅を示す言い方だと理解しておくと混乱しません。

建設現場での使い方

建設業は、図面・写真・仕様書・口頭の指示が入り混じる仕事です。情報が一種類に収まらないからこそ、マルチモーダルAIの出番があります。すでに実務投入されている使い方を並べてみます。

• 施工計画書づくり：発注図や写真と、特記仕様書などの文書を読み合わせてドラフトを作る
• 安全管理：カメラ映像と作業手順書を突き合わせ、危ない状態を見つけて知らせる
• 設計の初期検討：手描きのスケッチや言葉のイメージから、外観のデザイン案を複数出す
• 加工・製作の段取り：手書きの寸法図を写真に撮り、加工用のデータに変換する
• 日報・報告書：現場で話した内容と撮影した写真をまとめ、決まった様式に流し込む
• 積算の下ごしらえ：図面の情報と過去の単価表を照らし合わせ、拾い出しのたたき台を作る

大成建設は2025年11月、マルチモーダル生成AIを使った土木工事の全体施工計画書作成支援システムを開発したと発表しています。入札公告や工事概要に加え、発注図・写真といった視覚情報と特記仕様書などの文書を読み込ませ、国土交通省の書式に沿ったドラフト原稿を自動生成する仕組みで、作業時間を従来比で約85%削減できるとしています。文字だけでは足りない情報を、図面や写真で補っている点が要点です。

安全管理の分野では、富士通が2024年12月に、マルチモーダル大規模言語モデルをベースとした映像解析型AIエージェントを開発したと発表しました。現場のカメラ映像を空間として理解し、作業手順書などの文書を参照しながら改善提案やレポート作成まで行うもので、物流や建設現場の安全管理での活用が想定されています。平均49分・最長151分という長時間の映像を対象にした質問応答の評価でも高い精度が示されたと説明されています。

設計の入口でも使われています。大林組が開発した「AiCorb」は、建物のアウトラインを描いたスケッチや3Dモデルを読み込ませると、複数のファサードデザインを瞬時に生成する技術です。絵と言葉から絵を起こす、まさにマルチモーダルな使い方で、施主とイメージをすり合わせる時間と手間を減らす狙いがあると同社は説明しています。

職人の手元にも降りてきています。竹中工務店は2026年6月、技能工がスマートフォンで撮影した手書き図の画像をAIが解析し、加工用のCADデータを自動生成してボード材の切断ロボットにつなぐシステムを開発したと発表しました。紙とペンという現場の慣れたやり方を変えずに、その先を自動化した例といえます。

メリットと注意点

もうひとつ気をつけたいのが、もっともらしい誤りが混じるハルシネーションです。画像や音声が加わると、読み取り違いがそのまま文章の誤りとして出てくることがあります。また、図面や現場写真には施主や協力会社の情報が写り込むため、どのサービスにどこまで入れてよいかという情報漏洩対策の線引きを、使い始める前に決めておくと安心です。

中小の建設会社が始めるなら

大手の事例は規模が大きく見えますが、写真と文章を一緒に扱う使い方であれば、手元のスマートフォンと既存の生成AIサービスでも今日から試せます。順番としては、次のように小さく始めるのが現実的です。

1. 1

   写真が絡む困りごとを選ぶ

   写真整理、是正指示の書き起こし、手書きメモの清書など、紙と写真が滞留している業務をひとつだけ選びます。いきなり積算や設計から入らないのがこつです。

2. 2

   既存サービスで試す

   普段使っている生成AIに現場写真を貼り、「この写真から是正指示書のたたき台を作って」と頼むところから始めます。費用をかけずに、使えるかどうかの見当がつきます。

3. 3

   出てきた答えを見比べる

   同じ写真で何度か試し、人が書いた場合とどこがどう違うかを確認します。任せられる範囲と、人が必ず直す範囲がここで見えてきます。

4. 4

   手順として残す

   うまくいった指示の出し方と確認手順を、社内の決まりごととして文書に残します。担当者が変わっても同じ品質で回るようになります。

総務省の令和7年版情報通信白書によると、生成AIを積極的に活用している、または活用を検討していると答えた日本企業の割合は2024年度時点で49.7%と、前年度の42.7%から増えています。裏を返せば半数は手つかずということでもあり、いま着手しても遅すぎるということはありません。何から手を付けるか迷う場合は、AI番頭のサービスで業務ごとの進め方を整理していますので、あわせてご覧ください。

よくある質問

関連用語

うちの現場ではどこから手を付けられるか、写真や図面をどこまで任せてよいか——具体的な進め方でお困りでしたら、お気軽にご相談ください。

出典・参考