多模態 AI 是什麼？4 個生活與工作應用，看懂 AI 如何處理文字、圖片與聲音

你可能已經用過多模態 AI，只是當時不知道你正在使用多模態 AI。

以前跟 AI 溝通，常常得先把問題打成文字，現在不太一樣了。只要你使用的 AI 工具支援圖片、語音或檔案，你可以直接把這些資訊交給 AI，再提出任務需求，這背後就是「多模態 AI（Multimodal AI）」的概念。

以前我們和 AI 互動，大多靠文字；現在不少 AI 工具已經能直接處理圖片、語音和檔案，再搭配你的問題一起分析。

用一個例子帶你看懂多模態 AI 是什麼

假設今天晚上你不知道要煮什麼。

以前與 AI 的問法可能是：

我家有蛋、番茄、豆腐，可以煮什麼？

但現在如果你根本懶得清點冰箱，也不確定還剩哪些食材呢？你可以直接拍一張冰箱照片，再告訴 AI：

幫我看看照片裡有哪些食材，推薦 3 道 30 分鐘內可以完成、口味清淡的晚餐。

這時 AI 要處理的不只有你打的那句話，它還得先看圖片裡有哪些食物，再把照片中的資訊和「30 分鐘內完成」「口味清淡」這些條件放在一起，最後才給你建議。用這個例子來看，多模態 AI 其實沒有名字聽起來那麼難。

什麼是「模態」？

模態這個詞看起來有點難，其實你可以直接把它理解成資訊呈現的形式。

例如，打一段話是文字資訊，拍一張照片是圖片資訊，錄下一場會議則是聲音資訊。影片通常又同時包含畫面與聲音。

如果一個 AI 只能處理其中一種，例如只能讀文字，可以把它理解成比較偏「單一模態」；它能處理兩種以上的資訊形式，例如看圖片又讀文字、處理語音又整理內容，就屬於多模態 AI 的應用範圍。

比較	單一模態 AI	多模態 AI
可以處理的資訊	主要集中在一種形式	可以處理兩種以上的資訊形式
白話理解	你要先把問題變成它看得懂的形式	可以直接提供圖片、文字、聲音等資訊
例子	輸入文字，取得文字回答	上傳圖片，再用文字詢問圖片內容

現在你不需要把所有資訊重新打一遍，原本的照片、截圖、錄音或文件，本身就可以成為提問的一部分。

多模態 AI 怎麼處理文字、圖片與聲音？

我們平常看到一個 AI 工具可以看圖片、聽錄音、整理文字，但其實這不一定代表所有事情都是由同一個 AI 模型一次完成。

有些 AI 模型本身就能處理不同形式的資訊；也有些工具會把工作拆開，例如先把錄音轉成文字，再交給另一個模型摘要內容。

舉個最簡單的例子，你上傳一段會議錄音，最後拿到一份會議摘要，背後可能是：

錄音 → 轉成逐字稿 → 整理重點 → 找出待辦事項

這是支援語音與文字的多模態 AI 應用中常見的處理流程，但不一定是單一模型從頭做到尾，AI 新手其實不用研究背後用了幾個模型，你只要知道不同工具的處理方式不一定一樣，實際使用前要先確認支援哪些檔案和功能。

多模態 AI 可以怎麼用？4 個生活與工作情境

概念懂了，接下來才是大多數人真正關心的：它能拿來做什麼？

如果你剛開始接觸 AI，不用急著挑很複雜的任務，從每天真的會遇到的事情開始，反而比較容易感受到差別。你可以參考以下使用情境，去發想你有哪些工作也能請 AI 協助：

1. 拍白板或筆記，直接整理重點

開完會後，白板上通常寫滿箭頭、關鍵字和待辦事項，以前可能要自己重新打一遍，現在可以直接拍照，請 AI 先整理第一版。

你可以使用以下提示詞：
請幫我閱讀這張會議白板照片，整理成容易閱讀的會議筆記，請列出：

主要討論重點

已經做出的決定

待辦事項

如果看得出負責人，也請一起整理

看不清楚或不確定的文字，請直接標示「需人工確認」，不要自行猜測。

這種方式也很適合課程筆記、手寫紀錄或簡報截圖，重點不是叫 AI 幫你看某張圖，而是直接告訴它，你希望最後整理成什麼。

2. 圖片加文字，請 AI 幫你看懂報表

很多人不是不會看數據，是不知道現在到底該先看哪一個數字、該先注意哪裡，這時可以把截圖交給 AI，再說明你現在想解決的問題。

你可以使用以下提示詞：
這是一張最近一個月的網站流量報表，我想知道為什麼這星期的流量下降。請先告訴我：

從圖中看到哪些明顯變化

哪幾個數字最值得注意

有哪些可能原因

還需要哪些資料，才能進一步判斷

如果光靠這張截圖無法確認原因，請直接告訴我，不要把推測當成事實。

關鍵不是讓 AI 看圖，是要把你的問題一起交代清楚，這樣 AI 不只看得到資料，也更清楚你真正想解決的是哪個問題。

3. 整理會議錄音與逐字稿

開完一小時的會，最痛苦的事情之一，大概就是回頭整理剛剛會議到底決定了什麼，如果你使用的 AI 工具支援錄音或相關檔案，可以依照工具支援的方式上傳；如果不支援，也可以先把錄音轉成逐字稿，再請 AI 整理。

你可以使用以下提示詞：
這是一份專案會議逐字稿，請不要逐字重寫，幫我整理成會後可以直接閱讀的版本。請分成：

會議摘要

已確認的決定

待辦事項

如果有提到負責人或期限，也請列出

還沒有結論的問題

如果逐字稿裡有語意不清、可能聽錯或無法確認的地方，請標記「需人工確認」。

這種方式特別適合資訊很多、時間又長的會議，AI 可以先幫你把內容壓縮成重點，你就不用從頭再讀一次完整逐字稿。

4. 看懂系統畫面，找出下一步

這可能是 AI 新手最容易立刻用上的功能之一，例如，網站後台跳出一段你看不懂的錯誤訊息、填申請表時，不知道下一格要填什麼、App 找不到某個設定、購物流程卡在付款頁面、軟體跳出英文警告訊息。與其花半小時搜尋關鍵字，可以先截圖問 AI。

你可以使用以下提示詞：
這是我目前看到的系統畫面，我想完成的事情是：【填入你的目標】，請先說明：

這個畫面大概在說什麼

我現在可能在哪一個步驟

畫面上哪些資訊最重要

下一步可以先檢查什麼

如果資訊不足，請告訴我需要再補哪張截圖。不要假設我已經做過畫面上看不到的操作。

這種問法通常比一句「我要怎麼辦？」更容易得到有用的答案，因為 AI 知道你的目標，才比較知道該從畫面上的哪些地方開始看。

實際使用多模態 AI 前，要注意這 3 件事

多模態 AI 很方便，但使用方式其實和一般 AI 一樣，可以先幫你整理和判斷，不代表結果可以完全不檢查，如果你是 AI 新手，那一定要先記住下面三件事：

1. AI 不一定看得對，重要資訊要人工確認

AI 可能看錯圖片裡的文字、數字、人名，也可能因為照片模糊或資訊不完整而做出錯誤判斷。所以遇到金額、日期、報價、工作分配或正式文件時，還是要回頭核對原始資料。

比較好的習慣是，在提示詞裡多加一句：

如果看不清楚、聽不清楚或無法確認，請直接標示「需人工確認」，不要自行猜測。

AI 很適合幫你做第一輪整理，但只要答案出錯可能讓人做錯事、找錯人或影響金額，就值得人工再確認一次。

2. 不同 AI 工具，能處理的東西不一樣

不是每一個 AI 聊天工具都能直接讀圖片、錄音、影片或 Excel，即使都支援檔案，上傳大小、檔案格式、可以使用的功能也可能不同。

所以看到別人示範某個功能時，不用先假設自己的工具一定也能做到，實際操作時，以你正在使用的 AI 工具為準。

3. 敏感資料不要因為方便就全部上傳

截圖、報表和文件裡，很容易混進客戶姓名、電話、帳號、合約內容或公司內部資料，如果這些資訊和你的問題沒有關係，可以先遮掉，再交給 AI。

如果是在工作上使用 AI，也要先確認公司的資料使用規範，以及哪些資料可以交給外部 AI 工具處理。

💡讓 AI 看「完成任務需要的資訊」就好，不是資料越多越好。

第一次接觸多模態 AI，不用急著一次學會所有功能，先挑一件你今天真的會遇到的事情試試看就好。例如整理一張會議白板、看懂一份報表，或截圖詢問系統錯誤。

使用時記住一個原則，除了把資料交給 AI，也要說清楚你真正想解決的問題。

AI 可以先幫你整理、找方向，但遇到重要數字、正式決策或敏感資料，還是要由人工確認。

常見問題

Q1：多模態 AI 一定要同時輸入圖片和文字嗎？

不一定。

「多模態」代表這個 AI 系統具備處理不同資訊形式的能力，不代表你每一次使用都一定要同時放入文字、圖片和聲音，有時候你可能只上傳圖片，有時候則是圖片加一句問題。怎麼用，還是看你的任務需要什麼資訊。

Q2：多模態 AI 和一般聊天機器人差在哪？

最直覺的差別是，傳統聊天機器人通常主要靠文字溝通，而具備多模態能力的 AI 可以進一步處理圖片、聲音或其他形式的資訊。

對使用者來說，最大的改變是少了一道自己先把資訊轉成文字的工作，例如看到錯誤畫面，不需要先把整段英文錯誤訊息重新打一次，可以直接提供截圖，再問它發生什麼事。

Q3：多模態 AI 一定比較聰明嗎？

不一定。

可以處理更多資訊，不代表每一個回答都一定比較正確，結果還是會受到模型能力、圖片品質、錄音清晰度、你提供的背景資訊，以及問題問得夠不夠清楚影響。

有時候資訊給得很多，反而可能增加判斷難度，所以不用為了多模態三個字，什麼東西都一次丟進去，提供和任務真正有關的資訊就好。

Q4：AI 可以直接看 Excel 或報表截圖嗎？

如果你使用的工具支援圖片或檔案分析，就可以嘗試，但如果你要分析的是大量數據，直接提供原始表格通常會比只給一張截圖更完整。

Q5：多模態 AI 分析圖片會不會看錯？

會。

AI 可能認錯圖片中的物品，也可能讀錯文字、數字或表格，尤其照片模糊、內容太密、字很小時，更容易出錯。

所以建議在讓 AI 完成任務時，都可以加上依據提示詞：看不清楚或無法確定的地方，請直接告訴我，不要自行猜測。

Q6：公司資料可以直接上傳給 AI 分析嗎？

不建議直接用「可以」或「不可以」一概而論，要看你使用的 AI 服務、公司政策，以及資料本身的敏感程度。

如果內容涉及客戶個資、合約、未公開數據、帳號密碼或其他敏感資訊，先確認規範再使用，不需要讓 AI 看到的資訊，就先遮掉。

Q7：多模態 AI 和生成式 AI 有什麼不同？

兩者看的重點不一樣。

生成式 AI 強調的是「產生內容」，例如寫文章、生成圖片或做摘要；多模態 AI 則是在說 AI 能不能處理不同形式的資訊，例如文字、圖片、聲音。

所以兩者並不衝突，同一個 AI 也可能同時具備生成式與多模態能力，例如你上傳一張產品照片，再請 AI 幫你寫商品介紹：它先理解圖片，再產生文字，這個過程就同時用到了多模態處理與生成式 AI。

如果你對 AI Agent 提升企業效率、工作流程應用有興趣，歡迎訂閱我們📱💻

PreMedia 未來序｜帶你建立AI 時代企業新秩序

參考資料

Google AI for Developers：Gemini API－Text generation / Multimodal inputs

Google AI for Developers：Gemini API－Image understanding

OpenAI Help Center：ChatGPT Capabilities Overview

OpenAI Help Center：ChatGPT Image Inputs FAQ

NIST：Artificial Intelligence Risk Management Framework－Generative Artificial Intelligence Profile

PREMEDIA 編輯部

協助企業經營者、主管與專業工作者，理解 AI 代理的能力、判斷應用價值，並逐步落地。