在近期舉辦的 AWS 中國(guó)峰會(huì)上，NVIDIA 聚焦于“NVIDIA 全棧加速代理式 AI 應(yīng)用落地”，深入探討了代理式 AI (Agentic AI) 技術(shù)的前沿發(fā)展以及在企業(yè)級(jí)應(yīng)用中的深遠(yuǎn)影響。本文將為您詳細(xì)介紹此次分享的技術(shù)亮點(diǎn)及實(shí)踐應(yīng)用。

AI Agent 技術(shù)發(fā)展現(xiàn)狀

隨著人工智能技術(shù)的不斷演進(jìn)，從感知式 AI 到生成式 AI，再到代理式 AI，我們正見證全新工作方式的誕生。代理式 AI 不僅使更強(qiáng)大的 AI 應(yīng)用成為可能，而且正迅速成為解決特定業(yè)務(wù)問題的關(guān)鍵工具。數(shù)據(jù)顯示，到 2025 年，約有一半的組織將使用 AI智能體(AI Agent) 幫助解決特定業(yè)務(wù)問題。隨著技術(shù)發(fā)展，每個(gè)人都可以創(chuàng)建自己的 AI Agent。一些工作流可使周期時(shí)間縮短 40%。根據(jù) Gartner 報(bào)告，到 2028 年，約三分之一的企業(yè)級(jí)軟件開發(fā)將引入 AI Agent，而 2024 年這一數(shù)字不到 1%，可見相關(guān)方面發(fā)展迅速。

AI Agent 工作原理與架構(gòu)

AI Agent 的運(yùn)行需要人類撰寫 prompt，設(shè)定角色、場(chǎng)景、任務(wù)及需要 AI 執(zhí)行的操作，并告知整體信息。之后，大語(yǔ)言模型自行生成計(jì)劃，確定工具，甚至協(xié)同調(diào)動(dòng)其他 Agent。經(jīng)過一系列分析和生成后，需通過批判總結(jié)決定 Agent 是繼續(xù)迭代還是返回結(jié)果給用戶。

首先，Agent 需持續(xù)學(xué)習(xí)和迭代。通過建立飛輪系統(tǒng)，讓模型在實(shí)際應(yīng)用中學(xué)習(xí)，反哺模型迭代，提高模型魯棒性和適應(yīng)性。其次，作為企業(yè)級(jí)應(yīng)用，安全性和隱私保護(hù)至關(guān)重要。需保證結(jié)果可靠性，盡量避免大語(yǔ)言模型幻覺。同時(shí)，人機(jī)或用戶與 AI 的交互應(yīng)盡可能友好，以發(fā)揮最佳效果。

AI Agent 技術(shù)框架與實(shí)現(xiàn)

一、AI Agent 構(gòu)建模塊

構(gòu)建 AI Agent，有三個(gè)重要組成部分，從下往上看：

NVIDIANIM是預(yù)構(gòu)建的容器工具，使用非常簡(jiǎn)單，只需幾分鐘即可部署企業(yè)級(jí)安全穩(wěn)定的大語(yǔ)言模型推理服務(wù)。通過 docker 拉取一個(gè) docker 鏡像，完成下載模型等前置工作后，就可以通過一個(gè) Open AI API 或其他行業(yè)標(biāo)準(zhǔn)的 API 格式來調(diào)用，從而得到一個(gè)線上生產(chǎn)環(huán)境可用的、安全穩(wěn)定的大語(yǔ)言模型推理服務(wù)。NIM 集成了優(yōu)化的推理引擎，如 TensorRT-LLM、vLLM 等，這些推理引擎可以幫助優(yōu)化首 token 延遲、吞吐等指標(biāo)，在 TCO 可控的情況下，盡量提高吞吐和整體細(xì)分表現(xiàn)。此外 NIM 可以在任意地點(diǎn)便捷部署和擴(kuò)展，包括數(shù)據(jù)中心、工作站，甚至云上或邊緣（如公有云、混合云、私有云等）。NVIDIA 也與國(guó)內(nèi)外的云廠商進(jìn)行集成，如亞馬遜云科技等，可在云上快速使用產(chǎn)品。

NVIDIA NeMo是一套數(shù)據(jù)飛輪框架，涵蓋模型訓(xùn)練和應(yīng)用的多個(gè)模塊。通過該數(shù)據(jù)飛輪，我們可以持續(xù)優(yōu)化迭代模型和應(yīng)用。

與 AI Agent 最為緊密的是NVIDIA AI Blueprint，它是我們提供的工作流，可向開發(fā)者展示如何快速構(gòu)建安全的、企業(yè)級(jí)應(yīng)用。NVIDIA AI Blueprint 涵蓋 PDF 轉(zhuǎn)音頻、視頻搜索與總結(jié)等多模態(tài)模型和工具，可以通過“搭積木”的方式，將多個(gè) Blueprint 模塊化的組成一個(gè)工作流來解決復(fù)雜問題。同時(shí)也可以調(diào)用外部工具，使整個(gè)應(yīng)用場(chǎng)景或覆蓋面更加全面。典型應(yīng)用包括 AI 研究助理 Agent、客服機(jī)器人、安全 AI Agent 等，均作為參考，用戶可通過 NeMo 構(gòu)建符合應(yīng)用場(chǎng)景的內(nèi)容。

二、生成式 AI 數(shù)據(jù)飛輪：

數(shù)據(jù)飛輪是一種反饋循環(huán)機(jī)制，通過從交互或流程中收集數(shù)據(jù)，持續(xù)優(yōu)化 AI 模型，進(jìn)而產(chǎn)生更優(yōu)的結(jié)果和更有價(jià)值的數(shù)據(jù)。

NVIDIA NeMo 是一個(gè)生成式 AI 的框架，其中：

NeMo Curator：在模型預(yù)訓(xùn)練階段需獲取大量數(shù)據(jù)集，但是從網(wǎng)上獲取的海量數(shù)據(jù)集質(zhì)量往往參差不齊。需要進(jìn)行質(zhì)量篩選和去重等步驟。通過集成的 GPU 加速模塊，對(duì)于十分耗時(shí)的質(zhì)量檢測(cè)、去重等步驟，可以通過 NeMo Curator 快速實(shí)現(xiàn)。

NeMo Customizer：模型數(shù)據(jù)收集完成后，可通過 NeMo Customizer 開始模型訓(xùn)練或微調(diào)。

NeMo Evaluator：模型訓(xùn)練好后，由 NeMo Evaluator 評(píng)估其質(zhì)量，判斷其是否符合預(yù)期、滿足業(yè)務(wù)需求。

訓(xùn)練好的模型上線部署后，我們將其構(gòu)建成更復(fù)雜的工作流，將單個(gè) NIM 和其他工具總結(jié)成 Blueprint，以服務(wù)我們的業(yè)務(wù)場(chǎng)景。

在 RAG（檢索增強(qiáng)生成）或 Agent 過程中，向量檢索是一個(gè)十分重要的技術(shù)模塊。NVIDIA cuVS集成了 GPU 加速的 ANN (Approximate Nearest Neighbors) 算法，可以提高向量檢索的效率。作為企業(yè)級(jí)應(yīng)用，安全性和隱私保護(hù)至關(guān)重要，NVIDIA Guardrails作為 AI 護(hù)欄，可以檢測(cè)生成過程中比較危險(xiǎn)或不太友好的內(nèi)容，使線上服務(wù)更加安全可靠。

經(jīng)過上述鏈路，最后線上驗(yàn)證過的數(shù)據(jù)通過回路回到數(shù)據(jù)集，這部分?jǐn)?shù)據(jù)再經(jīng)過 NeMo Customizer 進(jìn)行訓(xùn)練微調(diào)，就完成了數(shù)據(jù)閉環(huán)。通過這樣一步一步的迭代，線上數(shù)據(jù)反哺回模型訓(xùn)練。

三、面向企業(yè)應(yīng)用的大語(yǔ)言模型定制

我們的模型能力不斷增強(qiáng)，使得線上服務(wù)效果更加安全可靠。Customizer 涵蓋的能力多元，從最初的簡(jiǎn)單微調(diào)、復(fù)雜的 sft，到現(xiàn)在常用的強(qiáng)化學(xué)習(xí)方法。我們還可根據(jù)企業(yè)特定場(chǎng)景進(jìn)行相應(yīng)微調(diào)。

以 DeepSeek-V3 訓(xùn)練為例，Transformer Engine 集成了類似 DeepSeek-V3 的 FP8 block wise 算子和 recipe。在 Megatron-Core 層面，基于 DeepSeek-V3 特定架構(gòu)，支持了 MLA 結(jié)構(gòu)。同時(shí)，對(duì) MTP 也有較好支持，還有負(fù)載均衡和路由策略。除了支持外，還有相關(guān)優(yōu)化。

DeepSeek-V3 使用 DualPipe 流水線并行策略，Megatron-Core 中也有類似策略，稱為 1F1B (F: Forward, B: Backward)。通過 1F1B 的流水線機(jī)制，很好地將 MoE 計(jì)算與通信進(jìn)行 overlap，減小訓(xùn)練延遲，提高訓(xùn)練效率。

同時(shí)，對(duì)于 DeepSeek 開源的內(nèi)容，我們也有較好集成。在并行方面，Megatron-Core 擅長(zhǎng)并行，我們做了 MoE parallel folding。這是指在一個(gè)模型里既有 Attention 層，也有 MoE 層，我們針對(duì)不同層進(jìn)行處理?？梢允褂?parallel folding 方法，將其并行策略解耦，即 Attention 部分和 MoE 層分別采用不同的并行策略，以達(dá)到整體更好的效率。NeMo，即更面向用戶的層面，除了支持 DeepSeek 的 sft，同時(shí)也支持把 DeepSeek-R1 蒸餾到小模型。

四、加速推理的優(yōu)化技術(shù)

如今模型越來越大，參數(shù)達(dá)到千億級(jí)，需要更強(qiáng)的推理算力。同時(shí)，這些模型都是推理模型，邏輯推理需要更多的思考時(shí)間，甚至需要超過 100 倍的思考 token。此外，我們的模型現(xiàn)在也支持更長(zhǎng)的上下文窗口，在使用過程中，無(wú)論是對(duì)話系統(tǒng)中的多輪對(duì)話，還是 Agent 使用過程中的 Agent-to-Agent、human-to-Agent 等交互手段，都會(huì)使上下文 context 變得更長(zhǎng)，甚至達(dá)到百萬(wàn)級(jí)輸入 token 以上，這些都對(duì)計(jì)算推理提出了更多的挑戰(zhàn)，也推動(dòng)著新型優(yōu)化技術(shù)的誕生。

1. 分離式部署 (PD 分離)：

大語(yǔ)言模型的推理分為兩個(gè)階段。第一個(gè)是預(yù)填充 (Prefill) 階段，這是一個(gè)計(jì)算密集 (Compute-Bound) 階段，需要較多算力。第二個(gè)是解碼 (Decode) 階段，在這個(gè)階段，隨著吐出的 token 越來越多，它進(jìn)入了一個(gè)內(nèi)存密集 (Memory-Bound) 階段。為了更好地利用預(yù)填充和解碼的相關(guān)特性來優(yōu)化首 token 延遲和吞吐，分離式部署是比較適應(yīng)大語(yǔ)言模型推理場(chǎng)景的部署技術(shù)。將預(yù)填充和解碼兩個(gè)階段分開，結(jié)合其計(jì)算特點(diǎn)，分配適合其特定型號(hào)的 GPU，并針對(duì)不同特性制定不同策略，結(jié)合線上 SLA 服務(wù)標(biāo)準(zhǔn)，分配不同數(shù)量的節(jié)點(diǎn)，以優(yōu)化首 token 延遲和吞吐。

2. NVIDIA Dynamo：

NVIDIA Dynamo是針對(duì)分離式部署或大規(guī)模分布式部署的框架，具備以下特點(diǎn)：

分布式部署：支持便捷地?cái)U(kuò)充至上千卡 GPU 的線上部署。

GPU 管理及調(diào)度（GPU 規(guī)劃器）：可根據(jù)線上實(shí)時(shí)請(qǐng)求變化或 SLA 服務(wù)標(biāo)準(zhǔn)動(dòng)態(tài)調(diào)整預(yù)填充節(jié)點(diǎn)或解碼節(jié)點(diǎn)的數(shù)量，以更好地滿足服務(wù)需求。

智能路由：在多個(gè)節(jié)點(diǎn)的情況下，可以結(jié)合 KV Cache 等指標(biāo)，將 decode 任務(wù)分配給最佳節(jié)點(diǎn)。

典型應(yīng)用場(chǎng)景案例

一、AI 研究助理 Agent

AI 研究助理 Agent 執(zhí)行 PDF 轉(zhuǎn)音頻的任務(wù)。將論文、博客等文檔輸入到模型中，通過工具轉(zhuǎn)換為 markdown 文件。在此過程中，需要為 Agent 提供復(fù)雜的 prompt。首先，按照要求整理出文件大綱，然后根據(jù)大綱將腳本分段，進(jìn)行深入探索并總結(jié)有思考性的內(nèi)容。然后，對(duì)整體腳本進(jìn)行優(yōu)化，并將多個(gè)部分組合輸出整理成結(jié)構(gòu)化文本。在這個(gè)過程中，人類需要做的是梳理出多個(gè) prompt，并在多個(gè)階段調(diào)用不同尺寸的模型來處理不同任務(wù)。文檔輸入時(shí)內(nèi)容龐雜，使用尺寸更大的模型來處理復(fù)雜任務(wù)?？偨Y(jié)時(shí)可使用尺寸更小的模型來提高工作流的經(jīng)濟(jì)效益。通過這一系列步驟后，輸出文本再通過類似 ElevenLabs 的 TTS 服務(wù)或 TTS 模型合成為音頻文件，返回給用戶。

二、軟件安全檢測(cè) Agent

隨著 CVE.org 記錄的漏洞突破 20 萬(wàn)大關(guān)，軟件安全補(bǔ)丁管理面臨嚴(yán)峻挑戰(zhàn)。傳統(tǒng)人工分析、日常掃描漏洞需耗時(shí)數(shù)日，而基于事件驅(qū)動(dòng) RAG 技術(shù)的軟件安全檢測(cè) Agent 可將緩解時(shí)間壓縮至秒級(jí)，通過實(shí)時(shí)檢測(cè)新軟件包或漏洞特征，智能判定組件風(fēng)險(xiǎn)，并自主執(zhí)行全流程檢查清單，最終向安全團(tuán)隊(duì)提交包含可操作建議的分析報(bào)告。

三、視頻分析 Agent

用于視頻搜索和總結(jié)的 Agent 每天可分析 10 萬(wàn) PB 級(jí)的視頻數(shù)據(jù)。該 Agent 使用NVIDIA Cosmos Nemotron的視覺語(yǔ)言模型，可以從視頻數(shù)據(jù)中提取文本信息，再通過NeMo Retriever Embedding抽取為 embedding，形成向量數(shù)據(jù)庫(kù)。同時(shí)，并行流程通過分析從視頻中提取的信息構(gòu)建圖數(shù)據(jù)庫(kù)。當(dāng)有新視頻輸入時(shí)，就可通過召回鏈路查詢上述數(shù)據(jù)庫(kù)，再通過大模型進(jìn)行總結(jié)生成，完成整個(gè)視頻分析鏈路。

總結(jié)

從 AI 研究助理、軟件安全檢測(cè)到大規(guī)模視頻分析，這些應(yīng)用場(chǎng)景正切實(shí)推動(dòng)代理式 AI 落地，在解決復(fù)雜業(yè)務(wù)問題、提升工作效率方面發(fā)揮關(guān)鍵作用。NVIDIA 通過全棧解決方案和工具，助力企業(yè)構(gòu)建安全、穩(wěn)定、高效的代理式 AI 應(yīng)用。