一、案例概述

農業銀行大模型ChatABC，對于大模型精調、提示工程、知識增強、檢索增強、人類反饋的強化學習（RLHF） 等大模型相關新技術進行了深入探索和綜合應用，結合農業銀行研發支持知識庫、內部問答數據以及人工標注數據等金融知識進行融合訓練調優，實現了全方位的金融知識理解和智能問答應用。

圖：ChatABC 1.0技術支撐及能力視圖

二、涵蓋事項

農業銀行AI研發團隊深入貫徹落實數字化轉型戰略，始終保持對于AI新技術的跟蹤和探索，全面推進全棧自主的人工智能服務平臺建設，持續探索構建適應AI大模型的算力、數據、模型、工具、應用五位一體的AI大模型創新應用體系，提升大模型試點應用的水平。

算力：構建云原生異構算力新基礎�；�于容器化技術，推進GPU、NPU等各類AI芯片的統一封裝管理，實現異構芯片的統一納管。深度應用kubeflow等云原生編排技術，支持訓練任務的細粒度動態調度，充分提升AI算力的利用效率。一體化的云原生算力基礎，實現對于多種算力的統一納管和調度，構成了AI大模型訓練的強大算力基礎。

數據：打通大模型持續迭代新閉環。圍繞“采建管用”閉環，構建大模型訓練和持續提升的基礎數據閉環。優配比，合理調節內外部數據比例，清洗提升數據質量。巧回收，巧妙設計用戶點贊點踩和用戶回答問題的功能，采集人工用戶對于問題的回答，作為模型持續優化訓練的“燃料”。自強化，應用用戶打分數據，持續提升獎勵模型（Reward Model）精準度，依托強化學習使模型學會“左右手互博”。

模型：打造多模型融合開放新生態。AI平臺采用開放式的框架，通過組件化方法快速納入各類開源模型和商業模型。持續跟蹤開源模型最新進展，逐步構建適應問答、文本向量化等不同場景的模型庫。參考HELM等模型評價體系，初步構建了一套適應金融特色的模型評價體系。

工具：鋪設模型流水線訓練新管道。依托kubeflow等基礎組件，AI平臺構建了多條AI大模型的訓練流水線。通過標準化流水線，AI大模型微調訓練可以實現自動化流轉，構建新訓練的效率大幅提升。同時支持多模型并行訓練，進而開展模型實驗比對和模型調優。深度應用DeepSpeed、FastTransformer等加速框架，解決模型并行、數據并行等訓練難題，提升AI大模型訓練推理效率。

應用：探索大模型知識融合新架構。構建異構知識庫，支持全文檢索、知識推理等各類知識檢索場景需求。深度定制全文檢索框架，支持文檔類知識的高性能精準檢索。依托知識圖譜技術，構建概念類知識的圖譜，通過知識推理提升知識推理能力。打造基于置信度的模型知識問答和知識庫檢索的評價體系，實現多源知識的無縫融合。

三、主要成效

ChatABC大模型已在智能問答、智能客服、輔助編程、智能辦公、智能風控等多個領域同步進行試點。其中智能問答場景已提供超過200萬次問答服務；輔助編碼場景支持代碼生成、單測生成、代碼翻譯等功能，已超過8萬行代碼投入生產應用。

四、社會評價

中國農業銀行人工智能研發團隊秉持創新發展理念，主動擁抱AI大模型前沿技術，以技術探索創新為牽引，以場景價值賦能為目標，推出金融行業首個自主創新的金融AI大模型應用ChatABC。通過AI大模型的創新應用，持續提升農業銀行服務社會、服務經濟、服務三農的水平。（中關村互聯網金融研究院）

分享讓更多人看到