智譜發(fā)布GLM-5技術報告 披露其實現(xiàn)性能大幅躍升的技術細節(jié)

    本報訊 （記者梁傲男）2月22日，北京智譜華章科技股份有限公司（以下簡稱“智譜”，股票代碼“HK2513”）發(fā)布了最新一代基礎模型GLM-5的技術報告，披露了GLM-5實現(xiàn)性能大幅躍升的技術細節(jié)。

    智譜在報告中表示，GLM-5是一款旨在推動編程范式從“VibeCoding”（氛圍編程）轉向“AgenticEngineering”（智能體工程）的下一代基礎模型。GLM-5在前代模型GLM-4.5的智能體、推理與編程能力基礎上，采用稀疏注意力以大幅降低推理成本，同時保持長上下文能力無損。為了讓模型更好地與各類任務對齊，智譜構建了一套新型異步強化學習（RL）基礎設施，通過將生成過程與訓練過程解耦，從而大幅提升了后訓練的迭代效率。

    總體而言，GLM-5能夠實現(xiàn)性能的大幅躍升，主要得益于以下四大技術創(chuàng)新：

    第一，引入DSA稀疏注意力機制。這一全新架構極大降低了訓練與推理成本。此前的GLM-4.5依賴標準MoE架構提升效率，而DSA機制則使GLM-5能夠根據(jù)Token的重要性動態(tài)分配注意力資源。在不折損長上下文理解和推理深度的前提下，算力開銷得以大幅削減。得益于此，模型參數(shù)規(guī)模成功擴展至744B（7440億），同時訓練Token規(guī)模提升至28.5T（28.5萬億）。

    第二，構建全新的異步RL基礎設施?；贕LM-4.5時期slime框架“訓練與推理解耦”的設計，新基建進一步實現(xiàn)了“生成與訓練”的深度解耦，將GPU利用率推向極致。該系統(tǒng)支持模型開展大規(guī)模的智能體軌跡探索，大幅減緩了以往拖慢迭代速度的同步瓶頸，讓RL后訓練流程的效率實現(xiàn)了質的飛躍。

    第三，提出全新的異步Agent RL算法。該算法旨在全面提升模型的自主決策質量。GLM-4.5曾依靠迭代自蒸餾和結果監(jiān)督來訓練Agent；而在GLM-5中，異步算法使模型能夠從多樣化的長周期交互中持續(xù)學習。這一算法針對動態(tài)環(huán)境下的規(guī)劃與自我糾錯能力進行了深度優(yōu)化，這也正是GLM-5能夠在真實編程場景中表現(xiàn)卓越的底層邏輯。

    第四，全面擁抱國產(chǎn)算力生態(tài)。從模型發(fā)布伊始，GLM-5就原生適配了中國GPU生態(tài)。全面兼容七大主流國產(chǎn)芯片平臺：華為昇騰、摩爾線程、海光、寒武紀、昆侖芯、沐曦與燧原。

    憑借上述進步，GLM-5不僅是一個更強大的模型，更是下一代AIAgent更高效、更實用的基礎模型。智譜向社區(qū)開源GLM-5，以進一步推動高效的、面向Agent的通用人工智能的發(fā)展。

    智譜認為，開源追趕閉源的“戰(zhàn)役”仍在繼續(xù)，公司將堅定不移地探索技術前沿，構建更高效、更智能的底層系統(tǒng)。

    以下為技術報告全文。

（編輯 郭之宸）