大語(yǔ)言模型在證券行業(yè)的應(yīng)用測(cè)評(píng)分析

    1、引言

    大語(yǔ)言模型（LLM）包含數(shù)千億參數(shù)，在大規(guī)模文本數(shù)據(jù)上訓(xùn)練，展現(xiàn)出強(qiáng)大的自然語(yǔ)言理解和復(fù)雜任務(wù)解決能力。第一個(gè)重要里程碑是OpenAI發(fā)布的ChatGPT，它優(yōu)化了對(duì)話能力，能夠在多輪對(duì)話中準(zhǔn)確追蹤上下文，且保持與人類(lèi)價(jià)值觀的一致性。GPT-4在語(yǔ)言模型的基礎(chǔ)上進(jìn)一步擴(kuò)展到多模態(tài)信號(hào)，能夠解決復(fù)雜任務(wù)，顯著提升評(píng)估任務(wù)的性能。其他開(kāi)源大語(yǔ)言模型如Llama-2、Falcon、ChatGLM3等也在迅速發(fā)展。LLM在金融領(lǐng)域展現(xiàn)出巨大潛力，逐漸成為處理金融問(wèn)題的強(qiáng)大工具。金融大語(yǔ)言模型的起始是BloombergGPT，混合專(zhuān)業(yè)領(lǐng)域數(shù)據(jù)集的訓(xùn)練使其在金融任務(wù)上表現(xiàn)優(yōu)秀，另外，首個(gè)針對(duì)中文金融領(lǐng)域優(yōu)化的千億級(jí)開(kāi)源對(duì)話大模型是XUANYUAN，在金融場(chǎng)景的測(cè)評(píng)中，全面超越其他主流開(kāi)源大模型。

    金融證券領(lǐng)域的LLM應(yīng)用對(duì)數(shù)據(jù)合規(guī)性、準(zhǔn)確性、時(shí)效性要求高，需要私有化部署并進(jìn)行個(gè)性化訓(xùn)練，因此存在訓(xùn)練數(shù)據(jù)和資源限制。我們嘗試?yán)眯⌒透哔|(zhì)量指令數(shù)據(jù)集微調(diào)LLM，驗(yàn)證其在金融證券領(lǐng)域工作助手的有效性，構(gòu)建了SecPile數(shù)據(jù)集用于微調(diào)訓(xùn)練，包含金融和通用數(shù)據(jù)集。基于金融領(lǐng)域常見(jiàn)場(chǎng)景設(shè)計(jì)評(píng)測(cè)集，對(duì)微調(diào)后的模型在通用能力和金融能力方面進(jìn)行SecScope評(píng)測(cè)。

    2、證券行業(yè)大模型研發(fā)進(jìn)展

    Transformer模型自2017年提出以來(lái)，通過(guò)注意力機(jī)制和自監(jiān)督學(xué)習(xí)極大地提升了語(yǔ)言理解和生成能力，成為眾多大語(yǔ)言模型如BERT、RoBERTa、T5等的基礎(chǔ)。目前，技術(shù)如LoRA、P-tuning和Prompt-tuning展現(xiàn)了參數(shù)高效微調(diào)的優(yōu)勢(shì)，包括縮短訓(xùn)練時(shí)間、減少顯存占用，并保持良好的泛化性，使用較少參數(shù)進(jìn)行高效微調(diào)以獲得更佳效果是主流趨勢(shì)。

    在金融領(lǐng)域，訓(xùn)練數(shù)據(jù)集的構(gòu)成對(duì)模型性能有顯著影響。研究表明多任務(wù)種類(lèi)的微調(diào)數(shù)據(jù)，特別是COT數(shù)據(jù)，能進(jìn)一步提升微調(diào)效果。數(shù)據(jù)質(zhì)量被認(rèn)為比數(shù)據(jù)集大小更重要，一個(gè)小規(guī)模高質(zhì)量數(shù)據(jù)集可能優(yōu)于大規(guī)模低質(zhì)量數(shù)據(jù)集。BloombergGPT和XUANYUAN金融大模型通過(guò)不同比例的垂直領(lǐng)域數(shù)據(jù)和通用數(shù)據(jù)平衡專(zhuān)業(yè)知識(shí)與多元應(yīng)用能力。通過(guò)不同的預(yù)訓(xùn)練模型和微調(diào)策略發(fā)掘金融領(lǐng)域大語(yǔ)言模型的潛力，例如通過(guò)混合調(diào)優(yōu)方法緩解災(zāi)難性遺忘，為金融領(lǐng)域提供更加專(zhuān)業(yè)和精準(zhǔn)的模型解決方案。

    證券行業(yè)正處于推進(jìn)金融與科技融合的關(guān)鍵階段，77家證券公司將數(shù)字化轉(zhuǎn)型作為公司發(fā)展的核心戰(zhàn)略，意在實(shí)現(xiàn)高質(zhì)量發(fā)展并全面服務(wù)實(shí)體經(jīng)濟(jì)。大模型技術(shù)在行業(yè)內(nèi)的應(yīng)用逐漸從零售經(jīng)紀(jì)業(yè)務(wù)擴(kuò)展到機(jī)構(gòu)業(yè)務(wù)、資產(chǎn)管理、投資銀行等多個(gè)領(lǐng)域。一些頭部券商積極探索大模型技術(shù)在智能客服、數(shù)字化投行、智能投研、智能協(xié)作等細(xì)分應(yīng)用領(lǐng)域的實(shí)際應(yīng)用，中小券商也在積極利用AIGC技術(shù)提升自身的內(nèi)容輸出水平?；诖竽Ｐ图夹g(shù)的語(yǔ)義理解和內(nèi)容生成能力，行業(yè)內(nèi)已有多家財(cái)富管理機(jī)構(gòu)將其應(yīng)用于生成符合要求的營(yíng)銷(xiāo)文案和推廣策略，以提高營(yíng)銷(xiāo)效果和用戶轉(zhuǎn)化率。此外，AI數(shù)字人等新技術(shù)也逐漸在證券行業(yè)落地，部分機(jī)構(gòu)正探索將其嵌入到開(kāi)戶流程、客戶服務(wù)等具體業(yè)務(wù)辦理中，與客戶進(jìn)行實(shí)時(shí)互動(dòng)和溝通。為了支撐上述的技術(shù)應(yīng)用，部分券商正持續(xù)提升數(shù)據(jù)、算力、算法等能力，強(qiáng)化AI中臺(tái)技術(shù)沉淀和組件復(fù)用。但在實(shí)際應(yīng)用中，合規(guī)、數(shù)據(jù)隱私保護(hù)等問(wèn)題仍然需要重視。因此，行業(yè)需要進(jìn)一步深度融合科技與業(yè)務(wù)，符合法律法規(guī)，方能實(shí)現(xiàn)科技在金融領(lǐng)域的價(jià)值。

    3、SecPile金融與通用數(shù)據(jù)集

    SecPile數(shù)據(jù)集包含金融和通用兩個(gè)數(shù)據(jù)集，SecPile金融數(shù)據(jù)集由司內(nèi)沉淀的問(wèn)答數(shù)據(jù)和金融行業(yè)公開(kāi)知識(shí)數(shù)據(jù)組成，經(jīng)過(guò)預(yù)處理和迭代更新機(jī)制，保證時(shí)效性和準(zhǔn)確性。數(shù)據(jù)集細(xì)分為金融從業(yè)考試知識(shí)點(diǎn)、金融基礎(chǔ)信息、行業(yè)知識(shí)數(shù)據(jù)和金融NLP任務(wù)數(shù)據(jù)。金融從業(yè)考試知識(shí)點(diǎn)包括高質(zhì)量試題和教材資料，涵蓋證券、基金、期貨等專(zhuān)業(yè)科目。金融基礎(chǔ)信息來(lái)源于傳統(tǒng)金融數(shù)據(jù)平臺(tái)，包括上市公司、基金、債券等基礎(chǔ)信息。行業(yè)知識(shí)數(shù)據(jù)來(lái)自證監(jiān)會(huì)、證交所等，涵蓋專(zhuān)業(yè)知識(shí)、法律法規(guī)等。金融NLP任務(wù)數(shù)據(jù)收集自開(kāi)源社區(qū)和比賽網(wǎng)站，包括文本摘要、實(shí)體識(shí)別、情感分析等任務(wù)，經(jīng)過(guò)數(shù)據(jù)清洗和標(biāo)準(zhǔn)化處理，適用于模型微調(diào)和評(píng)測(cè)。

    SecPile通用數(shù)據(jù)集由五個(gè)高質(zhì)量的中英文微調(diào)數(shù)據(jù)集組成，覆蓋多輪對(duì)話、文本創(chuàng)作、中英翻譯、數(shù)據(jù)與編程等多領(lǐng)域任務(wù)。這些數(shù)據(jù)已在大型語(yǔ)言模型訓(xùn)練中展現(xiàn)有效性，經(jīng)過(guò)徹底清洗和預(yù)處理，提供豐富多樣性，支持模型在多領(lǐng)域、多場(chǎng)景下的訓(xùn)練和優(yōu)化。數(shù)據(jù)集包括開(kāi)放式問(wèn)答與邏輯推理、文本生成與理解、交互式對(duì)話與翻譯等類(lèi)型，來(lái)源多樣，通過(guò)自動(dòng)化處理和人工審核確保數(shù)據(jù)質(zhì)量。開(kāi)放式問(wèn)答與邏輯推理數(shù)據(jù)旨在提升模型的自然語(yǔ)言理解和邏輯推理能力；文本生成與理解數(shù)據(jù)集支持模型在復(fù)雜文本處理場(chǎng)景下的應(yīng)用；交互式對(duì)話與翻譯數(shù)據(jù)集增強(qiáng)模型在語(yǔ)言轉(zhuǎn)換和邏輯編程方面的能力，確保了數(shù)據(jù)的高質(zhì)量和實(shí)用性。

    4、模型訓(xùn)練與調(diào)優(yōu)過(guò)程

    ChatGLM3-6B-Base是當(dāng)前三個(gè)可選的開(kāi)源基模型之一，以65.3分的最高綜合得分位列OpenCompass 1.0大語(yǔ)言模型榜單首位。該模型繼承并發(fā)展了前代模型的優(yōu)點(diǎn)，如流暢的對(duì)話體驗(yàn)和低門(mén)檻部署要求，同時(shí)引入新特性如Prompt格式和函數(shù)調(diào)用功能，優(yōu)化多輪對(duì)話流暢性和連貫性，并支持復(fù)雜場(chǎng)景如代理任務(wù)。ChatGLM3通過(guò)多樣化訓(xùn)練數(shù)據(jù)集、增加訓(xùn)練步驟和采用合理訓(xùn)練策略，提升學(xué)習(xí)效率和性能，在多任務(wù)上表現(xiàn)出色。ChatGLMForConditionalGeneration模型架構(gòu)專(zhuān)為條件生成任務(wù)設(shè)計(jì)，包括詞嵌入層、旋轉(zhuǎn)位置嵌入技術(shù)、由28個(gè)GLMBlock組成的編碼器和輸出層，具備改進(jìn)的長(zhǎng)距離依賴處理能力、更高處理效率和準(zhǔn)確性，以及更好的穩(wěn)定性和性能。訓(xùn)練配置方面，優(yōu)化了多項(xiàng)參數(shù)以提高模型性能，采用混合精度訓(xùn)練和Deepspeed框架，通過(guò)零冗余優(yōu)化和offload技術(shù)減少內(nèi)存占用，實(shí)現(xiàn)更大參數(shù)量模型的訓(xùn)練。

    我們基于BloombergGPT的經(jīng)驗(yàn)，將初始學(xué)習(xí)率設(shè)定為6e-5，并使用帶線性預(yù)熱和線性衰減的學(xué)習(xí)率調(diào)度器，見(jiàn)圖一。通過(guò)不同學(xué)習(xí)率的控制變量訓(xùn)練，發(fā)現(xiàn)2e-5的學(xué)習(xí)率在訓(xùn)練過(guò)程中表現(xiàn)出更好的穩(wěn)定性和平滑性，見(jiàn)圖二。為應(yīng)對(duì)學(xué)習(xí)率下降過(guò)快的問(wèn)題，我們采用了WarmupCosineLR策略進(jìn)行更緩慢的學(xué)習(xí)率衰減，但這一調(diào)整并未顯著改善損失曲線的最終值。進(jìn)一步，我們通過(guò)調(diào)整weight_decay值從1e-6降低至1e-7，減小了損失函數(shù)的波動(dòng)。綜合考慮損失下降速度、最終損失值和訓(xùn)練過(guò)程的穩(wěn)定性，我們選擇了學(xué)習(xí)率為2e-5、調(diào)度器為cosine、權(quán)重衰減為1e-7的訓(xùn)練方案，以優(yōu)化模型的性能和穩(wěn)定性，最終微調(diào)訓(xùn)練成XCGLM證券垂類(lèi)大語(yǔ)言模型。

    5、SecScope通用與金融能力評(píng)測(cè)

    大語(yǔ)言模型在通用能力方面需掌握跨學(xué)科知識(shí)進(jìn)行推理，研究通過(guò)C-Eval、CMMLU、MMLU和AGIEval四個(gè)評(píng)測(cè)集評(píng)估模型的邏輯推理和數(shù)學(xué)計(jì)算能力，并構(gòu)建專(zhuān)門(mén)的意圖識(shí)別評(píng)測(cè)集評(píng)估模型對(duì)文本意圖的理解能力。在金融領(lǐng)域，模型常應(yīng)用于摘要生成、關(guān)鍵詞提取、實(shí)體識(shí)別和情感分析等任務(wù)，研究設(shè)計(jì)了SecScope測(cè)試集評(píng)估XCGLM在證券領(lǐng)域任務(wù)的表現(xiàn)，包括金融能力評(píng)估、摘要生成、關(guān)鍵詞提取、實(shí)體識(shí)別和情感分析五部分，使用XSum、LCSTS、CSL評(píng)測(cè)集和新浪新聞標(biāo)注數(shù)據(jù)等作為評(píng)估基準(zhǔn)，對(duì)FiQA SA和FPB金融情緒分析數(shù)據(jù)集進(jìn)行清洗和校準(zhǔn)，構(gòu)建金融行業(yè)專(zhuān)用情感分析測(cè)試集。

    圖3評(píng)測(cè)模型能力雷達(dá)圖

    在參數(shù)量相近的情況下，大語(yǔ)言模型展現(xiàn)出了類(lèi)似的性能水平，且隨著參數(shù)量的增加，性能有顯著提升。經(jīng)過(guò)針對(duì)“遺忘性災(zāi)難”專(zhuān)門(mén)化訓(xùn)練的模型，如XCGLM和Tongyi-Finance-14B，在通用能力上略遜于原始基礎(chǔ)模型，但在金融領(lǐng)域的知識(shí)、從業(yè)能力和特定文本分析任務(wù)上表現(xiàn)卓越，尤其是在處理復(fù)雜特定提示詞的任務(wù)時(shí)，XCGLM能更全面地遵循指令，產(chǎn)出更高質(zhì)量的結(jié)果，如圖3。這證明了專(zhuān)業(yè)化訓(xùn)練對(duì)提升大語(yǔ)言模型在特定領(lǐng)域應(yīng)用的實(shí)際效能的重要性，通過(guò)小型高質(zhì)量數(shù)據(jù)集微調(diào)，能有效打造針對(duì)特定行業(yè)領(lǐng)域的工作助手，顯著提升從業(yè)人員的工作效率，發(fā)揮重要作用。

    6、總結(jié)與展望

    本文探討了大語(yǔ)言模型在證券領(lǐng)域的應(yīng)用與優(yōu)化，通過(guò)構(gòu)建綜合性的SecPile數(shù)據(jù)集，平衡模型的通用性和金融特性，提供豐富的微調(diào)和評(píng)測(cè)資源。選用ChatGLM3-6B-Base作為基模型，優(yōu)化其結(jié)構(gòu)和訓(xùn)練配置，提升模型在金融領(lǐng)域任務(wù)集上的表現(xiàn)。微調(diào)后的模型有效完成金融實(shí)體識(shí)別、問(wèn)答、關(guān)鍵詞提取、情感分析等任務(wù)，提高金融從業(yè)人員工作效率。本文證明利用小型高質(zhì)量指令數(shù)據(jù)集微調(diào)大語(yǔ)言模型的有效性，為構(gòu)建特定領(lǐng)域工作助手提供經(jīng)驗(yàn)。同時(shí)，也凸顯了大語(yǔ)言模型在金融領(lǐng)域的潛力及持續(xù)探索優(yōu)化的重要性。

    未來(lái)，大模型的發(fā)展更加側(cè)重垂直領(lǐng)域應(yīng)用，或分為行業(yè)應(yīng)用和創(chuàng)新創(chuàng)意兩個(gè)賽道，行業(yè)應(yīng)用是對(duì)傳統(tǒng)業(yè)務(wù)的賦能和顛覆，創(chuàng)新創(chuàng)意應(yīng)用則是利用AIGC邏輯創(chuàng)造出新質(zhì)生產(chǎn)力。對(duì)于證券行業(yè)，大模型賦能券商業(yè)務(wù)是我們接下來(lái)深入研究的方向，科技必須和業(yè)務(wù)場(chǎng)景結(jié)合，才能發(fā)揮相應(yīng)的價(jià)值和能力。取經(jīng)于互聯(lián)網(wǎng)+經(jīng)驗(yàn)，在AIGC+時(shí)代下，進(jìn)一步幫助企業(yè)和個(gè)人提質(zhì)增效。對(duì)于信息技術(shù)部門(mén)來(lái)說(shuō)，通過(guò)數(shù)據(jù)、算力、算法能力研發(fā)大模型應(yīng)用開(kāi)發(fā)平臺(tái)是首要工作事項(xiàng)。在此平臺(tái)上，基于目前大模型成熟的語(yǔ)義理解和內(nèi)容生成能力，證券行業(yè)或可以在營(yíng)銷(xiāo)軟文創(chuàng)作、智能投顧、群聊智能助手、代碼助手等方向?qū)で髴?yīng)用落地。隨著大模型的能力逐步提升，大模型Agent與RPA機(jī)器人的結(jié)合是我們持續(xù)探索和落地的方向。

    作者（姓名、單位、職務(wù)）

    鄧綱     湘財(cái)證券股份有限公司總裁助理、信息技術(shù)中心總經(jīng)理

    李鵬     湘財(cái)證券股份有限公司、信息技術(shù)中心大數(shù)據(jù)開(kāi)發(fā)崗

    吳星諭  湘財(cái)證券股份有限公司、信息技術(shù)中心量化策略與數(shù)據(jù)分析崗

    王鄭毅  湘財(cái)證券股份有限公司、信息技術(shù)中心大數(shù)據(jù)開(kāi)發(fā)崗

    劉文貴  湘財(cái)證券股份有限公司、信息技術(shù)中心需求分析管理崗

    （CIS）