1. BloombergGPT的核心突破在于構建超3,000億詞例的金融訓練數據集

2. BloombergGPT的開發對于所有垂直領域都有重要意義

文：白話華爾街丨ID：WallstreetTalk

(資料圖片)

字數：1268字，閱讀時長：3分鐘

近日，由ChatGPT引發的生成式AI熱潮也蔓延到了金融行業。3月30日，全球商業、金融信息和財經資訊領域的供應商彭博（Bloomberg）發布了一篇關于BloombergGPT發開情況的研究論文，詳細介紹了這一專注于金融領域的大規模生成式人工智能模型。

和OpenAI的ChatGPT將從根本上顛覆書面交流一樣，BloombergGPT也將徹底改變金融行業。

“核心突破在于構建了超3,000億詞例的金融訓練數據集”

根據Bloomberg的公告，BloombergGPT大語言模型（LLM）專門針對各類金融數據進行訓練，從而全方位地支持金融領域的各種自然語言處理（NLP）任務。這些任務可能包括但不限于快速地分析財務數據、協助進行風險評估，以及自動執行會計和審計任務等。

該模型將幫助彭博改進現有的金融NLP任務，如市場情緒分析、實名實體識別、新聞分類和問題回答等。除此之外，BloombergGPT還可以調動彭博終端（Bloomberg Terminal）上的海量數據，將人工智能的全部潛力應用到金融領域。

BloombergGPT基于彭博研究人員開創的混合訓練法，通過將金融數據與通用數據集結合起來訓練模型，既可以在金融基準上取得最佳結果，同時也可以在通用LLM基準上保持足夠的競爭力。

坐擁彭博在數據創建、收集和整理方面的資源，BloombergGPT是迄今為止規模最大的專業領域數據集之一。

在過去的40多年里，彭博積累了充斥大量金融用語的文檔，其開發團隊從這個由大量英文金融文檔組成的數據庫中提取并創建了一個包含3,630億詞例（token）的金融數據集。該數據集又與另外一個包含3,450億詞例的公共數據集疊加，形成一個包含超7,000億詞例的大型訓練語料庫。

彭博的研究團隊利用該語料庫的一部分內容訓練了純解碼器（decoder-only）因果語言模型，包含500億個參數，并對訓練出的模型進行了基準測試。

金融領域的NLP任務采用了彭博的自有基準，各類通用NLP任務則采用了市面上流行的基準，如BIG-bench Hard、 Knowledge Assessments、Reading Comprehension以及Linguistic Tasks。

測試結果顯示，BloombergGPT在金融任務上的表現遠超類似規模的開發模型，而在一般NLP基準上的表現也達到甚至超過了平均水平。

“所有垂直領域都將受益”

彭博在公告中表示，基于LLM的人工智能在許多領域都已經展示出了應用潛力，然而金融領域的復雜性和獨特的術語意味著需要有一個專攻金融專業的模型。BloombergGPT的推出意味著，金融行業在基于LLM的人工智能開發和應用方面已經邁出了第一步。

彭博首席技術官Shawn Edwards表示，小樣本學習、文本生成和對話系統等，都是生成式LLM模型如此迷人的原因，而首個專注于金融領域的LLM模型將具有巨大價值。BloombergGPT能幫助人們處理許多新型的應用，不僅比定制化模型的表現好，而且即開即用，能夠大大縮短上線時間。

關于BloombergGPT的發布，彭博研究團隊在論文中表示，雖然業內無法對未公開的模型進行全面評估，但發布模型很可能會導致不良用途。特別是像BloombergGPT這樣的接受了大量新聞稿、媒體報道和其他文件訓練的模型，發布以后將面臨很高的被模仿濫用的風險，而且很容易受到數據泄漏攻擊。出于這些原因，彭博研究團隊寧可謹慎行事，并遵循其他一些LLM開發人員的做法，不發布BloombergGPT。

盡管如此，彭博在訓練和評估BloombergGPT方面的見解和經驗將有助于加深人們對LLM模型的理解，對那些希望構建某一領域特定模型的從業者起到借鑒作用。

參考資料

1.Bloomberg, Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance

2.Bloomberg, BloombergGPT: A Large Language Model for Finance

3.Fox Business, Bloomberg unveils finance-focused AI model Bloomberg GPT

BloombergGPT論文閱讀原文 https://arxiv.org/pdf/2303.17564.pdf

【免責聲明】

海投全球及旗下各自媒體賬號對所分享內容觀點保持中立，不對其準確性提供任何明示或暗示的保證，僅供讀者學習參考之用，禁止用于商業用途，且無投資指導意義。本聲明適用于海投全球全部原創與轉載文章，聲明的最終解釋權歸海投全球所有。謝謝！

關鍵詞：