FinChain團隊：首個金融符號化推理基準測試_模板_領域_評估

2025年6月，來自阿聯酋穆罕默德·本·紮耶德人工智能大學(MBZUAI)、保加利亞索非亞大學、法國Quantsquare、美國康奈爾大學以及印度IIT德裡的國際研究團隊聯合發佈了一項開創性研究——FinChain：金融領域首個可驗證的符號化思維鏈推理基準測試。這項研究以預印本形式發表於arXiv（arXiv:2506.02515），旨在解決現有金融領域語言模型在多步推理能力評估方面的重大缺口。

想像一下，你的理財顧問在幫你做投資決策時，需要一步步計算複雜的財務數據。如果他只告訴你最終結果，而不解釋計算過程，你會信任這個建議嗎？這正是現今金融人工智能面臨的核心問題——牠們能給出答案，但難以展示可靠的推理過程。

在金融決策中，錯誤可能代價高昂。以往的金融問答數據集如FinQA和ConvFinQA主要關注最終答案的準確性，卻忽略了中間推理步驟的評估。就好像只看學生的最終答案，而不檢查他們的解題過程，這無法全面評估模型的實際推理能力。

研究團隊創建了FinChain，這是一個全新的金融推理基準測試，涵蓋12個金融領域的54個主題，每個主題包含5個參數化模板（兩個簡單級別、兩個中級和一個高級）。這些模板可以生成無數不同的金融問題，每個問題都配有完整的、可執行的Python代碼，用於驗證推理鏈的每一步驟。

簡單來說，FinChain就像一本詳細的金融推理"食譜書"，不僅告訴你最終菜肴（答案）應該是什麽樣，還詳細記錄了每一步烹飪過程（推理步驟）。這樣，我們就能評判模型是真的掌握了金融推理的"烹飪技巧"，還是只是幸運地猜對了最終"菜肴"。

研究團隊還創建了一個名為ChainEval的評估指標，同時評估最終答案的正確性和中間推理步驟的一致性。通過對30個大型語言模型的測試，他們發現即使是最先進的模型在處理複雜的金融推理任務時仍有很大的提升空間。

讓我們一起深入探索這個金融推理的新基準，看看牠如何改變我們評估和改進金融人工智能的方式。

一、理解現有金融推理評估的局限

在智能手機導航中，你不僅希望知道最終目的地，還想知道每個轉彎、每條路段的具體指引。同樣，在金融分析中，單純得到最終結果遠遠不夠，我們需要了解每一步計算和推理是如何進行的。

現有的金融推理數據集如FinQA和ConvFinQA主要關注最終的數值答案，而不要求模型明確生成或證明中間推理步驟。雖然某些例子可能包含中間操作的痕跡（類似於推理步驟），但這些既不全面，也沒有經過嚴格構建以反映金融分析的標準。特別是，牠們缺乏完整、可驗證的推理鏈表示，而這對金融決策的透明度和問責制至關重要。

研究者指出，這些基準測試提供的診斷價值有限：牠們既不能可靠地揭示模型推理在哪裡成功或失敗，也不能區分真正的多步推理和淺層模式匹配。就像一個學生可能通過記憶答案而非理解解題方法獲得高分，我們需要更嚴格的測試來評估模型是否真正理解了金融推理的過程。

在數學推理領域，GSM-Symbolic（由Mirzadeh等人於2024年提出）引入的符號化模板範式已成為廣泛採用的方法。該方法重新模板化了GSM8K中的100個數學問題，提供明確的中間步驟和最終答案。研究團隊採用了類似的模板策略，但是完全從頭開始為金融領域構建數據集。

如圖1所示，每個符號化模板編碼了一個參數化的金融問題（例如復利計算），包含可變的命名實體和數值輸入。每個模板都配有可執行的Python代碼，用於計算中間步驟和最終結果。這種設計支持可擴展、無汙染地生成一致的示例，既可用於訓練也可用於評估。

二、FinChain：構建全面的金融推理基準

金融領域包含各種不同的領域，每個領域涉及不同的利益相關者和下遊目標。因此，必須以模板化的方式設計數據集，以支持特定領域的評估。

研究團隊構建了一個精細的金融分類系統（圖2），涵蓋12個高級領域（如公司金融、可持續金融、加密貨幣等），每個領域包含不同的主題，總計54個主題。這種分層結構構成了現有數據集中最詳細的金融推理任務分類。

對於每個主題，研究者開發了五個參數化模板（兩個簡單、兩個中級、一個高級），根據符號推理複雜性和所需領域知識的不同而變化。例如，在簡單級別，一個模板可能只需要計算簡單的復利；而在高級級別，可能需要結合多種金融概念進行分析，如同時考慮通貨膨脹、稅收和風險調整等因素。

每個模板化實例包括：

1. 場景卡片：描述主題、難度級別和采樣輸入（例如，"貼現現金流估值，高級"）。

2. 可執行的Python推理步驟鏈：基於特定領域的方程和概念。由於鏈中的每個操作都是明確且可執行的，這個基準支持完全的機器可驗證性：模型輸出中任何虛構、跳過或錯誤的步驟都可以被自動檢測。

這與現有數據集如FinQA和ConvFinQA形成鮮明對比，後者隻監督最終答案。就像檢查學生解題過程的老師，FinChain關注每一步的正確性，而不僅僅是最終結果。

數據創建過程首先確定和定義金融領域，這一步驟參考了已建立的文獻（如Bodie等人2025年的著作）並由金融專家指導。通過這個過程，研究團隊確定了12個不同的金融領域。為了在每個領域內生成主題，他們從文獻中提取相關段落，並使用領域名稱作為提示，讓ChatGPT提取候選金融主題。然後，金融專家篩選和完善這些輸出，最終得到54個金融主題，平均每個領域4.5個主題。

研究團隊還實施了嚴格的質量控制流程，包括初始模板生成後的理智檢查和專家驗證。在理智檢查階段，他們處理了幾個常見問題：跨國不一致性、精度不匹配和輸入規範不完整。在專家檢查階段，他們使用另一個大型語言模型（Claude）評估每個問題-解決方案模板的合理性，並將標記為潛在有缺陷的模板升級給金融專家進行最終判斷。

三、ChainEval：評估推理鏈的新方法

想像一下，你在評判一場烹飪比賽。你不僅要嘗嘗最終菜肴的味道，還要觀察廚師是否按照正確的步驟和技巧準備食材、調味和烹飪。同樣，評估金融推理模型時，我們需要檢查最終答案和中間推理步驟是否都正確。

研究團隊提出了ChainEval，一個評估框架，從兩個方面評估模型輸出：最終答案正確性和推理步驟一致性。這種逐步語義對齊方法受到先前關於推理一致性工作的啟發（Lyu等人2023年；Golovneva等人2023年），但研究團隊通過明確建模中間結果的驗證，通過步驟-答案匹配來擴展牠。此外，與主要評估文本一致性的先前工作不同，他們的框架還驗證最終數值答案，確保對模型性能的全面視圖，同時評估推理忠實性和最終任務保真度。

ChainEval的工作原理如下：

首先，定義標準解決方案S*和預測解決方案S分別為m和n個步驟的序列： S* = (s*?, ..., s*?), S = (s?, ..., s?)

其中s*?和s?表示S*和S中的單個步驟。同時定義函數StepRes(·)，提取每個步驟計算的中間結果。

然後，通過兩個組件測量推理忠實性：

1. 步驟語義相似性：使用句子編碼器Enc(·)嵌入每個步驟，計算標準步驟和預測步驟對(s*?, s?)之間的余弦相似度，得到分數SS(·)∈[0,1]。

2. 步驟答案匹配：評估中間步驟s*?和s?計算的結果是否一致。引入函數AM(·)，允許對數值結果有小的容差（設為5%），以考慮數值舍入傳播的誤差。

當一對步驟的語義相似度超過閾值，且對應的中間結果一致時，這對步驟被認為是對齊的。基於此，計算步驟級別的召回率和精確率，最終計算步驟F1分數，這是步驟級別精確率和召回率的調和平均值。

最後，通過檢查預測解決方案中最後一步的結果是否與標準解決方案的最後一步一致，評估最終答案的正確性。

這種全面的評估方法不僅檢查模型是否得到了正確的最終答案，還驗證牠是否按照正確的推理路徑得到了答案，這對金融領域尤為重要，因為在這裡，過程的透明度和可審計性往往與結果本身一樣重要。

四、大規模模型評估與發現

研究團隊對30個大型語言模型進行了全面評估，使用了2,700個測試用例（54個主題×5個模板×10個實例）。所有模型都在一致的解碼配置下進行評估：溫度=0.7，top-p=0.95，最大令牌限制為4,096。他們使用了提出的ChainEval指標作為評估最終答案正確性和中間推理步驟一致性的主要指標。

評估的模型分為六類：

1. 通用模型：作為領域無關的強基線，包括GPT-4.1、GPT-4o mini、LLaMA 3系列、Mistral、Mixtral等。

2. 通用推理模型：專為廣泛多步推理任務訓練或微調的模型，如o3-mini、DeepSeek-R1系列、Qwen3等。

3. 金融微調模型：通過指令調整或在金融語料庫上繼續預訓練而適應的模型，如Finance-LLM、FinanceConnect等。

4. 金融推理模型：專為金融多步推理設計的模型，如Fino1和FinR1。

5. 數學模型：在數學中心語料庫上微調的模型，如Mathstral和Qwen2.5 Math。

6. 數學推理模型：在數學中擅長逐步問題解決的模型，如WizardMath和MetaMath。

表1展示了模型在FinChain上的綜合評估結果，包括ChainEval的四個組成部分：最終答案正確性(FAC)、步驟精確率/召回率/F1，以及ROUGE和BERTScore評分。

整體而言，通用模型如LLaMA 3.3 (70B) Instruct和GPT-4.1在準確性和一致性方面表現領先。這些模型也表現出適度的方差，表明牠們不僅具有高性能，還能在各種金融場景中穩健地泛化。關鍵的是，結果凸顯了模型大小與推理能力之間的強相關性。較大的模型始終優於較小的模型，即使後者經過領域特定數據的明確訓練，這表明領域暴露本身是不夠的；穩健的推理性能還取決於處理符號和多跳推理的足夠模型容量。

開源模型如Qwen3 (8B)儘管規模較小，也表現出競爭力，這可能歸因於其在最新版本中增強的推理能力。金融推理模型，如Fin-R1表現出合理的符號對齊，但在最終答案準確性方面表現不佳。

研究團隊還分析了模型在不同金融領域的表現（圖3）。對於非推理模型，結構化和定量領域如個人金融和加密金融表現出較高的準確率。這些領域往往需要直接計算或熟悉的術語，通用和數學調優模型能夠較好地處理。相比之下，風險管理和可持續金融等領域表現明顯下降，這可能是因為牠們需要多步邏輯、含糊場景或難以符號化編碼的監管細微差別。

對於推理模型，在傳統上具有挑戰性的領域如金融比率和公司金融表現更強，表明這些模型在處理多步符號結構方面有所改進。然而，即使是推理模型在可持續金融和並購領域仍表現相對較弱，這需要細微的理解和特定領域的推理策略。

研究團隊還評估了模型在不同難度級別下的魯棒性（圖4）。所有模型在複雜性增加時都表現出性能下降，突顯了執行更長金融推理鏈的難度。其中，LLaMA 3.3 (70B) Instruct因其強大的絕對性能和漸進下降而脫穎而出，表明其在組合泛化方面表現更好。相比之下，較小的模型如Fin-R1 (7B)下降更為嚴重，表明在推理深度增加時難以保持推理連貫性。

最後，研究團隊測試了在模板中改變實體名稱和數值對模型推理性能的影響。較大模型如GPT-4.1在所有設置中保持一致的性能，反映出對名稱和值輸入的強大抽象能力。然而，較小的模型表現出不同的敏感性。例如，o3-mini在僅改變值時比僅改變名稱時獲得更高的準確率，GPT-4o-mini也表現出輕微的不穩定性，在不同條件下性能略有變化。

五、結論與未來展望

談到金融人工智能的未來，FinChain代表了一個重要的里程碑。牠不僅是一個評估工具，更是一面鏡子，揭示了當前最先進模型在處理複雜金融推理時的真實能力和局限性。

歸根結底，FinChain為我們提供了一種全新的方式來評估金融語言模型：不僅看牠們能否得出正確答案，還要看牠們是否通過正確的思考過程得出這些答案。這就像不僅評判廚師做出的菜肴，還要評判他們的烹飪技巧和方法。

研究發現，即使是最強大的模型在處理複雜的多步金融推理時仍有相當大的提升空間。這提醒我們，儘管人工智能在金融領域取得了令人印象深刻的進展，但真正掌握專業金融推理的能力仍然是一個進行中的挑戰。

特別值得注意的是，模型大小似乎是決定推理能力的關鍵因素。較大的通用模型往往優於專門為金融領域訓練的較小模型，這表明僅僅接觸領域知識是不夠的；模型還需要足夠的容量來處理複雜的符號推理。

展望未來，研究團隊計劃擴展FinChain以支持多語言和區域特定場景，並探索逐步推理軌跡如何增強模型生成答案的可信度和事實性，特別是在真實文檔的長篇金融問答中。這條研究路線可能有助於將符號金融推理與事實驗證結合起來，支持更強大、更可解釋的金融AI系統。

對於普通人來說，這項研究意味著未來的金融AI工具可能不僅會告訴你"應該投資什麽"，還會清晰地解釋"為什麽"和"如何"得出這些建議。這種透明度對於建立信任至關重要，尤其是在金融這樣高風險的領域。

如果你對這項研究感興趣，可以通過GitHub（https://github.com/mbzuai-nlp/finchain）訪問所有FinChain的模板和評估指標。這是一個開源項目，旨在推動金融AI的透明度和可靠性向前發展。