CFB:金融領(lǐng)域大模型評(píng)估方法
摘要: 隨著大語言模型(LLM)在金融領(lǐng)域的應(yīng)用潛力不斷顯現(xiàn),評(píng)估金融大模型的性能變得尤為重要。然而,由于當(dāng)下的金融評(píng)估方法評(píng)估任務(wù)單一、評(píng)測(cè)數(shù)據(jù)集覆蓋面不足以及測(cè)評(píng)基準(zhǔn)數(shù)據(jù)污染等方面的局限,大模型在金融領(lǐng)域的潛力尚未得到充分探索?;诖?,提出了中文金融大模型評(píng)估方法 CFB,構(gòu)建36個(gè)數(shù)據(jù)集,涵蓋24個(gè)金融任務(wù),涉及多項(xiàng)問答、術(shù)語解釋、文本生成、文本翻譯、分類任務(wù)、語步識(shí)別、預(yù)測(cè)決策... (共16頁)
開通會(huì)員,享受整站包年服務(wù)