面向聯(lián)邦大語言模型訓(xùn)練的傳輸優(yōu)化技術(shù)綜述

摘要： 隨著人工智能技術(shù)的快速發(fā)展，各類大型語言模型不斷涌現(xiàn)。但是專用大語言模型的用戶及數(shù)據(jù)集大多具有隱私性和安全性要求，數(shù)據(jù)安全隱私問題亟待解決。在此背景下，聯(lián)邦大語言模型應(yīng)運而生并得到越來越多的關(guān)注。由于大型語言模型龐大的數(shù)據(jù)量以及聯(lián)邦學習的分布式架構(gòu)，海量的參與節(jié)點與云服務(wù)器間進行大量的模型交換會產(chǎn)生較高的通信成本。為提升模型收斂速率，研究人員對面向聯(lián)邦大語言模型訓(xùn)練的傳輸優(yōu)化技... （共14頁）