圖神經(jīng)網(wǎng)絡(luò)和數(shù)值誘導(dǎo)正則化的數(shù)值推理方法

摘要： 數(shù)值推理是機(jī)器閱讀理解的一項(xiàng)關(guān)鍵能力，而數(shù)值推理任務(wù)中的數(shù)據(jù)類型多樣，數(shù)值之間潛在的運(yùn)算關(guān)系對數(shù)值推理任務(wù)有著更高的要求。為了進(jìn)一步提升數(shù)值推理能力，一方面繼承圖神經(jīng)網(wǎng)絡(luò)方法并探索新的圖結(jié)構(gòu)，采用異構(gòu)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行數(shù)值推理，另一方面在預(yù)訓(xùn)練語言模型中引入數(shù)值誘導(dǎo)正則化方法，增強(qiáng)模型的數(shù)值理解能力。在DROP數(shù)據(jù)集上實(shí)驗(yàn)的結(jié)果表明，2種方法得到76.5%的精準(zhǔn)匹配率，與基線模... （共9頁）