對話人物：復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室MOSS項(xiàng)目人工智能訓(xùn)練師 賀正夫
問：MOSS是什么，主要有什么作用？
答：MOSS是一個(gè)對話式語言模型，它可以為人們的生活提供各種直接或間接的幫助。它可以進(jìn)行生活常識(shí)問答，幫助查詢天氣、規(guī)劃行程等；可以輔助高效辦公，例如自動(dòng)處理表格，生成大綱、草稿、翻譯等，還掌握金融、醫(yī)療、教育等領(lǐng)域?qū)I(yè)知識(shí)。許多行業(yè)正在引入以MOSS為代表的對話式語言模型，比如汽車語音助手、客服等，這些都將產(chǎn)生降本增效的效果。
問：您對MOSS的具體訓(xùn)練過程是怎樣的？
答：大模型中參數(shù)的本質(zhì)是海量的矩陣，這些矩陣對輸入的文本進(jìn)行簡單、繁重、重復(fù)的數(shù)字運(yùn)算，最終得到需要生成的內(nèi)容。我們可以通過對網(wǎng)絡(luò)上的語料進(jìn)行收集、“清洗”，并讓大模型從這些語料中學(xué)習(xí)知識(shí)。具體而言，學(xué)習(xí)過程就是不斷“閱讀”文本，并調(diào)整大模型內(nèi)部參數(shù)，使其對語言的理解不斷加深，最終獲得某種“智能”，這個(gè)過程稱為訓(xùn)練。
在搭建MOSS的過程中，我們通過三階段“閱讀”賦予MOSS強(qiáng)大的能力。一是基礎(chǔ)知識(shí)獲取階段。MOSS通過廣泛“閱讀”網(wǎng)絡(luò)上幾乎所有的文本，由于巨大的參數(shù)量，其足以涵蓋海量知識(shí)。二是對話能力獲取階段。MOSS通過“閱讀”對話數(shù)據(jù)，學(xué)習(xí)利用第一階段獲取的知識(shí)，以對話的方式回答人類的問題。三是對齊階段。由于有些回復(fù)可能會(huì)有誤導(dǎo)性，MOSS會(huì)根據(jù)人類的反饋來抑制生成不符合人類法律和道德倫理的內(nèi)容，使回答更客觀、更理性。
問：MOSS和ChatGPT相比有哪些差異？
答：ChatGPT的訓(xùn)練數(shù)據(jù)涵蓋十分廣泛，用戶體驗(yàn)良好。MOSS作為學(xué)術(shù)界的嘗試，我們希望通過打造開源對話式的語言模型，向?qū)W術(shù)界分享更前瞻的理論和工程經(jīng)驗(yàn)。
問：MOSS是來源于電影《流浪地球2》嗎？它的未來目標(biāo)是什么？
答：MOSS的名字與《流浪地球2》這部電影有關(guān)，電影中的人工智能機(jī)器人MOSS展現(xiàn)出極強(qiáng)的智能和理性，成為人類的得力助手。我們從對話式語言模型發(fā)展中看到了人工智能的巨大潛力，因此起名MOSS，這個(gè)名字寄托這我們對人工智能技術(shù)未來發(fā)展的期待。
未來的MOSS會(huì)越來越“聰明”。我們將充分利用火山引擎等平臺(tái)提供的云端算力和資源，與更多同行開展模型迭代和技術(shù)交流，不斷探索對話式大模型和大型語言模型的技術(shù)前沿，讓人工智能技術(shù)更好地造福人類社會(huì)。
（彭訓(xùn)文、張嘉幸采訪整理）