MosaicML推出300億參數(shù)模型MPT-30B，訓練成本僅為競品零頭-焦點熱訊

2023-06-26 13:45:18 來源：凱迪網(wǎng)

(資料圖)

DoNews6月25日消息，AI創(chuàng)業(yè)公司MosaicML近日發(fā)布了其語言模型MPT-30B，該模型具有300億參數(shù)，訓練成本“僅有其他同類競品模型的零頭”，有望促進行業(yè)逐步降低此類模型訓練成本，擴大AI模型在更廣泛領(lǐng)域的運用。

MosaicML 公司CEO Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬美元（約 502.44 萬元人民幣），遠低于 GPT-3 等同類產(chǎn)品所需的數(shù)千萬美元訓練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓練，并且更適合部署在本地硬件上。

MosaicML 公司表示，將模型擴展到 300 億參數(shù)只是第一步，接下來他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。