飛槳和文心兩者的協(xié)同優(yōu)化非常重要。
多知網(wǎng)12月28日消息,今日,百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰在第十屆WAVE SUMMIT深度學(xué)習(xí)開(kāi)發(fā)者大會(huì)上宣布:文心一言用戶規(guī)模突破1億。會(huì)上,王海峰以《文心加飛槳,翩然赴星河》為題作了主旨演講,分享了百度兩大核心產(chǎn)品飛槳和文心的最新成果。
飛槳(PaddlePaddle)是一個(gè)深度學(xué)習(xí)平臺(tái),百度自主研發(fā),開(kāi)源開(kāi)放。飛槳以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ),集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、豐富的工具組件于一體。
王海峰在現(xiàn)場(chǎng)公布,截至2023年12月底,飛槳已凝聚1070萬(wàn)開(kāi)發(fā)者,服務(wù)23.5萬(wàn)家企事業(yè)單位,基于飛槳?jiǎng)?chuàng)建了86萬(wàn)個(gè)模型。
據(jù)了解,百度自2019年起深耕預(yù)訓(xùn)練模型研發(fā),發(fā)布了文心大模型1.0。經(jīng)過(guò)近四年積累,百度于今年3月發(fā)布了知識(shí)增強(qiáng)大語(yǔ)言模型文心一言。10月,文心一言的基礎(chǔ)模型升級(jí)到4.0,理解、生成、邏輯和記憶四大人工智能基礎(chǔ)能力全面提升。文心大模型4.0過(guò)去兩個(gè)多月整體效果又提升了32%。
王海峰現(xiàn)場(chǎng)披露,文心一言用戶規(guī)模已突破1億,自8月31日獲準(zhǔn)開(kāi)放對(duì)公眾提供服務(wù)以來(lái),文心一言的用戶提問(wèn)量一路上揚(yáng),基本與文心大模型的效果提升同步。
飛槳和文心,一個(gè)是框架,一個(gè)是模型,兩者的協(xié)同優(yōu)化非常重要。據(jù)了解,飛槳對(duì)大模型的訓(xùn)練起著關(guān)鍵的支撐作用,包括提升有效訓(xùn)練時(shí)間占比、提升訓(xùn)練吞吐速度、提升收斂效率,這些環(huán)節(jié)涉及硬件集群協(xié)同優(yōu)化、芯片存儲(chǔ)/網(wǎng)絡(luò)協(xié)同優(yōu)化、模型算法協(xié)同優(yōu)化。
WAVE SUMMIT深度學(xué)習(xí)開(kāi)發(fā)者大會(huì)始于2019年4月,每年兩次與開(kāi)發(fā)者相聚,如今已是五載十屆。(多知網(wǎng) Penny)