百川智能推出70億參數(shù)量的中英文預(yù)訓(xùn)練大模型，王小川：第一個里程碑

　　多知網(wǎng)6月16日消息，搜狗創(chuàng)始人王小川創(chuàng)立的百川智能公司近日宣布推出70億參數(shù)量的中英文預(yù)訓(xùn)練大模型——baichuan-7B。目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平臺發(fā)布。

　　百川智能方面稱，為了驗證模型的各項能力，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三個頗具影響力的中文評估基準(zhǔn)進(jìn)行了綜合評估，并且均獲得了優(yōu)異成績，它已經(jīng)成為同等參數(shù)規(guī)模下中文表現(xiàn)最優(yōu)秀的原生預(yù)訓(xùn)練模型。并且在 MMLU 英文權(quán)威評測榜單上，領(lǐng)先 LLaMA-7B。在英文方面，在MMLU的評測中，baichuan-7B綜合評分高達(dá)42.5分，領(lǐng)先英文開源預(yù)訓(xùn)練模型LLaMA-7B的34.2分以及中文開源模型ChatGLM-6B的36.9分。

　　據(jù)介紹，北京大學(xué)和清華大學(xué)已率先使用 baichuan-7B 模型推進(jìn)相關(guān)研究工作，并計劃在未來與百川智能深入合作，共同推動 baichuan-7B 模型的應(yīng)用和發(fā)展。

　　本次發(fā)布也遵循開源精神，baichuan-7B 代碼采用 Apache-2.0 協(xié)議，模型權(quán)重采用了免費(fèi)商用協(xié)議，只需進(jìn)行簡單登記即可免費(fèi)商用。

　　百川智能 CEO 王小川表示：“本次開源模型的發(fā)布是百川智能成立 2 個月后的第一個里程碑，對百川智能而言是一個良好的開局。baichuan-7B 模型，不僅能為中國的 AGI 事業(yè)添磚加瓦，也為世界大模型開源社區(qū)貢獻(xiàn)了新的力量。”