據(jù)百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖介紹,升級(jí)后的百度智能云千帆平臺(tái)2.0擁有“四個(gè)最”:預(yù)置最多的大模型和數(shù)據(jù)集、有最豐富最全面的工具鏈、最佳算力效能、最完備的大模型安全方案。
相比過去,千帆平臺(tái)納管的國內(nèi)外主流大模型達(dá)到42個(gè),還預(yù)置了41個(gè)高質(zhì)量有行業(yè)特色的數(shù)據(jù)集,預(yù)裝了知識(shí)問答、客服對(duì)話、代碼助手等10個(gè)精選應(yīng)用范式,大幅降低企業(yè)使用、訓(xùn)練和推理大模型的門檻。對(duì)于除文心大模型之外的第三方大模型,千帆平臺(tái)不只是簡單的接入,還提供中文增強(qiáng)、性能增強(qiáng)、上下文增強(qiáng)等能力。比如,原來要用英文對(duì)話效果才好的Llama2等國外大模型,現(xiàn)在用中文也一樣好。
工具鏈變得更豐富和更全面,也更加輕量化、敏捷化。過去客戶驗(yàn)證大模型的效果至少需要一周時(shí)間,現(xiàn)在基于一站式的工具鏈,只需一天就可以跑通一個(gè)模型并看到效果。值得關(guān)注的是,千帆平臺(tái)的工具鏈里內(nèi)置了103套高質(zhì)量的prompt模版,還有自動(dòng)化prompt工程能力,用戶做起來會(huì)更方便、更輕松。
算力服務(wù)升級(jí)后,萬卡集群訓(xùn)練大模型時(shí),有效訓(xùn)練時(shí)間達(dá)到95%以上,極大的降低了時(shí)間成本,加速比可以達(dá)到 95%,充分釋放集群的整體算力。千帆平臺(tái)還兼容國內(nèi)外主流芯片和操作系統(tǒng),企業(yè)客戶的算法可以以最小的修改成本在這些硬件上運(yùn)行。