×
加载中...
文心千帆上架Llama2,百度要做大模型「跨境电商」
周鑫雨 36氪 2023-08-03 09:20

8月2日,在百度文心千帆大模型平台媒体圆桌会议上,百度携着自己的大模型伙伴,在文心千帆上开设了模型的“百货超市”。

国内“百模大战”已经打了半年。做大模型的巨头们,进度条已经从大模型研发,快速拉到建立合作伙伴、渠道和生态。 

此前,字节火山引擎和阿里通义千问都已经建立“模型货架”,拉拢一批AI公司或者大模型公司到自家平台上,提供从云到AI开发等服务。 

如今的文心千帆做的更像是“跨境电商”:一方面,文心千帆接入的第三方模型足够多:33个,规模超越了此前拉伙7家国内大模型厂商的火山方舟。 

另一方面,RWKV、Stability Diffusion,甚至Meta在7月19日发布的Llama2等国外知名大模型,也陈列其中

文心千帆上线的部分第三方大模型。图源:百度

此外,此次文心千帆还上线了130套预制Prompt(提示词)模板和插件功能。所谓的“Prompt模板”,就是教会用户如何对大模型提出更好的问题,从而获得更优质的反馈,而百度提供的“预制Prompt模板”,则是将提问方式的标准答案,直接喂给了用户。至于新增的插件,率先在百度内部办公软件“如流”上进行了测试,未来将陆续登陆文心千帆。

33个国内外第三方大模型入驻平台

发布会上,百度智能云AI与大数据平台总经理忻舟介绍,这次入驻的第三方大模型的特色在于性能互补,能够满足不同用户的需求,比如支持无限上下文长度的RWKV,和英文能力较强的Llama2,弥补了文心一言相应的短板。

针对上架的第三方模型,百度主要在3个方面做了调控:

  • 提高可靠性和安全性。

  • 降低成本:调整后模型体积可压缩至25%-50%,推理成本可降低50%。

  • 支持全套工具链、多样化模型调优:接入模型支持SFT(全量参数微调、Prompt Tuning、Lora)、强化学习等调优方式。

不过,在开源生态愈发体系化的当下,不少开源模型第三方机构对开源商用许可做出了严格的规定。即便开放了免费商用的Llama2,Meta对用户也进行了约束:如果产品的月活跃用户(MAU)超过7亿,用户必须申请特殊的商业许可证。

对此,忻舟表示,百度在引入大多数开源模型时,都会和开发团队进行沟通,比如智谱的ChatGLM2-6B既有开源版,同时也有商用版,那么针对商用版百度会与智谱进行分成。但由于上线时间紧张,因此目前百度和Meta等国外模型团队正在保持沟通

针对已上线的第三方模型,百度将根据市场和客户反馈采取上新和淘汰机制。忻舟告诉36氪,为了降低用户的选择成本,文心千帆的模型库不会是无限扩张的状态,最终仍会根据市场选择更新或者下架。

上线103个预制Prompt模板,帮客户提问题

在用户实际使用模型的过程中,提问的方式往往会影响模型输出的内容。这是因为,一个好的问题模版往往能够帮助预训练模型“回忆”起预训练时学习到的内容——这一问题模板就被称为Prompt。

不过,文心千帆并不打算花时间教用户如何写Prompt,而是直接帮用户写完问题。

此次上线的103个预制Prompt模板,覆盖了对话、编程、电商、医疗、游戏、翻译、演讲等十多个场景。据百度智能云AI平台副总经理李景秋介绍,预制Prompt模板来源于百度智能云在产业实践中积累的Prompt模板,也源自文心一言的高频用户。

文心千帆上线的103个预制Prompt模板。图源:文心千帆截图

比如当用户希望文心一言对电影《芭比》做出评价时,简单提问“电影《芭比》好看吗?”与使用预制Prompt模板后得到的影评在质量、篇幅上均有较大差距。

用“电影《芭比》好看吗?”提问后,文心一言的回答。图源:作者试用

用文心千帆预制Prompt提问后,文心一言的回答。图源:作者试用

上线插件,新增文档摘要功能

所谓的插件,就像是大模型中的“小程序”,作为模型能力的补充和拓展。

此前,ChatGPT已经开放了74个插件,功能涵盖购物、求职、营销、票务预定等。但过多的第三方插件也会带来安全风险,媒体Wired报道指出,安全研究人员表示,ChatGPT 插件的运行方式存在风险,可能会导致用户的数据泄露,甚至被黑客滥用。

作为国内模型插件的“吃蟹者”,文心千帆此次上线的“百度搜索”和“ChatFile”插件均由百度自行研发。

文心一言上线的两款插件。图源:作者截图

值得一提的是,“ChatFile”可检索PDF/Doc格式文档中的知识点,并且实现文本摘要等功能。

ChatFile插件对《正午之魔:抑郁是你我共有的秘密》一书的总结。图源:作者试用

李景秋介绍,文心千帆的插件已经应用于百度办公软件“如流”中。目前,如流已经接入了20个插件,涵盖文档搜索、会议纪要、会议室预定等功能。未来,文心千帆的插件生态也将开放给第三方开发者。

“如流”接入的20个插件。图源:百度

忻舟表示,一站式大模型平台最后会更被开发者所需要,随着技术的不断成熟,底层设施和工具的开发会放缓,更多的精力会被放在保证自己的业务不被技术发展所淘汰,这时上层应用对平台工具的需求会更大,平台之间比拼的是服务的能力,“在激烈竞争中,一定会有一些做得好的头部的平台,能够变成主要的玩家。”

扫码下载app 最新资讯实时掌握