×
加载中...
Kimi公司大语言推理系统专利获授权
鞭牛士 2025-03-04 14:59

3月4日,天眼查财产线索信息显示,近日,Kimi关联公司北京月之暗面科技有限公司申请的“一种大语言推理系统及方法”专利获授权。

微信图片_20250304145427.png

摘要显示,该发明公开了一种大语言推理系统,包括:至少一个预填充计算单元,至少一个生成计算单元及缓存单元;至少一个预填充计算单元,用于根据当前推理请求及历史推理资源进行预填充,得到当前推理数据,发送当前推理数据至生成计算单元和缓存单元。

至少一个生成计算单元,用于接收当前推理数据,并采用预设的大语言模型根据当前推理数据生成当前结果字,根据当前结果字生成当前推理结果发送至缓存单元,输出当前结果字至用户端。

缓存单元,用于根据当前推理请求,保存当前推理数据,当前推理请求及当前推理结果。该本发明提供的技术方案,可以减少推理过程中的计算量,提高推理结果自然语言的流畅性与连续性。

微信图片_20250304145430.png

扫码下载app 最新资讯实时掌握