清华团队开源大模型推理引擎「赤兔Chitu」
3月14日，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。据悉，该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型。
据介绍，该引擎通过底层技术革新，首次实现了非H卡设备（包括英伟达Hopper架构之前的GPU卡及各类国产卡）对原生FP8模型的高效部署，摆脱对特定硬件的依赖，极大地降低了企业部署AI模型的门槛和成本。
清程极智CEO汤雄超表示：“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU，还针对国产芯片深度优化，未来将陆续开源适配版本。”
扫码下载app 最新资讯实时掌握
