1. 主页 > 社会焦点

月之暗面正式开源Kimi K3

转自:长安街知事

7月27日深夜,总部位于北京海淀的月之暗面公司发文,发布KimiK3的模型权重、技术报告,并开源支撑KimiK3模型训练的关键Infra(关键底层基础设施)技术。“现在,每个人都可以下载并部署KimiK3模型——无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用。”

月之暗面表示,KimiK3是其能力最强的模型。KimiK3参数规模是KimiK2.5的3倍左右,但是规模化并不仅仅是参数的堆叠,在并不宽裕的算力条件下,技术团队凭借KimiDeltaAttention、AttentionResiduals以及MoonEP等一系列技术创新,规模化效率提升了2.5倍,也就是在算力最优的意义下,单位算力产出智能约等于原来2.5倍。

与KimiK3模型权重一起公开的,还有月之暗面的模型训练方法——KimiK3技术报告已同步上线。

提及为何选择将最强模型开放,月之暗面表示,其坚信开放权重模型的价值,它们能降低获取智能的门槛,推动创新,并赋予用户对数据更大的控制权、隐私保护和所有权。在过去几周里,他们听到了许多来自AI社区以及有共同愿景的技术领袖的支持声音。“我们相信,对于AGI这样具有深远影响的技术,一个广泛、开放的生态系统是最适合承载它的土壤。为此,我们将继续贡献自己的力量。”

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 203304862@qq.com

本文链接:https://www.jinnalai.com/jiaodian/845253.html

联系我们

在线咨询:点击这里给我发消息

微信号:

工作日:9:30-18:30,节假日休息