新浪科技讯 12月12日下昼音讯，在2024大模子技巧与期骗翻新论坛上，中国工程院院士、清华大学蓄意机系诠释注解郑纬民在共享中说起了月之暗面kimi对话AI居品幸免盛大用户涌入导致就业宕机背后的技巧旨趣——以存换算。

　　据郑纬民先容，保险kimi对话AI畅达初始背后的大模子推理框架，名为Mooncake，是一项叫作念清华大学与月之暗面共同研发的推理系统决议。

　　郑纬民指出，Kimi研发遵照的基本原则是：数据更多、模子更大、更长的凹凸文窗口，细目会带来更好的猖狂。因为kimi撑合手200万字的凹凸文，猖狂很好，好多东谈主齐心爱用它。

　　然则，在Kimi推出初期，际遇看望过大就业宕机接管的应酬政策等于买算力卡，但买了五次卡如故死机，并不可透澈处罚问题。其背后的原因是，更高的推理负载意味着要买更多的推理卡，但推理卡多了存储器也会不够，用的东谈主多了，问题也就大了。

　　据郑纬民先容，临了月之暗面与清华大学开荒了Mooncake技巧框架，通过将不同用户与Kimi对话的世界本色索求出来，存储下来，际遇下次用户再发问的时辰平直读取陈诉，减少了每次用户发问齐要重重生成的经由，检朴了许多算力卡，之后Mooncake就莫得再死过机。

　　“把存储器好好用，也不错省好多卡。”郑纬民暗意。（文猛）

海量资讯、精确解读，尽在新浪财经APP

包袱剪辑：王若云 欧洲杯体育