Google发布新算法，内存价格被打下来了~攒机佬狂喜
4 个赞
有这么说，但具体还得看市场的反应了。
当地时间3月24日，谷歌研究院发表文章推出以TurboQuant为代表的新一代压缩算法，宣称可以在不损失质量的前提下实现AI内存的极致压缩，突破了AI发展的核心瓶颈。
随着大模型参数规模迈向万亿级别，推理过程中键值缓存带来的内存压力暴涨。每一次问答、每一次推理，都需要海量内存资源支撑。
OpenAI首席运营官Brad Lightcap此前表示，存储芯片短缺与美国能源供应紧张，是当前AI基础设施扩张面临的两大潜在瓶颈。“现在的瓶颈是存储，过去是电力。”
而谷歌最新推出的 TurboQuant 技术，在几乎不影响模型性能的情况下，可将键值缓存压缩至原来的1/6（约减少 83%），从而显著缓解内存压力；同时，在英伟达 H100 GPU 上，其性能最高可提升至8倍。