Meta Superintelligence Labs、华盛顿大学、麻省理工学院和Trillium Labs于10月1日推出了上下文语言模型(CLMs),这是一种框架,语言模型在其中管理自己的工作上下文,而非依赖外部系统。与将对话历史视为仅可追加的日志不同,CLMs允许模型像编辑可编辑文件一样重写、删除或重组上下文,从而使它们能够控制内存管理。 在BrowseComp-Plus深度研究基准测试中,CLMs的准确率比现有方法提高了11.4%,同时使用的FLOPs减少了21.5%。在EdgeBench(一项12小时的优化任务)中,准确率提升了5%,FLOPs减少了59%。该研究发表于arXiv。