Thursday

03-04-2025 Vol 19

李飞飞团队以不到50美元的成本训练出性能媲美DeepSeek-R1的AI模型s1

坦福大学的李飞飞教授与华盛顿大学的研究团队近期发布了一项引人注目的研究成果:他们以不到 50 美元的云计算成本训练了一个名为 s1 的人工智能推理模型。数学和编码能力测试中,s1 的表现与 OpenAI 的 o1 和 DeepSeek 的 R1 等顶尖推理模型相当。

创新训练方法

研究团队采用了一种名为“蒸馏”的技术,从谷歌的 Gemini 2.0 Flash Thinking Experimental 模型中提取“推理”能力。他们构建了一个包含 1000 个精心挑选问题的数据集 s1K,并在 16 台 NVIDIA H100 GPU 上仅用 26 分钟完成了训练。这种方法显著降低了训练成本,与传统的大规模强化学习方法形成鲜明对比。

性能表现

评估中,s1-32B 模型在数学竞赛问题上的表现比 o1-preview 高出 27%,在 AIME24 测试中的表现几乎与 Gemini 2.0 Thinking API 相当,显示了其蒸馏过程的有效性。

行业影响与讨论

s1 的出现引发了关于人工智能模型商品化的讨论。如果以低成本即可复制高性能模型,大型科技公司的竞争优势可能受到挑战。目前,OpenAI 曾指责 DeepSeek 不当获取其 API 数据用于模型蒸馏。 s1 的发布展示了在降低成本的同时实现高效 AI 模型的可能性,为人工智能研究和应用开辟了新的路径。然而,这也引发了对知识产权和数据使用的讨论,可能对未来 AI 模型的开发和商业化产生深远影响。

k·AI

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注