背景
当前的大型语言模型（LLMs）在许多任务中表现出色，但几乎都在国际象棋方面表现不佳，唯独GPT-3.5-turbo-instruct例外，能够达到高级业余棋手的水平。这种现象引发了关于数据、架构和训练过程的广泛讨论。

核心发现

1. LLMs可以下棋
   虽然许多人认为LLMs只是在“背诵”开局套路，但实验表明，GPT-3.5-turbo-instruct能在完全陌生的棋局中遵守规则并给出合理的走法，说明它确实具备一定程度的“棋局理解”。

2. 其他模型为何不如GPT-3.5-turbo-instruct
   作者提出了两个关键因素：

   • 数据质量：OpenAI可能在训练其基础模型时使用了更多高质量的棋局数据，而开源模型在这方面显然不足。
   • 模型模式：GPT-3.5-turbo-instruct是一个“完成模式”的模型，而最新的“聊天模式”模型（如GPT-4o）在经过指令微调后，可能由于训练方式或接口设计导致下棋表现下降。

3. 提示工程的作用
   即便是表现较差的聊天模式模型，通过优化提示方式（例如让模型重复整局棋的历史记录）可以显著提升下棋能力，说明基础模型本身潜力强大。

结论与未来方向

• 训练数据的重要性
  高质量、经过筛选的棋局数据（如只包括Elo高于1800的对局）可能是GPT-3.5-turbo-instruct表现优异的主要原因。

• 提示优化的潜力
  对于聊天模式模型，通过设计特定的提示模板，可以部分恢复基础模型的能力。

• 进一步研究的必要性
  当前仍无法确切区分模型性能下降是由指令微调、聊天界面设计，还是其他因素引起的。未来需要更多实验验证。

研究的启示

GPT-3.5-turbo-instruct的优异表现并非偶然，而是训练数据、模型设计与提示优化的综合结果。这为如何提升LLMs的专用能力提供了重要启示，同时也展示了提示工程在模型应用中的关键作用。

更多详情请参阅原文：Dynomight.net - More Chess