OpenAI 已向开发者提供了 GPT-3.5 Turbo(https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates),GPT-3.5 Turbo 优点是允许开发者自定义模型以提高特定用例的性能。
据 OpenAI 称,在某些任务上,微调 GPT-3.5 Turbo 甚至可以超越基础 GPT-4。
OpenAI 目前提供 GPT 定制,以提高许多用例的模型性能,包括使模型以与开发人员目标更加一致的方式遵循指令,例如始终使用与提示语所用的语言相同;在代码完成或编写 API 调用等情况下提供更一致的响应;并细化模型输出微调,例如使其更适合所需的品牌声音。
微调 GPT-3.5 Turbo 的另一个优点是减少提示语(prompt)大小,同时不影响性能:早期测试人员通过对模型本身的指令进行微调,将提示语大小减少了高达 90%,从而加快了每个 API 调用的速度并有效降低了成本。
微调是一种通用技术,除了带来更好的结果和节省令牌(或称代币,Token)之外,还允许训练更多可以适应提示,并减少请求延迟的示例。例如,如果要微调模型,则无需在提示中提供尽可能多的示例即可获得相同水平的性能。
微调模型包含着一些步骤,包括准备数据集来训练模型、创建微调模型以及使用它进行推理。准备数据集是该过程的关键步骤,其中包括一些子步骤,例如制作提示语、提供足够数量的精心制作的演示以检查模型是否显示出改进的迹象、基于新的演示,最后进行测试。
OpenAI 解释说,微调不应该是尝试提高模型性能的第一步,因为它需要仔细投入时间和精力。而提示语工程、提示语链接和函数调用是首先要探索的技术,甚至在考虑微调模型以及其他技术最佳实践之前。
OpenAI 还宣布将在今年晚些时候支持 GPT-4 的微调。