如果说复制了一个OpenAI的ChatGPT的成本仅需600美元你会不会感到意外呢?事实上，斯坦福的科学家们真的做到了。 上周，斯坦福大学基础模型研究中心上周宣布，其研究人员使用 OpenAI 的 GPT API 对 Meta 的 LLaMA7B 大型语言模型 （LLM） 进行了“微调”，而且价格非常便宜。 结果就是斯坦福大学研究人员用600美元的成本，复制了OpenAI的GPT-3模型，并给自己的模型起了一个有趣的名字:Alpaca。他们利用了开放AI提供的预训练数据集和一些开源代码，只用了两个月就完成了复制。他们还在网上发布了自己的模型和代码，供其他人使用和改进。 这些科学家在其惊人简单的预算明细中表示，根据研究人员使用专有模型训练Alpaca所花费的时间，他们在 OpenAI 的 API 上投入“不到500美元”，在 LLaMA 上投入“不到100美元”。 虽然GPT-3是一个非常昂贵和复杂的模型，但是它并不是不可复制或独一无二的。复制品Alpaca模型虽然比GPT-3小很多，但是在一些任务上表现得很好，甚至超过了GPT-3。尽管如此，Alpaca确实也有“语言模型的几种常见缺陷，包括幻觉、毒性和刻板印象”。 这也可以当作一个典型的例子，证明了 OpenAI 这样的软件可能是容易复制的。 |
