LLM应用之大模型选择

type

status

date

slug

summary

category

icon

password

我的在线课程《AI Agent智能应用从0到1定制开发全流程解决方案实战》上线后，陆续收到了很多学员的反馈，很多人面临的第一个问题，就是大模型的选择，或者说他能使用哪些大模型资源。

与我这种重度openai依赖者相比，非常出乎意料的是，大部分学员使用最多的还是国内的大模型，很多人对于如何获取openai之类的资源一点都不知道，这也反映出了国内和国外的AI生态已经拉开了很大的距离，在越来越封闭的墙内，很多人对AI的第一感觉，就是类似文心一言的水平，最惊艳也就月之暗面这种了，这也让我陷入了深思。

那么回到题目，当你要开发一个AI应用的时候，该如何选择大模型呢？

以我的经验大概会有几个筛选维度。

使用开源大模型还是闭源大模型：如果你的应用和数据希望更加私有化，比较敏感不希望共享给大模型公司，那么你只有选择开源模型，并使用自托管的方式来运作；如果你的应用对数据敏感度不高，则可以选择闭源大模型；此外，截止到目前整体而言，闭源大模型，尤其是国外的闭源模型，其能力还是要胜过开源大模型的。

你的AI应用是否需要类似工具调用能力: 如果你在开发类似AI Agents这一类应用，那么你需要使用针对tool call做过微调的模型，这类大模型可以识别和使用外部工具，通过function call之类来实现像GPTs那样的效果。要注意并不是所有的LLM都做了类似的微调。

你的应用对精度的要求高低：参数越大、能力越强，7B和70B的差距就像小学生和大学生的差距一样，但是并不是所有的应用都需要大参数的大模型，比如你的应用只是简单的做一些文本处理工作，那么可能7B的部署成本和响应速度要比70B好很多。

使用国内还是国外的LLM：取决于你的应用的部署，一般来说部署在国内的应用，调用国外的大模型接口也是没问题的，但是在注册、充值等方面可能面临问题。另外在头部的大模型领域，目前整体国外大模型要优于国内，所以，一切取决于对于成本、效果的权衡。

那么根据我的个人经验，截止目前，在LLM应用开发领域，可用的大模型能力排序大概是这样的： gpt-4o → gpt4 & Claude3 → Llama3 & gpt-3.5-turbo → GLM3 & Tongyi & 文心 & 月之暗面 & BaiChuan & Coze & 其他….

👀 如果对于应用的体验要求感比较高，那么强烈推荐还是要用openai来做，体验要求一般但是个别缓解比较复杂的，可以用类似Claude3之类，体验要求一般，但是希望数据隐私或成本控制的，可以使用羊驼3这种开源大模型，应用部署在国内，任务比较简单，比如只是一般的chat，可以考虑使用国内的一众闭源大模型。如果是玩票或学习体验，在本机部署，则可以选择类似7B、13B这样的开源模型，下载无压力GPU要求也不是很高。

🚩 从模型是否支持工具调用、结构化输出、JSON、本地化部署这几个维度，我们可以看到目前langchain社区的支持情况。