先看什么

可下载模型不等于随处可用。选择模型时,需要同时阅读许可协议、硬件需求、量化格式、上下文配置和推理工具支持情况。

实际使用建议

先在本地或测试机运行一个小样本,测量内存与响应时间,再决定是否扩大规模。公开提供服务前还要核对模型许可和使用条款。

资料来源

继续查看官方资料,以最新页面为准。