Q82 — AWS AIF-C01 第1章

第 82/100 题 | ← 返回第1章

一家公司希望况用语言模型来创建一款谢致缘设备上进行推按的应用程序。推按必须具有尽可能低的 延迟。曾种解决方案能满足这些要求?

• A. 在边缘设备上部署经过优化的小型语言模型(SLMS)。 ✓
• B. 在边缘设备上部署经过优化的大型语言模型(LLMS)
• C. 集成一个中心化的小型语言模型(SLM)API，用于与边缘设备进行异步通信。
• D. 整合一个中心化的大型语言模型(LLM)API，用于与边缘设备进行异步通信。

正确答案: A. 在边缘设备上部署经过优化的小型语言模型(SLMS)。

解析

为了满足在边缘设备上进行低延迟推理的需求，选择小型且经过优化的语言模型是关键。小型语言模型（SLM）通过采用轻量级架构、量化和修剪等技术，能够显著减小模型体积并提高推理速度，使其更适合在资源受限的边缘设备上运行。相比之下，大型语言模型（LLM）虽然性能强大，但由于其复杂性和庞大的体积，通常不适合在边缘设备上直接部署，因为它们可能导致较高的延迟和资源消耗。 查看全部