模型缓存
缓存 LLM 调用 对于测试、节省成本和提高速度非常有用。
以下是一些集成，允许您使用不同的缓存和策略来缓存单个 LLM 调用的结果。
| 名称 | 描述 |
|---|---|
| Azure Cosmos DB NoSQL Semantic Cache | 语义缓存功能通过 Azure Cosmos DB for NoSQ... 提供支持 |
缓存 LLM 调用 对于测试、节省成本和提高速度非常有用。
以下是一些集成，允许您使用不同的缓存和策略来缓存单个 LLM 调用的结果。
| 名称 | 描述 |
|---|---|
| Azure Cosmos DB NoSQL Semantic Cache | 语义缓存功能通过 Azure Cosmos DB for NoSQ... 提供支持 |