熱搜:win11繞過硬件限制安裝 一鍵重裝Win10系統(tǒng) 最干凈的u盤啟動盤 真正純凈版的win7系統(tǒng)
編輯:alear 2024-07-02 09:29:26 來源于:IT之家
大。86.54 MB類別:文檔管理
系統(tǒng)之家 7 月 2 日消息,月之暗面 Kimi 開放平臺上下文緩存(Context Caching)功能開啟公測。上下文緩存適用于頻繁請求,重復引用大量初始上下文場景,可降低長文本模型費用,提高效率。官方表示費用最高降低 90 %,首 Token 延遲降低 83%,提升模型響應速度。
系統(tǒng)之家附 Kimi 開放平臺上下文緩存功能公測詳情如下:
據(jù)介紹,上下文緩存是一種數(shù)據(jù)管理技術,允許系統(tǒng)預先存儲會被頻繁請求的大量數(shù)據(jù)或信息。當用戶請求相同信息時,系統(tǒng)可以直接從緩存中提供,無需重新計算或從原始數(shù)據(jù)源中檢索。
適用業(yè)務場景如下:
提供大量預設內(nèi)容的 QA Bot,例如 Kimi API 小助手
針對固定的文檔集合的頻繁查詢,例如上市公司信息披露問答工具
對靜態(tài)代碼庫或知識庫的周期性分析,例如各類 Copilot Agent
瞬時流量巨大的爆款 AI 應用,例如哄哄模擬器,LLM Riddles
交互規(guī)則復雜的 Agent 類應用等
計費說明
上下文緩存收費模式主要分為以下三個部分:
Cache 創(chuàng)建費用
調(diào)用 Cache 創(chuàng)建接口,成功創(chuàng)建 Cache 后,按照 Cache 中 Tokens 按實際量計費。24 元 / M token
Cache 存儲費用
Cache 存活時間內(nèi),按分鐘收取 Cache 存儲費用。10 元 / M token / 分鐘
Cache 調(diào)用費用
Cache 調(diào)用增量 token 的收費:按模型原價收費
Cache 調(diào)用次數(shù)收費:Cache 存活時間內(nèi),用戶通過 chat 接口請求已創(chuàng)建成功的 Cache,若 chat message 內(nèi)容與存活中的 Cache 匹配成功,將按調(diào)用次數(shù)收取 Cache 調(diào)用費用。0.02 元 / 次
公測時間:功能上線后,公測 3 個月,公測期價格可能隨時調(diào)整。
公測資格:公測期間 Context Caching 功能優(yōu)先開放給 Tier5 等級用戶,其他用戶范圍放開時間待定。
以上是系統(tǒng)之家提供的最新資訊,感謝您的閱讀,更多精彩內(nèi)容請關注系統(tǒng)之家官網(wǎng)。
發(fā)表評論
共0條
評論就這些咯,讓大家也知道你的獨特見解
立即評論以上留言僅代表用戶個人觀點,不代表系統(tǒng)之家立場