LMCache:LLM 推理的 KV Cache 管理层,让 GPU 显存压力骤降
今天在 GitHub Trending 上看到一个很有意思的项目:LMCache,一个 KV Cache 管理中间层,能够把 GPU 显存里的中间结果持久化出来复用,显著降低 TTFT(首 Token 延迟)...
今天在 GitHub Trending 上看到一个很有意思的项目:LMCache,一个 KV Cache 管理中间层,能够把 GPU 显存里的中间结果持久化出来复用,显著降低 TTFT(首 Token 延迟)...
今天在 GitHub Trending 上看到一个有意思的项目:Mattermost,一个开源核心的自托管团队协作平台,集聊天、工作流自动化、语音通话、屏幕共享与 AI 集成于...
今天在 GitHub Trending 上看到一个有意思的项目:Apple container,它是 Apple 开源的 Swift 工具,可以在 Apple Silicon Mac 上将 Linux 容器作为轻量级虚拟机运行,支持标准 OCI 镜...
今天在 GitHub Trending 上看到一个有意思的项目:Hivemind,它为团队中所有 AI 编程代理(Claude Code、OpenClaw、Codex、Curso...
今天在 GitHub Trending 上看到一个有意思的项目:MasterDnsVPN,它是一个通过 DNS 查询和响应传输 TCP 流量的科学研究项目,在严苛的网络环境下展现出强大的...