SIE：一站式自托管推理引擎，让 AI Agent 模型调用不再碎片化
今天在 GitHub Trending 上看到一个值得关注的项目：SIE（Superlinked Inference Engine），一个开源的自托管推理引擎，旨在用一个集群统一服务 AI Agent 背后...
推理引擎
微软 ONNX Runtime：跨平台机器学习推理与训练加速器全解析
今天在 GitHub Trending 上看到一个有意思的项目：microsoft/onnxruntime，一句话描述它的核心价值——把训练好的机器学习模型「一次导出、到...
DwarfStar：专精 DeepSeek V4 Flash 的轻量级本地推理引擎
今天在 GitHub Trending 上看到一个有意思的项目：DwarfStar（GitHub 地址 antirez/ds4），出自著名 C 语言开源老将 antirez 之手——没错，就是 Redis...
Colibrì：用25GB内存在消费级机器上运行744B参数的GLM-5.2模型
今天在 GitHub Trending 上看到一个令人惊叹的项目：Colibrì，它让一台普通消费级电脑就能运行 744B 参数的超大规模 MoE 模型 GLM-5.2，仅需约 25GB 内存——这在...
llama.cpp：纯 C/C++ 实现的高性能 LLM 推理引擎
今天在 GitHub Trending 上看到一个有意思的项目：llama.cpp，一个用纯 C/C++ 实现的大语言模型推理引擎，无需任何依赖即可在 Apple Silicon、NVIDIA G...