FreeToken：在消费级显卡上跑 290B+ 顶级 MoE 大模型
今天在 GitHub Trending 上看到一个有意思的项目：FreeToken，一个专为消费级硬件打造的边缘原生 MoE 推理引擎——它可以让你的游戏显卡在家跑出 290B+ 前沿 MoE 模型...
本地推理
oMLX：为 Mac 而生的本地 LLM 推理引擎，把大模型跑成「菜单栏常驻服务」
今天在 GitHub Trending 上看到一个有意思的项目：oMLX，一个为 Apple Silicon Mac 量身打造的本地 LLM 推理引擎。它最大的卖点不是「又一个 llama.cpp 套壳」，而是把本地推理的体验做成...
OpenMed：本地优先的医疗AI，患者数据永不离开设备
今天在 GitHub Trending 上看到一个有意思的项目：OpenMed，一个本地优先的开源医疗AI框架，让临床文本分析、PII去标识化等任务完全在本地设备上完成，...