大學實驗室發佈了本地運行AI的工具

研究實驗室推出了一个 开源工具集，允许在普通消费者设备上运行高级语言模型。该版本包括针对 Qwen 3.8 和 DeepSeek V4.1 架构的优化方法，这些架构以前需要服务器级别的计算能力。

该软件包包括一个独立的研究代理，用于自动优化程序代码。该系统可以在无人干预的情况下迭代改进算法，使用内置的正确性验证机制。该工具包面向希望减少对云 API 依赖的开发者，尤其是在处理大型神经网络时。

技术实现基于新的量化和内存管理方法，使得可以在标准的 GPU 配置中存储 frontier 类模型的权重。开发者指出，使用这些解决方案可以减少推理延迟，并确保完全控制在个人工作站上本地处理的数据。

该项目可以通过 实验室仓库 集成到现有的开发流程中。实施此类技术可以在隔离环境中运行复杂的逻辑链和代理系统，这对于需要高保密性和无网络限制的计算操作任务至关重要。