轻量化本地推理客户端,内置模型缓存与增量更新机制,低资源占用下实现毫秒级响应,适合个人开发者与小型工作室。
针对边缘设备优化的推理架构
支持INT8/FP16混合精度,在消费级显卡上流畅运行7B级模型,显存占用降低40%。
Aiqclaw插件市场一键安装,无需重启即可扩展工具链与自定义Agent行为。
qclaw网页版可连接本地节点,实现跨设备任务下发与结果回传,数据不出本地。
模型与核心组件差分更新,节省带宽,后台静默完成不影响当前任务执行。
安装与使用过程中的关键问题
最低配置为8GB内存与四核CPU,推荐16GB内存加独立显卡。无独显时可使用CPU推理模式,速度略慢但功能完整。
点击页首下载按钮获取最新版安装包,安装程序会自动检测系统环境并推荐合适的推理后端与模型组合。
在设置-模型管理中点击导入,支持HuggingFace格式与GGUF文件。导入后系统自动校验并完成索引构建。
客户端生成配对码,在网页版设置中输入即可完成绑定。绑定后可通过浏览器远程触发本地Agent任务。
所有推理与对话记录默认保存在本地数据库,除非用户主动开启同步功能。隐私模式下不收集任何遥测数据。