Ollama
在本地运行大语言模型。
分类 AI系统 Linux / macOS / Windows权限 安装需要 root中文资料 中文教程多Star 约 18.2 万
一键安装命令
curl -fsSL https://ollama.com/install.sh | sh
注意事项
装完先看你显卡和内存吃得消哪个模型,再 ollama pull。别一上来就拉 70B,小机器直接 OOM。
Agent Prompt
下面这段直接复制,丢给 AI Agent 就能开干——方括号里的换成你自己的实际信息。
请在我的环境中部署 Ollama(在本地运行大语言模型)。 开始前: 1. 先只读检查操作系统版本、CPU 架构、可用磁盘/内存、端口占用、Docker 或 sudo 权限,并汇报检查结果。 2. 以项目来源 https://github.com/ollama/ollama 为准,核对当前稳定版本、安装前置条件和兼容性。 3. 先给出执行计划、将修改的文件/服务/防火墙规则,以及完整回滚方案;等我确认后再执行。 4. 远程脚本先下载到本地审查,固定 tag / 镜像 digest / commit;不要直接依赖 latest 或 master。 5. 密码、API key、Token、订阅地址等秘密不要写进 Prompt、shell 历史或日志,改用权限为 600 的环境文件、Docker secrets 或 _FILE 变量。 已核验的起点命令(不要盲目执行,先下载或展开并审查): curl -fsSL https://ollama.com/install.sh | sh 本项目特别注意: - 装完先看你显卡和内存吃得消哪个模型,再 ollama pull。别一上来就拉 70B,小机器直接 OOM。 - 权限要求:安装需要 root。不要扩大权限范围;容器不要无必要地以 root 运行。 执行完成后请验证并返回: - 实际安装版本、服务状态和健康检查结果; - 开放端口、监听地址、防火墙变化; - 配置文件、数据卷、日志与备份位置; - 访问方式(敏感凭据只说明保存位置,不输出明文); - 重启策略,以及经过验证的卸载 / 回滚命令。