ollama

Ollama 是一个轻量级、可扩展的框架，旨在本地机器上构建和运行语言模型。它提供了一个简单的 API，用于创建、运行和微调语言模型，如 Llama 2 等开源大型语言模型16。Ollama 支持 macOS、Linux 和 Windows 系统，其中 Windows 版本为预览版，需要 Windows 10 或更高版本24。用户在下载 Ollama 的同时，可以注册以接收新更新的通知2。

Ollama 现在作为 Windows 原生应用程序运行，包括对 NVIDIA 和 AMD Radeon GPU 的支持。安装 Windows 预览版后，Ollama 将在后台运行，用户可以通过命令行与它交互4。此外，Ollama 运行一个 HTTP 服务器，可以通过代理服务器如 Nginx 暴露，以便在网络上使用5。

Ollama 的使用非常直观，例如，可以使用 ollama run 命令来运行模型并执行任务。例如，可以使用以下命令对文件进行总结：$ ollama run llama3 "Summarize this file: $(cat README.md)"9。此外，Ollama 的一些功能已经得到改进，如 ollama pull 现在如果检测到模型已经被下载，将会更快；ollama create 现在可以自动检测流行模型架构的提示模板，例如 Llama7。

CodeGemma 是与 Ollama 相关联的一系列强大而轻量级的模型，能够执行各种编码任务，如代码补全、代码生成和自然语言理解等3。这表明 Ollama 不仅可以处理语言模型任务，还可以与 CodeGemma 结合使用，扩展其功能到编程领域。

总的来说，Ollama 是一个多功能的本地运行框架，适用于希望在个人计算机上使用和微调大型语言模型的用户。它通过提供对 GPU 的支持、简化的命令行操作和与其他工具的集成，使用户能够更高效地进行语言模型的开发和应用。168