Ollama 在 Windows 上推出预览版

2024年 2月 19日 51.6k 0

Ollama 宣布在 Windows 上推出预览版,从而使得用户可以在全新的本机 Windows 体验中提取、运行和创建大型语言模型。Windows 上的 Ollama 包括内置 GPU 加速、访问完整的模型库以及包括 OpenAI 兼容性在内的 Ollama API。

硬件加速

Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集(例如 AVX 和 AVX2(如果可用))加速运行模型。无需配置或虚拟化。

完全访问模型库

完整的 Ollama 模型库可在 Windows 上运行,包括视觉模型。运行 LLaVA 1.6等视觉模型时,可以将图像拖放到ollama run中以将其添加到消息中。

Always-on Ollama API

Ollama 的 API 自动在后台运行,服务于http://localhost:11434。工具和应用程序无需任何额外设置即可连接到它。

示例:

(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Windows 上的 Ollama 还支持与其他平台上相同的 OpenAI 兼容性,因此可以通过 Ollama 将为 OpenAI 构建的现有工具与本地模型结合使用。

开始使用

  • 在 Windows 上下载 Ollama
  • 双击安装程序,OllamaSetup.exe
  • 安装后,打开你喜欢的终端并运行ollama run llama2以运行模型

当有新版本可用时,Ollama 将提示更新。

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论