干货：在 PC 或 Mac 上运行 Llama 3 的三种方法

21CTO导读：本文为各位介绍在本地如何安装与调试Llama3，特别是Ollama。

得益于利用这种强大语言模型的开源功能的各种工具，在 PC 或 Mac 上本地运行 Llama 3 变得更加容易。

以下是安装和运行 Llama 3 的三种有效方法，每种方法都能满足不同的用户需求和技术专业知识。

1.使用Ollama

支持的平台：MacOS、Ubuntu、Windows（目前为预览版）。

步骤如下：

• 从官方网站https://ollama.com/下载 Ollama 。

要运行 Llama 3，请使用命令：“ollama run llama3”。该命令默认下载8B指令模型。

你也可以通过添加标签来指定不同的模型，例如针对特定版本的“ollama run llama3:70b-instruct”。

ollama run llama3ollama run llama3:70b-textollama run llama3:70b-instruct         #For Specific Versions

为了快速开发应用，我们选择使用 Python 进行开发。让我们从最开始的问答开始：

# llm_chat.pyimport requestsres = requests.post(    "http://127.0.0.1:11434/api/chat",  # 服务器地址    json={        "model": "mistral",  # 使用 mistral 模型        "stream": False,  # 禁用流式输出        "messages": [            {"role": "user", "content": "你是谁？"}, # 用户输入        ],    },)print(res.json())

接下来执行一下这个 Python 脚本：

如果仅仅满足问答需求，可能不足以满足我们在实际项目中的需求。我们通常在程序中集成格式化输出的内容，以方便程序进行解析和后续处理。

因此，我们需要通过 Prompt Engineering 方式实现这种目标：

# llm_chat.pyimport requestsres = requests.post(    "http://localhost:11434/api/chat",    json={        "model": "mistral",  # 使用 mistral 模型        "stream": False,  # 禁用流式输出        "messages": [            {                "role": "user",                "content": """你是谁？使用yaml格式进行回答，yaml格式如下：name: stringlanguage: string""", # 用户输入            },        ],    },)print(res.json())

注意：我们在这里要求 LLM 按照 YAML格式进行输出。这是一种对人和机器都友好的格式。我们提供了具体的格式定义和字段名与类型，防止 LLM 的自我发挥：

name: stringlanguage: string

再执行一下这个文件：

可以看到 LLM 按照我们的格式要求输出了对应的内容：让我们按照 YAML 格式展示一下输出的内容：

name: "AI Assistant"language: "English"

这样就可以借助 LLM 把这些非格式化的内容转化为格式化内容方便我们的应用进行进一步处理。

注意：如果你想集成类似于ChatGPT的聊天机器人UI，则需要进一步配置，可能涉及OpenWebUI 项目。

2.使用LM Studio

支持的平台：  MacOS、Ubuntu、Windows

特点：LM Studio基于llama.cpp项目构建，支持各种模型，如ggml Llama、MPT和Hugging Face上的StarCoder。

步骤：

• 从https://lmstudio.ai/下载 LM Studio 。

• 根据提供的系统要求安装它。

• LM Studio 具有内置聊天界面，增强了用户交互。

3.使用GPT4All

支持的平台： MacOS、Ubuntu、Windows

实用程序： GPT4All 提供了一个通用的设置来运行各种开源 LLM。

步骤：转到GPT4All

此方法通常涉及更多 DIY 设置，并且可能需要熟悉编程环境和软件依赖性。

结语每种方法都提供了在 PC 或 Mac 上运行 Llama 3 的独特方法，可满足不同级别的技术专业知识和用户需求。

通过遵循概述的步骤并使用提供的工具，你可以在本地有效地利用 Llama 3 的功能。

祝每天AI好前景～