从0开始微调LLama2系列 (1) : 模型下载
前言
我的本职工作是后台开发，但从年初开始，ChatGPT火了之后，同事人人必言LLM(大语言模型)。最近萌生了想法，希望尝试基于llama/其他开源模型做一个领域专家型模型。
这个系列的目的是为了记录和分享自己在这个过程中总结/踩坑，第一期主要分享模型下载。
官网下载
LLama2相关权重进行了开源，可以直接去Meta官网进行申请，填写邮箱后会收到一个链接。
邮件里给出了如何下载模型的详细步骤，包含有7B、13B、70B大小的两种模型。
- 第一步需要去克隆llama官方的github项目
- 第二步执行项目下的下载脚本，并填入邮件里给出的链接
- 第三步填入需要下载的模型
Hugging Face下载
注：hugging face下载模型的前提也是在Meta官网提交了申请，并且注意hugging face账号的邮箱需要与在官网申请时候填写的邮箱一致
Git Lfs 下载
安装Git Lfs，可以支持大文件下载。官网
- 如果你使用的是Macos，并且安装了Homebrew
brew install git-lfs
- 如果你使用的是Ubuntu
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
安装完成之后，直接克隆整个项目
# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/meta-llama/Llama-2-7b
Hugging Face脚本
你也可以使用hugging face的Library来下载。但推荐你使用的是Linux系统。
首先你需要安装hugging face命令行工具
pip install huggingface_hub
通过命令行登陆Hugging Face
huggingface-cli login
填入账号token
下载模型脚本
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
问题记录
网络问题
国内无论是访问Github或Hugging Face都存在剧烈的网络波动(你懂就行)问题. 因此如果你下载原版的LLAMA2模型有问题，推荐一下这个-中文LLAMA项目。该项目提供了中文微调之后的模型权重，并支持百度网盘下载。
