中国联通AI创新中心发布业界第一个Llama 3中文指令微调模型,以Meta Llama 3为基础,增加中文数据进行训练,实现Llama 3模型高质量中文问答,模型上下文保持原生长度8K,支持长度64K版本将于后续发布。
地址:UnicomLLM/Unichat-llama3-Chinese-8B
介绍
- 中国联通AI创新中心发布业界第一个llama3中文指令微调模型,2024年4月19日22点
- 本模型以Meta Llama 3为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
- 模型上下文保持原生长度8K,支持长度64K版本将于后续发布
- 陆续发布700亿参数中文微调版本,长文本版本和加入中文二次预训练版
- 基础模型Meta-Llama-3-8B
数据
- 高质量指令数据,覆盖多个领域和行业,为模型训练提供充足的数据支持
- 微调指令数据经过严格的人工筛查,保证优质的指令数据用于模型微调
https://github.com/UnicomAI/Unichat-llama3-Chinese