中国联通发布全球首个 Llama3 8B 中文版开源模型

2024年 4月 23日 75.2k 0

中国联通AI创新中心发布业界第一个Llama 3中文指令微调模型,以Meta Llama 3为基础,增加中文数据进行训练,实现Llama 3模型高质量中文问答,模型上下文保持原生长度8K,支持长度64K版本将于后续发布。

地址:UnicomLLM/Unichat-llama3-Chinese-8B

介绍

  • 中国联通AI创新中心发布业界第一个llama3中文指令微调模型,2024年4月19日22点
  • 本模型以Meta Llama 3为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
  • 模型上下文保持原生长度8K,支持长度64K版本将于后续发布
  • 陆续发布700亿参数中文微调版本,长文本版本和加入中文二次预训练版
  • 基础模型Meta-Llama-3-8B

数据

  • 高质量指令数据,覆盖多个领域和行业,为模型训练提供充足的数据支持
  • 微调指令数据经过严格的人工筛查,保证优质的指令数据用于模型微调

https://github.com/UnicomAI/Unichat-llama3-Chinese

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论