零一万物通过其微信公众号宣布，经过一段时间的开发和内测正式发布Yi大模型API，同时启动邀测。目前，Yi 大模型 API 邀测名额限量开放中，申请成功即送1000万 tokens。
此次邀测提供了两种模型：
- Yi-34B-Chat（0205）：支持聊天、问答、对话、写作、翻译等功能。
- Yi-34B-Chat-200K：200K 上下文，多文档阅读理解、超长知识库构建小能手。
模型优势
- 超长上下文
本次重磅出台 Yi-34B-Chat-200K API，加速大模型应用进入“长文本时代”。200K 支持处理约 20～30 万个中英文字符（例如，可以轻松处理整本《哈利•波特与魔法石》小说），适合用于多篇文档内容理解、海量数据分析挖掘和跨领域知识融合等，为各行各业提供了极大的便利。例如，金融分析师可以用它快速阅读报告并预测市场趋势、律师可以用它精准解读法律条文、科研人员可以用它高效提取论文要点、文学爱好者可以用它快速掌握作品精髓等，应用场景非常广泛。
例如，以下是 Yi-34B-Chat-200K 对经典文学作品《呼啸山庄》进行复杂角色和角色关系的归纳总结，该小说篇幅庞大（中文字数约 30 万字），且人物关系错综复杂，但它仍能精准地梳理和总结出人物之间的关系，展示了它在处理超长上下文时出色的复杂内容理解和分析能力。
- 出色的指令遵循和创意内容生成能力
此前，零一万物发布并开源了 Yi-34B-Chat（1123），它的回复风格符合人类偏好，但在指令遵循上结果不够稳定。而此次新发布的 Yi-34B-Chat（0205）经过深度优化，性能得到大幅提升，不仅继承了符合人类偏好的回复风格，很擅长创意性内容创作，而且能够更好地理解复杂的用户需求，遵循多约束指令（指令遵循能力提升了近 30%），稳定生成指定格式的内容。
例如，以下是两个版本在指令遵循方面的测评对比。
Prompt 1: 帮我输出一个俄国作家的书单，以 JSON 格式输出一个的 list，其中每一个 item 都要有两个 key，分别是书名和作家名字，请列出 3 本不同的书
Yi-34B-Chat（1123）输出的 JSON 文件格式略有不足（例如，第 8 行和第 12 行的引号），而 Yi-34B-Chat（0205）输出的 JSON 文件格式全部正确。
Prompt 2: 判断下面这段话的情绪倾向，如果是正面的，回复数字 1；如果是负面的，回复数字 0：
这款手机真是物超所值，性能强大，电池续航长，外观设计也很有档次。我用了几个月，到现在还像新的一样。
Yi-34B-Chat（1123）虽然理解了问题，但是没有完全遵循指令，输出了较多冗余的分析。而 Yi-34B-Chat（0205）理解了问题，且正确遵循了用户指令。
API 优势
- 推理速度快
为了提升 API 性能，团队在 API 侧进行了推理优化，因此 Yi-34B-Chat 系列 API 具备较快的推理速度，这不仅缩短了处理时间，同时也保持了出色的模型效果。此外，优化的 API 接口显著降低了模型回复的延迟，进一步提高了用户体验的流畅性和响应速度。
- 兼容 OpenAI
Yi 大模型 API 与 OpenAI API 完全兼容，你只需修改少量代码，可以平滑迁移，即刻享受 Yi 大模型的超凡魅力。
import openai
from openai import OpenAI
API_BASE = "https://api.lingyiwanwu.com/v1"
API_KEY = "{{your key}}"
client = OpenAI(
# defaults to os.environ.get("OPENAI_API_KEY")
api_key=API_KEY,
base_url=API_BASE
)
completion = client.chat.completions.create(
model="yi-34b-chat-200k",
messages=[{"role": "user", "content": "Hi, who are you"}]
)
print(completion)
