RWKV 社区近期新增科研项目 2024 年 5 月 7 日,我们呼吁大家使用 RWKV-6 替代 Mamba 进行科研。截至 7 月 29 日,来自全球各地的科研团队已经陆续发表了 7 篇基于 RWKV 架构、在各个领域进行深入研究的论文。 新的 RWKV 学术研究主要聚焦于具身智能、图像处理、模型架构三个方面。 机器人/具身智能 Decision-RWKV 论文名称:Optimizing Robotic Manipulati 运维资讯 2024-07-29 大白菜程序猿
RWKV-6-World 14B 正式开源发布,迄今最强的稠密纯 RNN 大语言模型 2024年7月19日,RWKV 开源基金会宣布正式向全球开源 RWKV-6-World-14B 模型。 RWKV-6-World-14B 是迄今最强的稠密纯 RNN 大语言模型。 在最新的性能测试中, RWKV-6-World 14B 模型英语性能相当于 Llama2 13b。此外,在同参数的模型评测中,RWKV-6-World 14B 的多语言性能显著最强,且支持全球100+种语言和代码。 在“ 运维资讯 2024-07-20 向阳逐梦
@所有人,RWKV 中文官网正式上线啦! @所有人,RWKV 中文官网(www.rwkv.cn)正式上线啦! 在全新推出的 RWKV 中文官网,你可以查看关于 RWKV 的绝大多数信息,包括但不限于 RWKV 架构的介绍、RWKV 多模态等研究和相关论文、RWKV 的本地部署和推理教程、RWKV 的全参/微调训练教程,以及 RWKV 最新新闻动态... RWKV 中文官网目前有四大板块,分别是首页、生态页、资讯页,以及 RWKV 中文文档 运维资讯 2024-07-20 大猫
RWKV 参加奇绩创坛 2024 年春季创业营路演 2024年 6 月 6 日,RWKV 受邀参加奇绩创坛在北京中关村举办的 2024 年春季创业营路演。 RWKV 元始智能 COO 罗璇在会议上分享了 RWKV 的创新模型架构、最新进展及当前的研究方向。 目前, RWKV 架构的最新稳定版本是 RWKV-6 ,RWKV-6 14B 模型即将完成训练。与此同时,RWKV-7 全新架构已经开始小规模测试。 RWKV-7 架构将进一步推动 RWKV 模 运维资讯 2024-06-11 向阳逐梦
State 微调、PointRWKV、中文文档上线……RWKV 社区 5 月最新动态来啦! 大家好,这里是我们组织的新栏目:RWKV 社区最新动态,这个栏目会不定期播报 RWKV 社区的最新消息,以帮助 RWKV 的关注者、爱好者、开发者更好地了解 RWKV 的发展情况。 《RWKV 社区最新动态》是不定期更新,所以请保持关注我们的公众号(RWKV 元始智能)、QQ 频道(RWKV)等公开的消息平台,以获取最新的消息。 本期节目统计了 RWKV 社区 5 月的重要动态: RWKV 中文文 运维资讯 2024-05-31 爱可生开源社区
RWKV6World 7B 模型于 5 月 7 日正式开源发布 2024 年 5 月 7 日,RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 7B 模型。 相比 1 月 18 日开源的 RWKV-5-World 7B 模型,最新发布的 RWKV-6-World 7B 模型不仅升级了模型架构,还在训练过程中额外增加了 1.4T tokens 语料。 基准测试和实际任务的结果显示:RWKV-6-World 7B 模型在多语言、指令遵循和材料总结等 运维资讯 2024-05-08 穿过生命散发芬芳