开源日报 | 全新RISCV CPU;开源模型首胜GPT4;Mistral 8x22B大模型;老乡鸡“开源”
欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。
# 2024.4.10
今日要点
Mistral AI 开源 Mistral 8x22B Moe 大模型
Mistral AI 公司刚刚再次用磁力链接开源了一款大模型 —— Mistral 8x22B,模型文件大小为 281.24 GB。
从模型的名字来看,Mistral 8x22B 是去年开源的「mixtral-8x7b」的超级大杯版本,参数规模增长三倍不止 —— 由 8 个 220 亿参数规模 (8×22B) 的专家网络组成。
斯坦福团队开源端侧大模型 Octopusv2
斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。
Octopusv2 是一款拥有 20 亿参数的开源语言模型,专为在 Android 设备上运行而设计,同时也适用于汽车、个人电脑等其他端侧设备,并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。
该模型在准确性和延迟方面的表现超越了 GPT-4,并且在上下文长度上减少了 95%,显示出了显著的性能优势。此外,Octopus v2 比 Llama7B + RAG 方案快 36 倍。
谷歌发布代码大模型 CodeGemma
谷歌发布了用于辅助编程的代码大模型 CodeGemma,有 3 个模型变体:
7B 预训练变体,专门用于补全代码以及利用代码前缀和 / 或后缀生成代码
70 亿指令微调变体,用于自然语言到代码的聊天和指令遵循
先进的 2B 预训练变体,代码补全速度快至 2 倍
CodeGemma 可以执行各种编码任务,例如填充中间代码补全、代码生成、自然语言理解、数学推理和指令遵循。
今日观察
媒体观察
「开源模型首胜GPT-4!竞技场最新战报引热议,Karpathy:这是我唯二信任的榜单」
大神Karpathy口中唯二信任的测试基准之一 —— 大模型竞技场最新战报:1040亿参数开源模型Command R+攀升至第6位,与GPT-4-0314打成平手,超过了GPT-4-0613。这也是第一个在大模型竞技场上击败GPT-4的开放权重模型。
Command R+来自AI独角兽Cohere。这家大模型创业公司的联合创始人兼CEO,正是Transformer最年轻作者Aidan Gomez(简称割麦子)。
- 量子位
「斯坦福大学Aloha团队出新作:“吼你牌”系统让机器人洗盘子更干净」
斯坦福大学研发Mobile Aloha团队又出新作——一款名为“Yell At Your Robot”(简称YAY Robot)的系统。有了这个系统,可以通过“喊话”来训练机器人。经过训练后的YAY Robot可以在与用户的互动中不断改进,提升动作水平,即时调整策略,将语言更有机地融入机器人的学习过程中。
研究人员表示,利用YAY技术调教训练后,机器人在完成每个阶段的成功率都有显著提高。比如,在“准备混合食物”这一任务中,经过喊话训练的机器人动作准确性提高了30%-45%、在“清洗盘子”任务中提高了15%-25%。尤其是在清洗盘子这项任务中,研究人员可以直观地看到整个盘子表面的清洁效果,通过人类的口头反馈经过微调之后的机器人清洁力度更强,范围也变大了。
- 澎湃新闻
「性能增长250%,英国芯片设计龙头Imagination公布全新RISC-V CPU」
ARM竞争对手、英国芯片设计龙头Imagination发布第二款基于RISC-V架构的Catapult IP系列的最新产品APXM-6200 CPU,搭载 AI 功能,用于物联网、下一代消费和工业设备等领域场景。
相比Arm Cortex-A53,APXM-6200 CPU在面积效率配置小约25%,但能够提供超过2.5倍(250%)的性能密度提升,在性能、功耗、面积(PPA)方面实现最大化提升。
-
钛媒体
「百川智能一周年信:过去一年,保持业内最快的模型更新速度」
百川智能今日发布1周年信,过去一年,百川智能保持了业内最快的模型更新速度,以月度为单位相继推出了11款大模型,涵盖了开源、闭源、学术科研、国产算力等多个维度。百川智能称,过去一年在开源和闭源领域均交上了一份不错的答卷。
百川智能表示,未来将不断探索和突破技术的边界,并且为技术找到合适的场景,通过基础大模型的技术赋能与超级应用,从创造、健康、快乐三个维度为用户和合作伙伴创造更多价值,为 AI 技术发展贡献更多力量。
-
鞭牛士Bianews
「谷歌AI负责人迷茫:怎么减少内斗和人才流失,拿什么赶超OpenAI」
据美媒theinformation报道,谷歌人工智能部门的主管德米斯·哈萨比斯(Demis Hassabis)对公司在推动人工智能商业化上的新策略深表失望,并曾在两个AI部门合并成立新实验室时考虑过离职。他向同事透露,谷歌在追赶OpenAI的Sora项目方面可能面临着重重挑战。
-
网易科技
「即使iPhone用国产AI也别惊讶,因为Gemini能做的也不多」
从 Siri 刚刚发布开始,乔布斯对 Siri 语音助手的定义就不是单纯的搜索工具,而是个人智能助理。
从苹果自研基于 Ajax 的聊天机器人服务就能看出,目前苹果最看重的,其实是 Google Gemini 基于自然语义的对话能力,而不是我们上文提到在Google Pixel 8 Pro 上实现的那些“工具类”功能。
-
品玩
「科技巨头狂撒千亿美元 “买照片”,只为训练AI模型?」
路透社报道称,苹果公司正与图像托管网站Photobucket协商,希望得到这家公司近130亿张照片、视频组成的庞大图像库,并以此来训练AI模型。苹果不是这家网站的唯一买家,其他硅谷大厂们都在寻求与之达成协议。而这些巨头们也毫不吝啬,甚至愿意掏出数十亿美元的真金白银购买这些素材。
不只是Photobucket,Reddit、Youtube等知名网站都成了科技巨头们的疯抢目标。
-
镁客网
今日推荐
开源项目
jenius-apps/ambie
https://github.com/jenius-apps/ambie
Ambie 是一款播放白噪声和自然声音的应用程序,可帮助集中注意力、睡眠和放松。
对于许多人来说,在执行任务时听到背景噪音有助于集中注意力。Ambie 有很多内置的声音可供选择,例如雨声和海浪声,可用于帮助入睡、放松和减压。
推荐理由
Ambie是一款功能强大、易于使用的放松工具,可以帮助疲惫的开发人员缓解压力、放松身心。它提供了丰富的自然声音和白噪声,如雨声、海浪声等,帮助用户在疲惫时放松心情,减轻压力。Ambie还内置了专注计时器功能,帮助开发人员在疲劳时保持专注,提高工作效率。此外,Ambie支持深色主题,有助于减少视觉疲劳,提供更舒适的视觉体验。
每日一博
揭示语言大模型的采样过程
要理解 AI 响应的概率性,就需要了解模型生成响应的方式,即采样(或解码)过程。本文包括以下三部分:
采样:采样策略和采样变量(包括温度、Top-k 和 Top-p)。
测试时采样:采样多个输出,以帮助提高模型性能。
结构化输出:如何让模型按照一定格式生成输出。
高手问答
程序员如何入门 AI 应用开发?
OSCHINA 本期高手问答 (4 月 10 日 - 4 月 16 日) 我们请来了诸葛子房和大家一起聊聊 AI 相关问题:
可讨论的问题包括但不限于:
- 程序员或者普通开发者能使用哪些 AI 工具进行提效?
- 程序员在这波 AI 浪潮中能做一些什么?
- 如何从零到一开发出来一个 AI 应用?
欢迎积极提问👏👏
事件点评
因缺乏维护者,EndeavourOS ARM 分支走向终结
EndeavourOS 的创始人兼项目负责人 Bryan Poerwoatmodjo 宣布,由于缺乏最新的上游变更和维护者,该发行版的 ARM 分支将走向终结。
EndeavourOS ARM 基于 Arch Linux ARM 项目,由 EndeavourOS 社区的一些成员维护。不幸的是,与 Arch Linux 项目相比,上游的 Arch Linux ARM 项目看起来相当落后,最近 ARM 和 64 位 (x86_64) 架构之间的差距变得更大。再加上首席维护者因为没有得到外界的更多帮助而感到沮丧,最终导致了 EndeavourOS ARM 分支被放弃。
点评
这个事件凸显了开源项目维护的挑战,尤其是对于那些资源有限的项目。缺乏足够的维护者意味着项目可能无法跟上技术发展的步伐,最终可能被淘汰。
此外,EndeavourOS ARM 的终结也提醒了社区成员和用户,开源项目的可持续性依赖于积极参与和贡献。对于希望接管该项目的人来说,这是一个机会,但也需要他们投入大量的时间和资源来维持和发展这个项目。
总的来说,这个事件是开源社区面临挑战的一个缩影,同时也反映了开源生态系统中持续参与和贡献的重要性。对于 ARM 架构的用户和开发者来说,这可能是转向其他操作系统或加深对现有项目的参与的一个契机。
深圳团队研发的编程语言 MoonBit 在日本知名开发者社区 Zenn 爆火
国内首个工业级编程语言及其配套工具链 MoonBit(https://www.moonbitlang.cn/)是由粤港澳大湾区数字经济研究院(福田)- 基础软件中心打造的 AI 原生的编程语言以及开发者平台。通过创新框架在程序语言界形成后发优势,在编译速度、运行速度、体积大小上已成功领先传统语言。
MoonBit 在 2022 年 10 月推出,那时恰逢 ChatGPT 刚刚问世。MoonBit 平台的出现不仅仅作为一种编程语言,更提供一个完整的开发工具链,包括 IDE、编译器、构建系统、包管理器等。现在 MoonBit 处在一个特殊的位置,有机会去重新构想整个编程语言工具链该如何与 AI 更好地协作,力图开启编程与 AI 结合的新篇章!
点评
MoonBit 的成功不仅是一个技术成就,也是开源社区和全球协作力量的体现。它为编程语言的发展开辟了新的道路,并可能对软件开发和 AI 集成产生长远影响;标志着 AI 原生编程语言的新时代。MoonBit 的推出也可能会激励更多的开发者和团队投入到编程语言的创新中,推动整个行业的技术进步。对于开发者来说,MoonBit 提供了一个新的工具和平台,可能会激发他们探索新的编程方法和应用场景。
北大开源 aiXcoder-7B 最强代码大模型
源自北京大学软件工程研究所的 aiXcoder 团队宣布,推出全新自研 aiXcoder-7B 代码大模型;聚焦真实开发场景,专为企业私有部署设计。其中,aiXcoder-7B Base 版将开源共享给开发者,并陆续在 Github、Gitee、Gitlink 等平台上线。
公告称,在多个主流评估标准评测集中,无论是代码生成、代码补全还是跨文件上下文代码生成效果,aiXcoder-7B 模型均有极佳表现,甚至超越参数量大 5 倍的 34B 代码大模型,已达到当前 SOTA 水准,堪称最适于实际编程场景的基础模型。
点评
aiXcoder-7B的推出不仅是AI技术在编程应用方面的一个重要里程碑,也是开源精神和国际合作的一个典范。它预示着未来编程工作的变革,并为软件开发和AI技术的融合开辟了新的道路。
它在代码生成和补全方面的先进性能,预示着人工智能技术在软件开发中的潜力,这将极大地提高开发效率,降低编程难度,尤其是对于复杂和冗长的代码编写任务。
这一事件也突显了中国在人工智能领域的研究实力和国际竞争力。北京大学软件工程研究所的这一成就,不仅展示了学术研究的深度,也为中国在全球AI技术发展中的地位增添了新的亮点。
开源之声
媒体观点
大模型需要更多用武之地
大模型的应用需要深入各行各业,解决实际问题。要拓宽其应用场景,加强大模型技术与产业的深度融合,推动产学研合作,解决技术合规性、安全性、数据质量等问题,助力大模型走向广阔市场空间。展望未来,期待看到更多具有开源精神的项目和创新生态社区涌现,推动技术的共享和发展,成为技术与产业结合的桥梁和纽带。
长远来看,国家适时推出相关政策鼓励科技创新,鼓励国内厂商发展自主产品,此类事件无疑将使国内具备技术先发性、市场优势性的企业充分获益。
- 经济日报
鸿蒙生态加速构建 正在成为第三极
在科技竞争日益加剧的背景下,打造具有国际竞争力的操作系统是中国科技自主创新的关键一步,鸿蒙作为国产操作系统的代表,具有重要意义。
不久前,《深圳市支持开源鸿蒙原生应用发展2024年行动计划》发布,广东省深圳市成为全国首个发布政策支持原生鸿蒙发展的城市。随后,全国首个鸿蒙生态创新中心在深圳成立。从未来发展趋势看,鸿蒙系统有着广阔的市场前景,各方期待鸿蒙能构建起独立的生态系统并实现广泛应用,充分释放出万物互联的特性。
- 中国城市报
前谷歌CEO施密特:每一个开源大模型都会被中国公司复制
近日,前谷歌CEO施密特采访时表示,每一个开源大模型都会被中国公司复制,中国正在建立自己的开源平台。
- 钛媒体
Llama架构比不上GPT2?神奇token提升10倍记忆?
一个 7B 规模的语言模型 LLM 能存储多少人类知识?如何量化这一数值?训练时间、模型架构的不同将如何影响这一数值?浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾) 又将对 LLM 的知识容量产生何种影响?
近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
- 机器之心
收手吧Sam Altman!外面全是GPT-4
似乎是还嫌这世界上的“GPT-4们”不够多,据The Information前一天的消息,Meta也计划于下周推出Llama 3的两个小版本,作为夏天发布最大版本的前奏。
再加上今年2月对标GPT-4的Mistral Large,推理速度、MMLU等关键性能上媲美GPT-4;上月底“开源新王”Databricks发布的号称比Llama 2、Mistral和Grok 1更强的DBRX;以及更令人印象深刻的Anthropic的Claude 3......
- 品玩
用户观点
老乡鸡 “开源” 了
- 观点 1:什么时候开放API,远程调用,返回老乡鸡,调用一次收费老乡鸡对应价格,VIP打折优惠
- 观点 2:数据来源可信吗?更新及时吗?
- 观点 3:老乡鸡这用的什么架构,稳定性,可观测性如何
- 观点 4:用的什么开源协议?文档收费吗
- 观点 5:都在说大模型,可是我还在写curd,怎么办?
一个月时间面试了差不多30个iOS开发,最后结论奉劝改行吧
- 观点 1:大家都是出来混口饭吃,别太较真啦(自我安慰)
- 观点 2:iOS开源贡献要求可不低,llvm难度博一
- 回复:iOS开发跟LLVM有啥关系
- 回复:前中后都要用,包括芯片开发软件适配等,MacOS 和iOS 构建工具cmake,clang,lldb 。苹果是LLVM主要贡献者和最大金主
程序员梗图
---END---