欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。
# 2024.5.21
今日要点
OpenSSF 推出 Siren 共享列表,加强开源安全
开源安全基金会 (OpenSSF) 宣布推出一个名为 Siren 的威胁情报共享列表,旨在促进新的漏洞信息共享工作、加强全球开源项目的防御能力。OpenSSF Siren 是一项协作工作,旨在聚合和传播特定于开源项目的威胁情报。
通义千问 GPT-4 级主力模型降价 97%,1 块钱 200 万 tokens
5 月 21 日,阿里云宣布,通义千问 GPT-4 级主力模型 Qwen-Long,API 输入价格从 0.02 元 / 千 tokens 降至 0.0005 元 / 千 tokens,直降 97%,1 块钱可以买 200 万 tokens。
据介绍,这款模型最高支持 1 千万 tokens 长文本输入,降价后约为 GPT-4 价格的 1/400。
文心大模型两大主力模型全面免费
百度智能云发文宣布,文心大模型两大主力模型全面免费,立即生效。分别为该公司于今年 3 月推出的两款轻量级大模型 ERNIE Speed 和 ERNIE Lite,支持 8K 和 128k 上下文长度。
今日观察
社交观察
俄罗斯站队 RISC-V 的意义
开源和开放的本质,是一种倾销。当基础库获取的成本为零的时候,就是移植,老板都要问问为什么要付出这些额外的成本。虽然,其实有了前人的基础,完善一个全新的根本上开放的指令集的相关方案的成本并不是很高了。
而今天俄国流片 risc-v 的自研芯片,说明因为封锁,一个国家,已经有了选择了这个指令集的切实理由。
接下来相关的软件工作肯定有人推进,而资源投入也更有保障。而今天俄国客户出手的阔绰程度,付款的痛快,反正我是非常钦佩的(合同签字一半定金,见到物流单号全款)。
而今天 risc-v 还有一个天然的系统 RTOS 可以继续发展他的能力。FreeRTOS 已经完成了在 32 位和 64位 risc-v 芯片上运行的很多工作。
这样在基础指令集和 OS 层面,就有了一个”完全抗封锁的完整方案“,在上面其实可以直接发展很多应用了。
而再考虑华为的通讯技术(支持 rtos 设备直接上云),Linux 本身是自由的(但是他不一定是必须的),再匹配阿里云的全套自有知识产权的云端技术,再加上开源 LLM ,那么几乎从底层芯片到云端大模型的全套方案,就完全 ready 了。
前面 FreeRTOS 只敢展望到 application 层面,但是随着中俄的去美国化,未来从芯片,到指令集,到系统,到云,到大模型,全套方案都会真正实用化。
而最神奇的是,这个方案,可以没有 arm 什么事,也可以和 android 和 apps 生态也完全不相关。(如果需要图2 RTOS 的部分可以换上 linux 。Debian ,Ubuntu 等主要 linux 发行版也做了很多在 risc-v 上运行的工作了)。
- 微博 李楠或kkk
从零复现Llama3代码库爆火
让大神Andrej Karpathy一键三连(点赞+转发+评论),一个教你从头开始实现Llama3的代码库爆火。火就火在,它教你从头用Meta开源的权重进行推理,详细解释和展开了注意力机制中多个头的矩阵乘法、位置编码以及所有中间层。
换句话说,他解释了每行代码都在干啥。
Karpathy看后直呼打造者Nishant Aklecha(后文暂称“纳哥”)是个有品的人。
- 微博 量子位
建造知识库:迈出搭建TO B大模型的第一步
“从去年下半年开始,我们就开始搭建自己的大模型,基于LLAMA的架构。”一位国内制造业企业的CIO告诉产业家,“第一步就是搭建知识库。”
这家诞生于20世纪80年代的制造业企业,拥有近40年的精密制造经验。在过去的几十年里,该企业跨过信息化、互联网化,来到数字化、智能化时代。
为了更好地提升工作效率、支持技术发展、推动企业文化和组织结构的变革,在去年下半年,公司启动了基于“开源算法的AI系统”的新项目。
- 微信 产业家
用各种开源技术,从头开始构建一个和AWS S3功能一样的对象存储服务
"近几年来,我一直在思考如何构建一个SaaS(Software-as-a-Service)平台,并部署在自己的基础设施上,无需使用诸如AWS或GCP这样的云平台。在这个仓库中,我将记录构建一个AWS S3克隆的进程,它功能与S3相同(自动化部署、动态扩展卷管理、安全性等),完全使用开源技术栈实现。"
地址:github.com/anthonybudd/s3-from-scratch
- 微博 蚁工厂
iOS最牛的万能模拟器,RetroArch正式上架
RetroArch,38合一复古游戏模拟器。
在诸多模拟器之中,RetroArch是最特别的一个。
它最强大,但也最复杂,也是最需要花时间研究的一个。
还有人给它取了个外号:最反人类的模拟器。
- 黑猫科技迷
媒体观察
斯嘉丽·约翰逊不想当GPT里的那个“她”:拒绝声音授权,已发律师函
斯嘉丽·约翰逊发布声明称,尽管拒绝了向OpenAI提供声音的邀约,但斯嘉丽·约翰逊仍然发现,ChatGPT最新发布的大模型GPT-4o使用了高度类似其声音的Sky语音。
对此,斯嘉丽·约翰逊表示,震惊、愤怒和难以置信,并向OpenAI发送律师函,要求说明Sky确切的创造过程。就在斯嘉丽·约翰逊声明发布不久后,OpenAI宣布暂停使用Sky语音,表示对斯嘉丽·约翰逊的尊重。
- 澎湃新闻
华为终端BG软件部总裁龚体:鸿蒙生态要好用,至少需要百万级别以上的开发者
通过奖金激励也是一种加速建设生态的方式。今年年初,华为宣布“耀星计划”,投入70亿元激励鸿蒙开发者在鸿蒙原生应用、元服务、SDK等方面的创新。华为还宣布开启2024 HarmonyOS创新赛,最高单项奖100万元,为开发者提供以赛代练、持续进阶的开放平台。
当下,已有38万+开发者通过鸿蒙认证,但这一数字距离目标仍有差距。龚体表示,“现在通过鸿蒙开发者认证的人数远远不够,如果要把国内生态这块做到好用,我们希望至少是百万人,需要更多高校师生加入到鸿蒙生态。”
- 钛媒体
“烧光”70000亿美元,与英伟达、台积电为敌
客观地说,如果不考虑生态,GPU设计公司倒不是那么无可替代。在GPU设计上,没有英伟达还有AMD,甚至还有Cerebras这类设计整片晶圆面积远远超过传统GPU的AI芯片设计公司,但在芯片制造上,目前台积电呈现一骑绝尘的态势。
以2024年为例,台积电可生产每平方毫米高达2.84亿晶体管密度的N3P工艺,排名第二的英特尔还只能生产每平方毫米1.8亿晶体管的Intel 4,第一跟第二之间已经出现了代差,如果在最高性能的芯片上不使用台积电工艺,在基础上就落后竞争对手一个世代。
芯片制造无法用钱堆砌,更需要技术积累的行业,往死里砸钱砸人,最快也要三年才能建设好芯片工厂并生产出芯片,对OpenAI来说,假设“7万亿”真实存在,面对“旧势力”的反扑,也至少要撑过这三年。
- 腾讯科技
硅谷新一轮AI大爆炸后,初创企业们的“残酷众生相”
在巨头之下,一批曾经表现亮眼的AI初创企业正在面临新的困境。裁员、出售、转型......据The Information的报道,随着底层通用大模型格局的基本落成,投资者的热情正在转向支持人形机器人等其他技术。与此同时,科技巨头和生成式AI的早期赢家也正在加速掀起一场新浪潮,拉拢竞争对手或者直接收购他们。这是一种拉拢潜在竞争对手的方式,也可以是一种确保自身领先位置的战略性行为。
- 硅基研究室
为了0.0003元,阿里和字节杠上了
5月15日,字节刚官宣豆包大模型,宣布自己击穿了大模型行业最底价(0.0008元/千tokens,比行业价格低了99.3%)。5月21日,还不到一周,阿里云紧接着就抛出重磅炸弹,宣布通义千问主力模型Qwen-Long直降97%(0.0005元/千tokens)。降价后,阿里的通义模型约为GPT-4价格的1/400,直接再度击穿全球底价。
- 小饭桌创服
一家290亿估值的明星公司资金链断裂了
理论上,Stability AI即便失败了,也并不代表开源AI的失败。开源社区一些基于Stable Diffusion的增强型模型,比Stability AI自己开发的Stable Diffusion 3还要强大,开源社区的生命力非常强大。
只不过对于Stability AI而言,一鸣惊人之后仅两年时间就沦落至此,的确是令人唏嘘。当然,作为生成式AI的先驱,Stablity AI无疑已经在AI历史上写下浓墨重彩的一笔。
- 投中网
今日推荐
开源项目
extrawurst/gitui
https://github.com/extrawurst/gitui
Gitui 是一个速度很快的 Git 终端界面,使用 Rust 编写而成。
每日一博
KubeAI 大模型推理加速实践
最近我们在生产环境批量部署了大模型专用推理集群,并成功让包括 70B 在内的大模型推理速度提升 50%,大幅缩减部署成本,稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验,分享一些有效提升大模型的推理速度方法。最后,我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。
事件点评
微软的新 PC 将是 "Copilot+PC"、性能比 MacBook Air M3 更强
将世界作为一个提示词就从 Windows 系统开始。Nadella 宣布,微软的新 PC 将是 “Copilot+PC”,称它们是 “有史以来速度最快、最适合 AI 的 PC”。
“Copilot+PC” 的一项硬件要求是不依赖云,可以在本地处理生成式 AI Copilot 进程,这就需要配备神经处理单元 (NPU) 的芯片组。
点评
这一事件反映出几个关键现象和可能的影响:
-
AI与硬件的深度融合:微软将AI技术集成到硬件中,展示了未来计算设备的新趋势。"Copilot+PC"的推出,意味着AI不再局限于云端,而是可以更贴近用户,实现更快速、更个性化的交互体验。
-
性能与效率的双重提升:根据微软的介绍,新的Windows 11 AI PC在性能上比苹果的MacBook Air M3快58%,这表明微软在硬件性能上取得了显著的进步。同时,长效续航的电池设计也体现了对移动办公和高效能需求的响应。
-
神经处理单元(NPU)的重要性:为了实现本地AI处理,微软强调了配备NPU的芯片组的重要性。这不仅能够提供强大的AI处理能力,还能减少对云服务的依赖,为用户带来更稳定、更私密的计算体验。
-
生态系统的扩展:微软与AMD、英特尔、高通等芯片制造商,以及宏碁、华硕、戴尔、惠普、联想和三星等设备合作伙伴的合作,显示了微软在构建一个强大生态系统方面的努力。这有助于推动整个行业的发展,为用户提供更多选择。
-
AI体验的创新:微软提出的"让世界变成一个提示词"的理念,预示着AI将更加深入地融入我们的日常生活,提供更加丰富和直观的交互方式。这可能会开启人机交互的新篇章。
-
对竞争对手的挑战:微软的这一举措无疑对苹果等竞争对手构成了挑战。在性能和AI体验上的优势可能会吸引更多用户转向Windows平台,尤其是在开发者和专业用户群体中。
-
对未来的展望:随着AI技术的不断进步,我们有理由相信,未来的PC将不仅仅是计算工具,更是智能助手,能够更好地理解和预测用户的需求,提供更加个性化的服务。
总的来说,微软的"Copilot+PC"和Windows 11 AI PC的推出,是AI技术与硬件结合的一个重要里程碑。它不仅展示了微软在AI领域的雄心,也为整个IT行业的发展指明了新的方向。随着AI技术的不断成熟,我们期待看到更多创新的产品和解决方案出现,为用户带来更加智能和便捷的体验。
新款 iPad Pro 使用了 12GB 内存颗粒,但却声称是 8GB 内存
美光官网显示,“MT62F768M64D4AS-026 XT:B” 是一款 768Mbit x 64(48Gbit)即 6GB 容量的内存颗粒,物料采购网站显示该内存为 LPDDR5-7500 规格,采用 VFBGA 封装。这说明 8GB 内存版本 M4 iPad Pro 实际使用的是 12GB 内存颗粒。
点评
苹果公司以其对产品的精细控制而闻名,包括硬件规格和性能指标。然而,这一事件引发了关于技术透明度和用户知情权的讨论。苹果可能出于多种原因选择不公开全部内存规格。这可能是一种营销策略,旨在避免用户感到困惑或与竞争对手的规格进行比较。然而,这种做法可能会损害消费者对品牌的信任。
在科技行业中,规格和性能指标通常是比较不同产品的关键因素。苹果的这一做法也可能会引起行业内对于如何报告和比较技术规格的讨论。
总的来说,这一事件凸显了透明度、消费者信任和市场沟通在科技行业中的重要性。作为行业领导者,苹果的每一个决策都会受到密切关注,并可能对整个行业产生影响。希望苹果能够采取适当的措施来回应消费者的关切,并维护其品牌的声誉。
文心大模型两大主力模型全面免费
百度智能云发文宣布,文心大模型两大主力模型全面免费,立即生效。分别为该公司于今年 3 月推出的两款轻量级大模型 ERNIE Speed 和 ERNIE Lite,支持 8K 和 128k 上下文长度。
点评
通过免费提供大模型,百度不仅能够吸引更多的开发者和研究人员使用文心大模型,还能够促进AI技术的普及和应用。免费提供大模型能够降低中小企业和个人开发者进入AI领域的门槛,使得更多的创新和应用成为可能。这对于推动整个行业的技术进步和创新具有积极的影响。
这一策略可能是百度在AI领域市场竞争中的一种策略。通过免费提供服务,百度能够吸引更多的用户,从而增加其在AI市场中的份额和影响力。免费模型能够吸引开发者进行实验和开发,这可能会催生出新的应用场景和商业模式。同时,这也为百度提供了一个收集反馈和改进模型的机会。
同时百度的这一决定可能会对其他AI服务提供商产生压力,促使他们也考虑提供免费或更低成本的服务,从而推动整个行业的服务模式变革。不过,虽然免费模型能够吸引用户,但百度也需要考虑如何实现可持续发展。这可能包括提供增值服务、定制解决方案或通过其他渠道实现盈利。
此外,免费模型对于教育资源有限的地区和机构来说是一个巨大的福音。它们可以利用这些模型进行教育和研究,从而提高AI教育的普及率和研究的深度。
开源之声
媒体观点
从“天价”到“骨折价”,大模型要变天了
近一个月,国内云厂商掀起了新一轮的大模型降价潮。这意味着AI竞争已经不仅仅是一场军备技术竞赛这么简单,各头部厂商也在考虑如何赚钱了。
在这场价格战中,包括火山引擎、阿里,还有智谱AI、面壁智能这样的明星创业团队都卷了进来。各家看似是在降价,其实是想通过比低价,快速抢占市场,从而实现商业化的快速落地。
- 光锥智能
305个大模型备案率仅45.9%,如何寻找破局之路?
这一严峻现实的背后除了技术层面的难题,还有训练和推理过程中高昂算力成本的制约。即便跨过这些关卡,大模型企业如何实现商业化,依然面临众多难题。而对这场竞赛中可能被“出局”的公司来说,未来的路又在何方?
- 每日经济新闻
科技巨头重金押注,AI大战一触即发
人工智能赛道快速引爆,正成为全球关注的焦点,未来科技巨头的AI比拼还将不断升温。在AI的强大需求推动下,各大厂商正在集中火力加速布局。目前谷歌、微软、亚马逊、苹果、META等科技企业都开始重金押注人工智能领域,不断上调资本支出。
- 中国经营报
“世界工厂”拥抱AI,向左走还是向右走?
2024年,互联网大厂依然“内卷”,“大模型产业化”代替“产业互联网”成为新的黑话;一大波创业公司则看到了商机,从百模大战到万模大战,作为拥有全球最多行业的国家,中国有太多企业在未来10年内会将智能化做成“必答题”;而老牌企业软件应用厂商则气定神闲,深知再好的通用大模型,如果不懂产业,也无法落地……
- IT时报
用户观点
Linux之父不仅暴脾气,“吃狗粮”也是最积极!
- 观点 1:amd yes
- 观点 2:然而,你把配置发出来,也没人能再成为另一个Linus¯\_(ツ)_/¯。
- 观点 3:只是看看什么样的配置得到的支持最好,bug会被最先发现
- 观点 4:大佬的桌面一言难尽啊 哈哈ヾノ≧∀≦)o
- 观点 5:我特么要有他一半的技术也不至于在这边学习人情世故,跪下来敬酒了
- 观点 6:为什么用amd不用intel
- 观点 7:amd核多,还便宜
- 观点 8:amd核心多,性能强,编译快
新款 iPad Pro 使用了 12GB 内存颗粒,但却声称是 8GB 内存
- 观点 1:这是故意混淆?比如我8G内存就接近你PC机16G内存的效能啦。(谁知道是12GB(/_\)大怨种)
- 观点 2:4G内存留给系统用,也没有毛病
- 观点 3:其实也很好解释,lpddr5没有单颗粒4G的了,所以只能拿6G颗粒屏蔽出
月之暗面回应 Kimi 付费方案:小范围灰度测试
- 观点 1:百度那个,还是差点意思,没有付费的意愿
- 观点 2:这变现能力也太快了
- 观点 3:价格不是太离谱,然后产品也别太拉胯,还是支持的
- 观点 4:C端收费?现在只能纯文本吧,有那么大价值吗?
- 观点 5:如果这样,我为啥不直接用行业标杆GPT4o?
- 观点 6:kimi没啥优势啊,我用通义都很好用,更别说还有一大堆选择,chatgpt,文心,gemini都好用,哈哈
- 观点 7:已经很便宜了
---END---
最后,欢迎扫码下载「开源中国 APP」,阅读海量技术报告、程序员极客分享!