欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。
# 2024.6.17
今日要闻
英伟达开源“巨无霸”系列模型:3400 亿参数、性能对标 GPT-4o
当地时间6月14日,英伟达宣布开源Nemotron-4 340B(3400亿参数)系列模型——包括基础模型Base、指令模型Instruct和奖励模型Reward,并构建了一个高质量合成数据生成的完整流程。
Nemotron-4 340B系列模型支持4K上下文窗口、50多种自然语言和40多种编程语言,训练数据截止到2023年6月。训练数据方面,英伟达采用了高达9万亿个token。其中,8万亿用于预训练,1万亿用于继续训练以提高质量。
值得一提的是,在模型对齐过程中,超过 98% 的数据都是合成的,这展示了这些模型在生成合成数据方面的有效性。
北大快手攻克高难度视频生成难题,开源新框架
北大与快手AI团队提出的新框架VideoTetris,为复杂视频生成带来了革命性突破!通过这个框架,团队可以像拼俄罗斯方块一样,轻松组合各种细节,成功生成符合复杂指令的视频内容。
在复杂视频生成任务中,VideoTetris超过了商用模型如Pika和Gen-2。该框架不仅增强了现有模型的组合生成能力,还支持多指令、多场景变更的长视频生成。
VideoTetris首次定义了组合视频生成任务,包括两个子任务:1、跟随复杂组合指令的视频生成;2、递进的组合式多物体指令的长视频生成。目前,几乎所有开源和商用模型都未能生成正确的视频,而VideoTetris成功实现了这一目标。
Arm为何手撕高通,不惜毁掉所有骁龙X笔记本?
阻挡Arm芯片笔记本普及的最大障碍,竟然是Arm自己!过去两年时间,他们一直在起诉打造Arm笔记本芯片的高通,甚至要求彻底禁售所有搭载高通芯片的Windows笔记本。而如果Arm赢得诉讼,Arm架构处理器在Windows PC的崛起势头也将遭受重大挫折。
Arm为何要和自己的最大客户高通对簿公堂,这场伤人伤己的七伤拳会带来怎样的影响?
今日观察
社交观察
不仅要从开源拿东西,更要回馈和贡献
1)希望LINUX的成功,可以在硬件领域重演。
2)开源芯片不是一个梦,会像开源软件一样,也可以在未来形成一片新的天地,而这片新的天地当中,一定会有中国人、中国社区的贡献。
3)(2002年)我把LINUX讲清楚需要1300多页,但把香山讲清楚需要1700页,可以想象香山项目的规模。
4)不仅要从开源拿东西,更要回馈和贡献。
5)自然语言描述会有歧义,但源代码是精准的,因此阅读开源代码是提高技术水平的最好途径,读代码的同时要多动手实验。
6)希望香山可以成为RISC-V CPU设计的事实标准。RISC-V芯片是不是国产,我倒没有看得那么重,因为既然是开源项目,一开源出来这就属于全人类。我认为香山存在的意义并不局限于中国国内,而是全世界。
7)过去香山只有源代码,但今天不仅有源代码,还有1700页的详细分析。1700页的文字已经远超源代码的数量,可以想象这里面倾注了毛老师很多自己的思想,自己一生在这个领域的积累。相信这本书对于整个CPU领域也将会留下历史的贡献。
- 微博 包云岗
在RAG应用开发中,评估生成的结果是否正确非常关键
在RAG应用开发中,评估生成的结果是否正确非常关键,如果我们想采用LLM作为评估方法(vs 人工,Prometheus-2是个可以选择的开源LLM方案↓
它是完全开源的,比现有的任何其他开放模型 + gpt-3.5-turbo 都要好,并且接近 gpt-4-turbo 和 Claude Opus。
- 微博 黄建同学
为什么你卷价格就挣不到钱,别人卷价格就能够挣到钱?
有人会说,为什么你卷价格就挣不到钱,别人卷价格就能够挣到钱?别人让利,你为什么就不得不让本?按理说,市场竞争,有能力在不降低质量甚至提高质量的基础上,通过技术创新把产品成本降下去,给消费者让利,来获得竞争优势,这本来无可厚非。但是事情往往并非如此。我们在卷价格的背后,看到的是极少数车企更多的不择手段。
- 微博 CyberEv_赛博
司南大模型竞技场可以免费使用多种国产大模型和国外的开源大模型
包括Qwen2、Llama-3系列、Command R+、Yi-Large、Doubao-pro-4k、文心一言ERNIE-4.0-8K、moonshot-v1-32k,GLM-4等等(需注册)。
https://modelscope.cn/studios/opencompass/CompassArena/summary
- 微博 蚁工厂
iPhone 16会杀死大模型APP吗?
在苹果CEO蒂姆·库克看来,一个好的AI产品,“它必须理解你,并扎根于你的个人背景,比如你的日常生活、你的人际关系、你的交流等等。它超越了人工智能。它是个人智能。”
但在实现上述目标的路径上,苹果AI眼下仍面临规模效应侧的两大挑战。
表现在适配的终端硬件上,受限于内存和芯片,苹果AI只能跑在iPhone 15 Pro/15 Pro Max,以及配备了M1及以上芯片的Mac上。这意味着在苹果现有超22亿的设备保有量中,仅有一小部分才能体验到今年秋季到来的AI新功能。
更糟糕的是,苹果AI将分阶段陆续推送,秋季只有英文版本上线,这意味着作为iPhone全球主力市场的中国地区,可能要等到明年才有望体验到苹果的AI功能。
苹果软件工程高级副总裁克雷格·费德里吉表示,苹果正在努力寻找将“Apple Intelligence”引入中国市场的方法,“虽然目前没有具体的时间表,但这肯定是我们想要做的。”
- 微信 字母榜
祝贺阿里巴巴!通义千问2登上世界榜单第一名
- 微博 周鸿祎
媒体观察
武汉软件产业蓄势进发
十年一台阶——2013年,武汉成为“中国软件名城”创建试点城市,截至去年,武汉软件业务收入规模已从创建前的300亿元规模跃增至3023.8亿元,尤其近两年增速位居14座“中国软件名城”之首。
以此次大会为契机,武汉正在加快推进以软件为关键要素的新型工业化发展和新质生产力培育,并亮出攀登目标:力争到2025年,全市软件业服务收入突破4500亿元,从远期看,软件信息业将发展成为武汉新的支柱产业。
缺龙头?从工业重镇的土壤里汲取养分。缺“块头”?在空间的拓展里量体裁衣。缺“种子”?在新赛道里播下希望。补齐短板、锻造长板,武汉一步一个脚印推动软件产业做大做强。
- 长江日报
马斯克“炮轰”苹果,主义or生意?
6月11日,当苹果在其2024全球开发者大会(WWDC)推出了一系列升级更新,尤其是宣布将与OpenAI合作——将后者的ChatGPT全面整合至苹果设备时,马斯克一口气连发多条推文,措辞严厉,指责苹果“出卖用户数据”,并表示如果苹果在操作系统层面整合OpenAI,那么苹果设备将在旗下公司被禁止使用。“这是不可接受的安全违规行为。”
至于苹果与OpenAI的“强强合作”是否有可能触发反垄断调查?王源指出,和OpenAI提供的商品和服务范围不同,不具有竞争关系,因此两方合作这一事实触发垄断的可能性比较小。但是,苹果公司和OpenAI由于在各自市场具有优势地位,通过合作可以增强各自在相关市场的优势地位,但随着二者对数据控制能力的增强,不排除将来二者各自违反反垄断法的可能性。
- 中国经营网
刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的
推动数据资源的开源开放一直是智源坚持的方向,早在2021年,智源就推出了全球最大语料库WuDaoCorpora,开放200GB高质量低风险中文语料,支撑全球大模型相关研究。此后陆续开源了可商用的指令数据集COIG、中英文文本对语义向量模型训练数据集MTP,以及高质量中文互联网语料库CCI 1.0等多个项目。
通过不断扩大和优化高质量的开源数据集,智源推动了人工智能技术的创新和发展,从这次大会围绕开源数据众多动作来看,智源是铁了心要把开源数据这件事“死磕”到底。
- 时代投研
曝华为HarmonyOS Next是系统级AI 方向与iOS 18相似
有数码博主爆料称,华为HarmonyOS Next也是系统级AI,是可以打通第三方应用的系统,与iOS 18方向相似。
- 手机中国
市值不到英伟达的十分之一,AMD的“硬伤”和“软肋”
虽然英伟达在算力芯片上仍然具有绝对领先的地位,但AI芯片的竞争还是处在一片正在快速扩张的蓝海之中,随着AI应用越来越深入我们的生活,更加难以想象AI芯片市场的规模极限,其中留给AMD和英伟达的空间自然也足够大。英伟达尽管通过长期积累建立了强大的优势,但还有足够的市场需求等待AMD满足,这也是后者的机会所在。
- 证券之星
智源研究院王仲远:国产大模型已达“可用”水平,仍需向“好用”努力
国产大模型仍处在一个追赶的阶段,大模型在科技圈里非常火热,而普通用户感受可能并不明显,很重要的原因在于大模型的能力不够,国内市场在场景、应用方面的优势还未发挥出来,因此国产大模型未来依然要朝着“非常好用的水平”去努力前进。
- 中国经营报
AGI、价格战、开源,四家“清华系”大模型独角兽AI春晚首次同台对话
四家掌舵人讨论的话题相当广泛,既包括形而上学,也有看得见的商业落地。在AGI(人工通用智能)、Scaling Law(标度律,在大模型领域是指描述系统随着规模的变化而发生的规律性变化的数学表达)等话题上,观点不一、时有交锋。而在关于价格战话题上,此前对价格战并不感冒的王小川,则首次表达了对大模型降价潮的支持。
- 科创板日报
蔡崇信“预言”微软和Open AI未来可能分道扬镳:AI和云结合很重要
蔡崇信认为,阿里是全球少数几家既有自己的AI能力又有云计算业务的公司之一,这种结合有巨大的竞争优势。他举例表示,微软和Open AI是两家独立的公司,现在建立了紧密的合作,但独立也意味着他们未来可能会分道扬镳,“所以微软实际上并没有自己的AI开发,他们基本上把它外包给了OpenAI。”
- 第一财经
To B还是To C?李开复“抛砖”大模型商业化机会在哪
李开复“选择”了To C,“在中国To C短期更有机会,国外两者都有”。李开复说,在To C领域,类似于PC时代和移动互联网时代,一个新技术、新平台的出现必然带来新应用的出现,大模型同样如此。但这些应用的出现一定是按部就班的,遵循着生产力工具、娱乐工具、搜索工具、电商工具、社交工具等阶梯式的普及规律。
- 北京商报
今日推荐
开源项目
zio/zio
https://github.com/zio/zio
ZIO 是一个零依赖的 Scala 库,用于异步并发编程。
每日一博
大模型参数高效微调(PEFT)技术解析及微调加速实践
本文系统性地解析了几种常用的大模型参数高效微调(PEFT)方法,并对每种方法的算法原理和应用效果进行了详细介绍。首先本文将阐述参数高效微调的重要性和基本概念,随后简要介绍 LoRA 微调之前的两种 PEFT 方法 Adapter Tuning 和 Prefix Tuning,然后本文会详细介绍 LoRA(Low-Rank Adaptation)、QLoRA(Quantized LoRA)和 AdaLoRA(Adaptive Low-Rank Adaptor)以及 SoRA(Sparse low rank adaptation)四种参数高效方法。这些方法旨在减少训练参数量、降低微调成本,同时保持模型性能。此外,本文还将分享基于 Unsloth 的微调加速实践经验,并且展示了在不同模型和数据集上的训练加速效果和显存占用降低效果。综上,本文将从微调方法和训练加速两个角度分享相关的技术解析和实践经验。
开源之声
用户观点
别惹程序员——印度IT工程师被解雇后删了前东家180台服务器、造成几百万损失
- 观点:1:这么大个集团没个SIEM吗?Qradar和Splunk是吃干饭的吗?这件事唯一能说明的就是这家企业的安全策略从设计到执行都做得极其失败。SIEM不alarm,alarm了没人response,response了没人investigate,investigate了没人remediate,remediate了没人hunt。如果这家的安全是外包给哪家乙方去做的,那这家公司怕不是要被这个丑闻永远钉到耻辱柱上。21世纪了还能在大公司内发生如此严重的安全事故,真是闻所未闻
- 观点 2:离职四个月了还有权限删服务器...
- 观点 3:well done
- 观点 4:自毁长城,没公司敢雇他了
苹果称Swift是取代C++的最佳选择
- 观点 1:想什么呢。苹果还想统一系统不成?只能用xcode,只能用Mac开发?内存安全的语言大把的。
- 观点 2:vscode早都能用swift了,现在linux上也能装。内存安全的语言是不少,学起来成本低的可不多。反正我看c看不懂,swift入门还挺快的。。
- 观点 3:windows不能直接用,他说什么都没用
- 观点 4:Chris把控的话还能相信两毛钱的,现在就送哈哈两字。自从为了强行将library的东西塞进语言框架里,Swift在作死的路上一路狂奔。property wrapper污染了整个语言设计,actor/MainActivity看到了语言开发者的无奈/抗议,type erasure头大就塞个some...... 当人们需要取代c++的时候,绝对不是要一个更罗嗦更繁杂的语言,c++/rust/zig的复杂可以考逻辑理性解决,而Swift的复杂要看明年wwdc缺啥。
- 观点 5:任何跟厂家绑定的语言都不可信
- 观点 6:swift至少还开源了,而且还跨平台,也不算绑的太死吧(
- 观点 7:自己的平台之外最基本的标准库也没有,苹果还要说什么呢?
- 观点 8:拉踩丢人哦
- 观点 9:C++被踩了多少年了,也不差这一脚
- 观点 10:rust编程界原神就算了,你swift什么水平敢碰瓷c++?
- 观点 11:用什么来写,你家那个捆绑macos的xcode吗
- 观点 12:我不服,rust才是
- 观点 13:笑死,10年了吧,几个人用
- 观点 14:感觉c++蛮好用啊,哪里不好用?swift才难用,处理个二进制字符串比c++难上好几倍
- 观点 15:C/C++:每当有语言来说取代我的时候我就知道,又一个扯虎皮的来了
- 观点 16:C语言:别扯上我,我命一定比C++长。
- 观点 17:别闹了好吧,在苹果生态推没问题。至于linux和windows还是洗洗睡吧
- 观点 18:作为swift lang社区的活跃人员表示,就语言本身真的可以,性能和易用性远超其他语言,但取代可能性不高,因为人天生懒惰
- 观点 19:star被rust后来居上了。没有大的改进或者框架支持很难反转
- 观点 20:我不看好 Apple swift 跨平台,如果 Apple 真的下定决心要做这件事情,那也不至于只有 xocde 有良好支持,nvim 连个 swift 的 lsp 支持都没
高中信息技术考试竟然有Flash、IIS、Frontpage、Access、VB……
- 观点 1:考试科目是《计算机历史》。
- 观点 2:坐标山东,初中信息技术考flash,Photoshop 7.0。高中学业水平考试信息技术考frontpage,office 2003,Dreamweaver,推荐的操作系统为Windows XP或者Windows 7,还是全省统考。
- 观点 3:过时多少年的东西了。lese
- 观点 4:老师会的只有这些,能教的也只能这些
- 观点 5:有没有一种可能,是课程标准和考试标准没有改?如果这些改了,老师还能教这些吗?
- 观点 6:现在不是还考四书五经、唐诗宋词、珠算、算术、几何、圆周率、勾股定理、交流电、直流电……吗?这些这都多少年了,和这些祖宗相比,它们太年轻了。
- 观点 7:文学不评价,你说的其他的都是基础知识,技术和知识的区别先分清,不过看你扯这么多也扯不出个技术名词,不了解还是别显摆了。
- 观点 8:别惊讶,懂这些的都是高手
- 观点 9:啥?你们高中信息技术还真的考试?
HertzBeat 的第一个 Apache 版本 v1.6.0 发布!
- 观点 1:迁移到 EclipseLink 可以发个 blog 了
- 观点 2:@FIT2CLOUD飞致云 1Panel 应用商店 上架不?
---END---
最后,欢迎扫码下载「开源中国 APP」,阅读海量技术报告、程序员极客分享!