llm

技术译文 | Google 在 MySQL 中推进矢量搜索,在 LLM 支持方面超越 Oracle

谷歌已将向量搜索引入其 MySQL 数据库服务,这一步领先了 MySQL 的所属公司 Oracle,迄今为止,Oracle 尚未给 MySQL 添加任何大型语言模型(LLM)方面的…

构建本地运行的LLM语音助理

译者 | 朱先忠审校 | 重楼引言我不得不承认,我最初对大型语言模型(LLM)生成实际有效的代码片段的能力持怀疑态度。我抱着最坏的打算尝试了一下,结果我感到很惊喜。就像与聊天机器人…

专为企业级大模型开发的框架、工具和模型

背景介绍在当今的企业环境下,很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才,能够很好的处理大模型落地过程中碰到的问题。今天要给大家推荐一个 Gi…

​有了LLM,所有程序员都将转变为架构师?

编译 | 言征  出品 | 51CTO技术栈(微信号:blog51cto)生成式人工智能是否会取代人类程序员?可能不会。但使用生成式人工智能的人类可能会,可惜的是,现在还不是时候。…

2024 年 AI 辅助研发趋势:从研发数字化到 AI + 开发工具 2.0,不止于 Copilot

在上一年里,已经有不少的企业在工具链上落地了生成式 AI,结合我们对于这些企业的分析,以及最近在国内的一些 “新技术” 趋势,诸如于鸿蒙原生应用的初步兴起。从这些案例与趋势中,我们…

无需GPU,轻松搭建本地大语言模型(LLM)服务:OpenAI接口与C#/Python实现

一、引言随着自然语言处理(NLP)技术的快速发展,大语言模型(LLM)成为了研究和应用的热点。然而,搭建LLM服务通常需要高性能的GPU资源,这对于个人开发者和小型企业来说可能是一…

开源日报 | 我让 AI 用 C 语言写一个算法;微软三进制 LLM

欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。 # 2024.2.29 今日要点 OpenSource Daily 阿里发布肖像视频生成框架 EMO 来自阿里巴巴的…

语言大模型的浮点运算分配

本文通过实证分析展示了实际LLM模型的FLOPS分配情况,并与理论分析进行对比。通过理论和实证相结合的方式,本文为理解和优化语言大模型的性能提供了有益见解。   作者Finbarr…

LangChain原理学习笔记

最新越发觉得AI的发展,对未来是一场革命,LangChain已经在工程设计上有了最佳实践,类似于AI时代的编程模型或编程框架,有点Spring框架的意思。之前在LangChain上…

LangChain 完成 2500 万美元 A 轮融资,正式发布 LLMOps 产品 LangSmith

LangChain 是用于构建 LLM 应用的开源工具,近日其开发商宣布完成了由红杉资本领投的 2500 万美元 A 轮融资,并正式推出首款付费 LLMOps 产品 LangSmi…

揭开向量索引概念的神秘面纱

自从ChatGPT公开发布以来,人们几乎没有一天不讨论LLM(大型语言模型)、RAG(检索增强生成:Retrieval Augmented Generation)和向量数据库的新内…

容器下在 Triton Server 中使用 TensorRTLLM 进行推理

1. TensorRT-LLM 编译模型1.1 TensorRT-LLM 简介使用 TensorRT 时,通常需要将模型转换为 ONNX 格式,再将 ONNX 转换为 Tensor…

大语言模型推理提速:TensorRTLLM 高性能推理实践

作者:顾静 TensorRT-LLM 如何提升 LLM 模型推理效率 大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型…

火山引擎ByteHouse:“专用向量数据库”与“数据库+向量扩展”,怎么选?

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 背景 随着LLM(Large Language Model)的不断发展,向量检索也逐渐成为关注…

性能持续突破!火山引擎ByteHouse上线向量检索能力

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 随着LLM技术应用及落地,数据库需要提高向量分析以及AI支持能力,向量数据库及向量检索等能力“…

《2023 中国开源开发者报告》正式发布

《2023 中国开源开发者报告》正式发布。 此报告由开源中国与 Gitee 发布,整体分为三章,分别是: 第一章《开源开发者事件回顾》 第二章《2023 LLM 技术报告》 第三章…

2024年人工智能工程的五大趋势

导读:各位,2024年将是LLM之年,所有的应用程序都要加入AI与LLM。有激情的你准备好了吗?各位开发者,各位朋友,可以预见的是——在应用程序开发中使用大型语言模型(LLM)将是…

苹果研究将 LLM 存储在 NAND 以减少 RAM 使用

为了发展自家生成式 AI,苹果一直在测试大型语言模型 LLM,但苹果同时要思考的是,要如何将 LLM 塞进手机与笔记本电脑。现在有消息称,LLM 对 CPU 与记忆体资源负载太重,…

Prompt flow 构建高质量的 LLM 应用程序

Prompt flow 是一套开发工具,旨在简化基于 LLM 的人工智能应用程序的端到端开发周期,从构思、原型设计、测试、评估到生产部署和监控。它使即时工程变得更加容易,并使你能够…

新技术 LINT 可强制 LLM 回答有毒问题

美国普渡大学(Purdue University)的研究人员发布了,一篇名为《Make Them Spill the Beans! Coercive Knowledge Extra…

加载更多