全部语种
分享
原文来源:光锥智能
图片来源:由无界 AI生成
在决定做向量数据库之前,腾讯云也纠结过。
“是选择走RAG(检索增强生成)技术路线,还是做向量数据库”,“向量数据库会不会被大模型所替代”,“向量数据库究竟有没有未来”……
4月份,就连OpenAI也没有做出选择,同时在RAG和向量数据库两个方向进行探索。
一个多月深入行业调研过后,腾讯云发现,从向量化到部署,企业在构建向量数据库过程中困难重重。
大模型公司百川智能相关负责人表示,在没有向量数据库之前,我们用的是一些开源工具。比如向量索引,它作为内核是可以用的,但是一旦当数据量到达一定规模后,牵扯到分布式数据、分布式系统的问题,就会遇到瓶颈。
“做!市场有需求,集团内部有诉求,为什么不做?”,腾讯云向量数据库产品负责人邹鹏给出了肯定的建议。
5月立项,8月正式上云提供服务,11月功能升级,腾讯云向量数据库行驶在了快车道上。
技术无好坏,只有路径选择之分,能不能真正用起来还得等待市场的检验。但现在,更为重要的是,站在分岔路口,有没有坚定落子的勇气。
大模型时代,云厂商不仅仅是MaaS服务的提供商,更是基础设施的构建者。
要想让大模型真正用起来,仅有算法、算力还远远不够,必须有高效、低成本的数据使用方法。
“AGI时代,也需要智能化的数据调度范式,向量数据库就是数据的中枢”,腾讯云数据库副总经理罗云道。
但要成为一个坚实的底座,并不容易。国产大模型飞奔了一年,仍然以修炼内功为主。
大模型应用到现在不能完全落地,一个重要的原因是,大模型能力虽然已经获得了突飞猛进的增长,但关于数据的技术还停留在原地。
而这种滞后和空缺,对国内厂商来说也是巨大的机会。无论从大模型的行业应用,还是未来Agent构建与落地都在倒逼着数据技术的进一步升级和产品化落地。
“记忆、幻觉、新鲜度和数据安全”,大模型在实际落地的时候,还存在着四大主要问题。
要想解决这四大问题,需要数据的优化与模型精调一起进行,这时候,海量的数据如何存储?如何调取?就成为一大难题。
罗云认为,“计算和存储一定是分开的。大模型是计算引擎,改变的是计算方式,存储需要其他产品来做,我们认为是向量数据库”。
这好比大模型是计算器,向量数据库是账本,一个会计先拿计算器算账,再拿账本誊抄记录。
向量数据库+大模型,两者就是“最佳拍档”。
向量数据库本身就是大模型的“外脑”,大模型有上下文token的限制,虽然擅长推理和内容生成,但是缺乏长期的记忆能力。外接向量数据后,大模型就有了记忆,能够记住用户对话的历史内容,还能越过多轮对话进行分析、推理。
在大模型存在“幻觉”上几乎已经达成了共识,尽管大模型通过预训练积累了大量的知识,但还远远不够,面对一些细分领域的问题仍然严重不足。有了向量数据,大模型就能瞬间被灌输各种专业知识,划定问题答案的范围。
大模型对数据的更新速度也相当滞后,GPT-4 Turbo也只更新到了2023年4月,而有了向量数据库,大模型就联上了网,可以随时更新动态。
数据安全是企业最看重的事情,对企业来说,根本无法放心把核心的经营数据、合同文件等机密上传到大模型上。但是,通过向量数据库的方式,企业就可以完成本地化部署,大模型仅发挥分析处理的功能,而不会上传、备份数据。
解决大模型问题的方法有很多,除了外挂向量数据库,还存在大模型微调、使用RAG技术等做法。
大模型微调方式好比供一个孩子从小学念到大学甚至研究生;向量数据库就像开卷考试,大模型完全不需要学习理解,只要能写出答案就行;RAG则是更往下落地的场景,需要结合向量数据库才能发挥作用。
其中差别,高下立见,比起大模型微调、RAG,向量数据库显然速度更快,成本也更低。
更进一步来看,基于大模型底层能力去打造AI原生应用和构建AI Agent,同样离不开向量数据库。
正如销售易所言:“有了向量数据库,就等于先把企业的数据库、支持文档存在向量数据库里做优先预处理,解锁完成后再和大模型结合回答用户的问题。在这个基础下,企业的应用才能做出,相当于向量数据库是企业级应用数据的根基。”
向量数据库并不是一个新鲜事,但问题在于,如何把海量非结构化的数据,让大模型真正用起来?
向量数据库有两层含义,首先是“向量”,其次是“数据库”。
罗云认为,“向量”是AGI时代的“中间数据格式”,“通过向量可以抹平不同数据格式之间的差异,既可以把图片、视频转换成向量,也可以把历史积累的数据利用起来,在AGI时代怎么快速识别信息、数据,也要靠向量”。
如果说向量是中间过程,那么数据库才是归宿,有了存储、调用数据的地方才能用起来。
“大模型+向量数据库”的运作过程是这样的:先把长文档进行拆分,各个片段进行向量化,作为储备知识存储在向量数据库中;当用户发生提问,提问内容又会二次向量化,在向量数据库中进行相似性检索,找到答案后,再由大模型输出文本。这过程中存在最大的难点就是,如何减少信息的损耗,以及提升召回率。
罗马不是一天建成的,向量数据库也是,现在腾讯云向量数据库经历了底座建立-内部搜推广业务应用-产品上云开放-迭代升级几个阶段。
据邹鹏介绍,腾讯云向量数据库的内核底座早在2019年已经成型,广泛应用与搜索、推荐、广告相关业务,涉及QQ浏览器、腾讯视频、腾讯新闻、腾讯地图等多个应用。
也就是说,直到2023年5月,腾讯云决定正式立项前,向量数据库已经在内部各个BG上跑了四年,这也是只花了三个月时间,就能上线和对外提供服务的原因之一。
正是基于向量化和数据库方面累积的经验,腾讯云才能直接上线企业级的向量数据库。
在企业级能力方面,自7月份正式发布以来,腾讯云向量数据库经过多次迭代升级,最高支持千亿级向量规模和500万QPS峰值能力,可用性达99.99%,相同内存可以存储5-10倍的数据。
高性能、低成本,形成了腾讯云向量数据库在行业中的竞争力。性能方面,无论是128维度还是768维度,腾讯云向量数据库的QPS峰值能力都远高于行业平均水平,其中128维度领先行业平均水平四倍以上,768维度也有两倍以上的优势;但具体到单QPS成本方面,腾讯云向量数据库又把价格做到了普惠,128维度的单QPS成本只有行业的七分之一,768维度只有行业的四分之一。
同时,作为一款AI原生数据库,从接入层、计算层、到存储层都进行了智能化的升级,核心是能够让企业用自然语言与数据产生互动。
针对信息损耗和召回的痛点,腾讯云推出了国内首个端到端的向量数据库解决方案,将端到端召回率提高30%,并且缩短了数据接入AI的时间。
向量化、封装为数据库固然重要,但要继续将其打造成一个产品化的向量数据库,对很多厂商提出了挑战。相比于新兴的数据库厂商,大厂显然在产品化方面更为老练。
腾讯一直坚持的产品思路是“即开即用”,一站式产品化也自然成为做向量数据库的解决思路。
罗云团队在调研中发现,企业很急迫,但根本不知道什么样数据可以向量化,如何向量化存储,如何使用向量数据库以及如何与大模型相结合。
“最大的痛点在于,如何打通企业的行业know how,和AI的整个技术栈”,罗云表示。
向量数据库发挥功能也不是一蹴而就的,客户的数据加工流程非常复杂,要解决分段、向量化、二次向量化等各种问题。
基于此,腾讯云的端到端向量数据库解决方案中,包含了文本智能化分割、选择向量化模型、帮助客户建立索引、智能化排序、数据接入全流程的服务。利用腾讯云的AI智能化套件,仅用100行代码就可快速搭建起一个企业级的本地知识库。
百川智能表示:“向量数据库是一站式的端到端的一套完整技术栈。第一块就是帮助数据分片,我们每天的数据量大约是2亿,在没有腾讯云向量数据库之前,处理会比较慢,因为不是一个并发的任务,必须只能单线程序去做。第二块像数据导入、数据批量更新,速度也快了很多。”
“通过全过程的介入,不仅解决企业有的问题,更保证了向量数据库使用的效果”,邹鹏这样总结一站式的优势。
尽管向量数据库发展仍在很早期,落地过程仍有很多问题,离大规模复制也很远,但腾讯云做了更深层次的思考,将其摆在了战略发展地位。
罗云表示:“从编程语言到自然语言,大模型重塑了算力调度方式。而AGI时代,也需要智能化的数据调度范式,AGI时代的数据平台,向量数据库就是数据的中枢,腾讯云向量数据库希望成为这个数据中枢,通过企业级和智能化的能力助力各行各业一起走向AGI。”
相对应地,OpenAI开发者大会引入了Assistants的新概念,取消了一部分纯向量数据库的应用,再次强化了RAG的路线。
无论是向量数据库、微调、RAG,任何一种技术路径想要成为主流,多数情况下并不在于纯技术能力有多强,而是在于最后有多少人在使用它。毕竟,场景才是技术最锋利的磨刀石。
不过,在具体使用过程中,向量数据库作为一个相对新的数据使用范式,也存在很多问题:成本高昂、标准不统一等。
既然有战略决心,想要在向量数据库方面布局,腾讯也下了不少功夫解决实际问题。
在价格方面,相比于国外微软等公司从向量化环节就按美分收费,腾讯云凭一己之力就将整体企业使用成本打了下来;时间效率方面,腾讯云实现了企业数据接入的一体化,从文本切分、向量化到导入,效率提升了10倍。
另外,腾讯云也在利用大厂的影响力,让更多的企业用好向量数据库。据悉,目前腾讯云向量数据库已经累积服务了腾讯内部40多个业务,日请求量达1600亿次,服务了包括博世、销售易、搜狐、好未来、链家等在内的超过1000家外部客户。
例如,在SaaS领域,帮助企业客户快速构建私域知识库、智能客服系统;在电商行业,使用向量数据库来提升推荐、搜索、广告业务的推荐效果;在出行行业,使用向量数据库来加速自动驾驶模型训练,此外,在教育行业以及文创等行业也有广泛应用。
销售易表示:“未来,基于与腾讯云向量数据库的合作,将重塑现有的一些核心场景,如销售管理系统上的内部知识检索,还有潜在客户的推荐和建日程、订单或查询CRM系统,搭建客户机器人和智能工单系统。后续,还想把PaaS平台通过智能的方式去帮助企业按需生成应用平台。”
大模型+向量数据库,将为AGI 时代的应用落地铺设一条数据的高速公路。