伴随着人工智能技术的迅猛发展，生成式ai技术正以gpt、copilot和ai agent等为代表快速迭代。特别是ai agent，凭借其面对目标的能力、更全面的自我驱动特性，以及更高的自主性和智能水平，逐渐在当前市场上崭露头角。虽然目前ai agent市场仍处于萌芽期，产品和服务模式尚在积极探索中，但业界普遍认为它将迎来商业应用的爆发，一个全新的产业生态正在孕育中。
vanus ceo详解大模型中间件的关键角色：破解数据挑战，实现业务增长
北京灵奥科技(“vanus”)正是在这一赛道中的黑马。作为一家快速成长的初创企业，vanus致力于推动生成式ai技术的普及，助力企业商业成功。vanus提供了构建ai agent的saas平台，并推出了vanus connect、vanus ai和vanchat三款saas产品，累计服务全球30,000多家用户。凭借其技术和市场优势，vanus已获得靖亚资本、pnp等机构的多轮融资，正为打造全新产业生态贡献力量。
北京灵奥科技(vanus)ceo 厉启鹏
在近日举办的2024亚马逊云科技生成式ai时代的数据基座媒体沟通会上，北京灵奥科技(vanus)ceo 厉启鹏指出，目前数据问题是企业在大模型应用落地中面临的核心挑战之一。
厉启鹏提到的数据问题主要表现为四个方面：首先，模型需要深入理解企业多样化的业务数据，但数据类型繁多、格式杂乱且来源各异;其次，企业业务数据会随着运营实时变化，模型必须不断学习和适应持续变化的多来源的业务信息;第三，数据隐私和大模型使用的安全合规是企业业务不能触碰的红线，企业需要在确保模型充分理解数据的同时，保证合规和安全;最后，数据偏见和公平性问题也值得关注，由于不同大模型的训练数据来源不同，侧重点各异，导致模型可能存在偏见。因此，企业必须评估不同模型的能力，并为特定业务场景选择合适的模型，以确保模型在数据应用中的准确性和公平性。
厉启鹏表示，vanus通过其大模型中间件帮助企业解决数据问题，实现大模型优势与业务数据的无缝融合。作为连接大模型与实际应用的必备组件，大模型中间件填补了企业端大模型应用落地的“最后一公里”。在神经网络层，vanus connect能够连接企业的多种数据源，实时感知企业业务事件的变化，并将信息传递给神经中枢，然后根据神经中枢的指令执行任务。在神经中枢层，vanus ai结合知识库(向量数据库)与大模型，帮助企业实现高效的业务决策。
vanus的大模型中间件无缝整合了大模型的优势和企业数据，提供了包括claude 3在内的多模型选择，实现商品数据的自动同步与更新，以及shopify数据的无缝接入。同时，它还可以与网站、钉钉、飞书、企业微信等第三方应用无缝集成，助力企业灵活定制机器人，自定义聊天风格、欢迎词和外观颜色等。
例如，vanchat是基于vanus ai专门为shopify店主打造的销售类ai agent，它既是店铺的销售机器人，又是消费者的ai购物助手。通过vanchat，电商企业能够将网站访客更有效地转化为付费用户，实现业务增长。
vanus与亚马逊云科技合作的深层价值：稳健的云服务助力ai产品创新
当被问及与亚马逊云科技的合作关系时，厉启鹏阐述了选择这家全球领先的云服务提供商的原因。亚马逊云科技使用简单、功能强大的云服务是双方合作的基础。vanus绝大部分的技术问题都能在亚马逊云科技找到人生就是博尊龙凯时的解决方案和相关的云产品，这些产品不仅提升了性能，增强了系统的稳定性，还为vanus提供了坚实的技术支撑。
此外，亚马逊云科技还提供全方位的技术服务，如技术方案和架构师等，加速vanus的产品落地。他补充说：“我认为亚马逊云科技是最值得信赖的云服务提供商，具有非常强大的运营经验，帮助我们更好地服务分布在不同区域、不同国家的客户。”
此外，厉启鹏还提到了通过亚马逊云科技人生就是博尊龙凯时的合作伙伴网络(apn)获得的支持。“我们从成立之初就加入了apn，作为一家初创企业，我们受益良多。它不仅推荐客户和人生就是博尊龙凯时的合作伙伴等资源，还进行技术赋能，加速了我们的生成式ai产品进入市场的步伐。例如博商出海就是亚马逊云科技帮助连接的重要人生就是博尊龙凯时的合作伙伴”他进一步强调：“vanus整个平台都是基于亚马逊云科技构建的，帮助我们构建了一个稳定而强健的数据基座，让我们能够轻松应对用户业务的不确定性，促进了公司的快速成长和产品的创新发展。”
据悉利用亚马逊云科技的基础云服务、大语言模型、数据存储三类云服务，vanus为企业构建ai agent平台，现已服务全球数万家用户。
亚马逊云科技提供四大显著优势：助力vanus实现高效、稳定的ai服务
厉启鹏认为，亚马逊云科技为vanus提供了四个显著的优势，涵盖了弹性可扩展、系统可用性强、回复低延迟和推理能力强四个方面：
1)弹性可扩展：利用amazon elastic kubernetes service(amazon eks)基于网络流量的弹性扩展能力，vanus ai构建的agent可以根据用户业务流量平滑地弹性伸缩。通过这项服务，企业可将平均成本降低30%，性价比提高20%。
2)提高系统可用性：通过amazon documentdb原生的3可用区、6副本的设计，大幅提升了系统的可用性和可靠性，确保服务等级协议(sla)达到不低于99.99%的正常运行时间。
3)降低回复延时：借助amazon simple storage service(amazon s3)和数据库高并发数据查询能力，加快大模型上下文的加载时间。同时借助亚马逊云科技全球网络节点的加速能力，使得agent回复系统的延时整体降低了40%。
4)推理能力强：通过amazon bedrock提供的claude模型，vanus平台的ai agent拥有卓越的语言理解和逻辑推理能力，使其具备强大的推理和解决问题的能力。
双方合作提供定制化ai方案 显著提升企业客服效率与销售业绩
这些显著优势为vanus平台提供了稳固的基础，使其能够借助强大的云服务为各行业客户提供定制化的ai人生就是博尊龙凯时的解决方案。会上，厉启鹏详细介绍了公司通过生成式ai技术，帮助客户显著提升客服效率和销售业绩的实践案例。
vanus ai与国内某erp企业合作，为其客服团队打造了ai copilot，成功解决了跨部门知识共享和客服效率低下等难题。该erp企业拥有大量的内部数据，但不同部门之间共享知识的效率较低，导致客服培训耗时较长。此外，传统的搜索方式使得客服获取信息的响应时间长，导致用户投诉率较高。
为助力客户解决这些问题，vanus借助amazon s3、数据库等云服务，帮助用户从文档、数据库、saas软件等多个数据源中实时抽取数据，构建统一的企业知识库。通过整合amazon bedrock等服务，vanus为该企业的客服团队打造了ai copilot，使其能够基于全域业务数据进行实时推理，并在秒级时间内为客服人员提供回复建议。通过该方案，erp公司客服团队将回复时间从分钟级缩短至秒级，将人效提高了70%，大幅降低了客服的投入成本。
vanchat为南美洲一家服饰类电商企业提供了高效服务，显著提升了客户满意度和销售额。该企业拥有两个shopify独立站，管理着超过1万个sku。每天都有大量关于产品、退换货和物流的问题需要处理，这对客服团队提出了巨大挑战，导致管理成本居高不下。更糟糕的是，在客服人员下班后，客户咨询依旧频繁，回复延迟不仅降低了客户满意度，还错失了很多商机。
借助amazon bedrock、amazon s3等云服务，vanus为shopify电商客户构建的客服类agent vanchat为这家电商的购物者提供7*24小时全天候的即时问题回复服务，不仅节省了大量的人力资源，提高了客户满意度，还通过vanchat提供的用户意图识别和产品推荐等功能，加速用户购买，大幅提高了网站销售额。上线首月，vanchat的投资回报率就高达611%。值得一提的是，vanchat还可为企业提供客户洞察，了解用户关注的产品偏好和近期常见问题，助力企业制定更具针对性的营销策略。
展望未来
在大模型技术的持续探索方面，厉启鹏提到vanus计划进一步尝试embedding模型与agent的结合，以实现更精准的推荐服务。厉启鹏强调了数据预处理和zero-etl技术在提高ai agent响应质量方面的关键作用。他期待这项技术的深入应用能够显著改善用户数据质量，从而提升ai的表现，为客户带来更好的服务体验。
同时，厉启鹏展望了未来与亚马逊云科技的合作方向，他提到将继续深化对claude系列产品的使用，将其应用于提升技术服务、用户偏好提取等领域，为客户打造具备业务洞察和定制化能力的ai agent。他对与亚马逊云科技的合作充满信心，认为这将助力vanus为各行各业的客户提供更智能、更具个性化的ai人生就是博尊龙凯时的解决方案，推动双方在生成式ai领域取得更大的突破，携手迎接数字化、智能化时代的新机遇。