封仲淹、章文嵩、曹伟、周新宇共话企业成本难题 | LLMs时代下的数据管理革新与降本增效

活动视频回放链接:OceanBase 社区

3 月 16 日,OceanBase、KubeBlocks 和 AutoMQ 共同组织了主题为《LLMs 时代下企业数据管理和降本增效之路》的线下沙龙。四位业内知名技术专家深度剖析了当前 LLMs 背景下企业在数据管理方面面临的挑战及应对策略,并探讨成本控制和效能提升的有效手段。他们分别是:

  • AutoMQ 联合创始人 & CSO,Linux LVS 创始人章文嵩博士

  • OceanBase 开源生态资深技术总监封仲淹

  • 云猿生数据创始人 & CEO 曹伟

  • AutoMQ 联合创始人 & CTO 周新宇

四位嘉宾在现场分享了一系列宝贵的实践经验与技术革新的解决方案,以下为活动精彩内容。

大模型时代云原生 Infra Service 的机会


AutoMQ 联合创始人 & CSO,Linux LVS 创始人章文嵩博士深度剖析了大模型时代下云原生基础设施服务(Infra Services)所带来的重大机遇。他讲解了如何借助云原生基础设施来提升企业利用 ChatGPT 这类大模型技术的效率,以此来有效减低成本、提高业务效能。同时,他还指出了 AIGC 应用如 ChatGPT 所展现的广阔前景,以及如何得到包括“Magnificent 7”在内的科技巨头的全面采纳和受益。

2023 年可以说是 AIGC 技术发展的一个转折点,标志着我们正在共同经历一个创新与期望携手同行的时代。ChatGPT 等生成型 AI 技术的兴起,不仅预示着社会向第四次科技革命迈进,而且还揭示了多模态大模型技术在 AIGC 领域广泛应用的巨大潜力,以及开源项目增加背后的合作精神。然而,在这个充满机遇的时代,AI 创业公司在将 AIGC 实现落地应用的过程中,仍面临众多挑战,特别是在构建一个高效的 AI 工程团队方面——人才紧缺和成本压力成为显著的障碍。

章博士在演讲中特别强调了 AI 成功落地的三大支柱:人才、数据和算力,以及如何解决 AI 创业生态当前所面对的问题。AI Infrastructure Services 以解决方案之姿登场,极大提升了 AI 创业公司的开发效率,提供了一站式的 AI 训练和推理 PaaS 平台,使之成为企业升级 AI 能力的强大辅助。

章博士还指出了云原生 AI Infrastructure Services 基于云计算所带来的创新思路和战略概念,以及如何推进效率和成本的优化。以 AutoMQ 第一款真正云原生的 MQ 引擎为例,为了满足大家在云存储层面上,所追求的低成本、高吞吐、低延迟和无限容量的期望,以及应对传统服务无法满足这些需求的挑战,他们采用了创新的 S3 和 EBS 相结合的 S3Stream 流存储库,在提升资源有效性的同时优化了成本效益。在计算与存储成本方面,章博士分享了通过云服务降低成本的策略,例如使用 Spot 实例的无状态服务节点架构和选择 EBS 作为 WAL 等,他还强调了 Serverless 思想在实现按需弹性伸缩中的应用。

在章博士的演讲尾声中,他分享了自己的独到见解:

  • 大模型 AI 所展现的巨大潜力,已经激发了公众的极大兴趣,促使人们急切地希望将 AI 技术应用到各个行业之中。在降低 AI 应用的工程难度,同时通过降本增效,加速 AI 技术在各个领域的普及率。

  • 云基础设施是应对多种实际需求演化出来的高性价比的计算与存储服务。大部分 IT 系统十年内都会上云。

  • Infra Services 应该架设云基础设施之上,重用云服务来构建数据基础设施和 AI 基础设施服务。

  • 依托云基础设施来发展云原生软件是最经济、高效的方法。正如生物世界通过简单的 DNA 构建起复杂而灵活的生命系统,软件也应该遵循这一自然原则,利用高性价比的基础构件,打造出既庞大又多层次的复杂软件生态系统。

  • 云原生 Infra Services 具有天生的多云特性,这使得它们能够轻松拓展至国际市场,提供服务于全球。

通过章博士的分享,坚信云原生 AI Infrastructure Services 将作为推动行业进步的强劲引擎,带领我们进入新时代的门槛,让创新和智能的力量涌向世界各个角落。随着这项服务的进化和改进,人类将拥抱一个更加智能、高效和互联的世界。

LLMs 时代下 OceanBase 降本增效实践之路


在当前云原生时代背景下,OceanBase 开源生态资深技术总监封仲淹剖析了技术风潮如何深刻改变人们对数据库的理解与期待。身处行业变革前沿,他强调未来的数据库定义应当紧密呼应几个关键性的行业趋势。

首先,开源已崛起为一股不可逆转的强大潮流,正如 Marc Andreessen 所洞察:“Software is eating the world, Open source is eating the software. ”它不仅引领技术创新加速,更是未来数据库发展的基石,瓦解信息壁垒,推动共享与协作创新,促进数据库技术高速演进。

其次,云原生理念正逐渐成为业界的新标准,其核心思想是系统与应用程序的设计必须优先考虑云环境的需求。随着技术边界的日益模糊,不同系统与应用之间的深度融合变得至关重要,这一趋势预示着未来的数据库将是以开源为基础,具备多维融合特性的云原生数据库。

云原生数据库作为先进云端技术,以高性价比、易用与快速迭代优势,在数字化时代扮演关键角色。其弹性架构确保灵活部署、高效运作并降低成本。资源优化和自动化运维是核心特性。未来数据库发展应紧跟技术潮流,深度融合云环境,利用云计算的扩展性和自动化能力,有效应对复杂业务挑战,展现卓越的数据处理效能。

OceanBase 数据库正是这一理念的典型代表。通过技术创新和管理策略优化,OceanBase 充分展示了其降低成本、提升效率的潜力。

  • 它以极致的弹性著称,采用单机与分布式一体化架构设计,实现从单机到分布式系统的平滑扩展,尤其在提供弹性扩缩容能力和自动数据复制同步方面表现出色。

  • OceanBase 运用 LSM-Tree 存储管理策略和资源池化战略,在多租户环境中显著节省了成本。

  • 精准选择压缩算法,在保证高效压缩比节省存储成本的同时,确保解压速度与查询性能同步提升,实现对查询性能的优化。

  • 作为全球唯一在事务处理和数据分析领域曾经登顶世界第一的自研数据库,OceanBase 的高性能表现得到了有力验证。

  • OceanBase 已成功助力超过 1000 家客户完成了关键业务系统的转型升级,不仅在国内市场稳扎稳打,影响力更是逐渐辐射全球。

  • 其创新的 OBServer 节点设计、高效的向量化索引技术,以及丰富多元的应用实践案例,均彰显了 OceanBase 在数据库领域的影响力。

同时,OceanBase 推出了新一代 4.x 系列产品,预示着企业应用分布式数据库将步入“零门槛”的全新阶段。该系列产品的单机分布式一体化架构设计,使得强大复杂的数据库功能能够在小型设备上顺畅运行,体现了硬件兼容性与软件灵活性的前沿水平。

OceanBase 正以前沿的视野,通过其新一代 4.x 产品引领行业潮流,重新定义企业级分布式数据库的边界,伴随企业用户走过初创期、成长期直至成熟期的全周期数据旅程,为企业的数据管理需求提供强有力的支持。

KubeBlocks:用可编程 API 把所有数据库运行到 K8s 上


云猿生数据创始人 & CEO 曹伟基于过去在阿里云数据库十余年的经验,认为企业急需一种统一、可预测、且经济高效的云原生数据基础设施控制平台,以应对现有传统数据库基础设施中存在的烟囱式架构、体验不一致以及高昂的扩展成本问题。理想的解决方案应当利用 K8s 的优势,适应多云环境,并兼容多种数据库引擎。

基于这一需求,曹伟提出了构建一个抽象化的 API,使得各类数据库能够无缝集成至 K8s 中,从而实现一体化的管理和运维。这样,现代企业对灵活、易用和可扩展的云原生数据平台的需求得以满足。为此 KubeBlocks 应运而生,使复杂的分布式数据库拓扑结构变得统一且易于管理。

  • 可扩展:KubeBlocks API 能够轻松接入多种数据库系统,包括但不限于 OceanBase、PolarDB-X、StarRocks、Kafka 以及 Pulsar,对于每种数据库,KubeBlocks 实现精准映射并保证内部机制的无缝链接。借助 addon 扩展机制,快速集成各类数据库服务,保持一致用户体验和运维行为,有力支撑企业数据库服务持续演进和扩展。

  • 易操作:通过编写 YAML 格式的低代码插件实现,利用 ClusterDefinition 和 ComponentDefinition API 来详细描述数据库集群和组件的配置。

  • 高效率:引入标准化的 Replicated State Machine 和 Instance 概念,以优化分布式数据库在 K8s 的支持。这些模块代替传统的 StatefulSet,简化从 OceanBase 到 Pulsar 等数据库系统的部署和运维,有效提升了 DevOps 工作效率。

  • API 分层管理:Kubeblocks API 分层设计,更好地管理 Cluster、Component 等不同层级对应的拓扑关关系及功能。

  • 自定义:可通过 Actions API 自定义 KubeBlocks 操作 Component 时的行为,如生命周期管理、高可用策略部署、权限控制、动态配置调整、数据同步及访问模式设置。

  • 可组装:KubeBlocks 允许在 K8s 上灵活组装如 Redis 等数据基础设施,为企业提供一站式的 DBPaaS 解决方案。

  • 高可用性:支持多种数据库的高可用集群配置,如 MySQL 的 Raft 协议三节点复制,保障数据可靠性。

KubeBlocks 项目已经成功实现了对多达 33 种数据库引擎的全面支持,得益于来自广泛的外部开源社区和众多公司开发者的积极参与和贡献。这一成就显著增强了其在多数据库管理场景下的适应性和灵活性,使得用户能够在 Kubernetes 环境中更加便捷高效地部署及管理各种类型的数据存储服务。

大数据降本利器:AutoMQ 基于云原生重新设计的 Kafka


在数字化进程的洪流中,Apache Kafka 已在大数据处理及流计算领域稳居核心地位,成为行业内公认的标准。随着众多企业将其应用于线上业务的消息传输,Kafka 已成为企业数字化转型中不可或缺的关键元素。

尽管如此,Apache Kafka 的应用也暴露出一些挑战,如云服务费用的不可预估性、扩容缩容的复杂操作、冷读取时对IOPS和网络带宽的大量占用,以及多租户环境下出现的“近邻干扰”问题。

针对这些问题,AutoMQ 联合创始人&CTO 周新宇分享了他们的解决方案——AutoMQ,即构建了一种云原生架构设计,旨在充分利用云计算的弹性特性。该设计的核心策略包括:全面利用 S3 存储以减少数据存储成本,广泛采用 Spot 实例以降低成本支出,同时充分利用 EBS 的持久性和灾难恢复功能。

AutoMQ 的核心技术在于:

  • 基于 S3 的流存储系统,充分利用云存储的高可用性和可靠性,无需进行数据复制,从而实现高达90%的存储成本削减。

  • 结合无状态计算方式与 Spot 实例使用,实现存算分离的高效应用模式,使得状态能够迅速转移,仅需数秒即可完成分区迁移,极大程度地降低了运维成本,并使得计算成本下降 70%。

  • 通过 API 接口灵活扩展云资源,深度发掘云服务的规模化潜能。这种设计允许我们实现无限的容量扩展并按照实际需求付费,整体成本节约可达 40% 至 60%。

  • 基于 S3 的流存储库——S3 Stream,配合 Delta WAL 系统,有力保证了 WAL 存储的高可用性。

总结来说,AutoMQ 通过深度整合云原生技术和对 Kafka 架构进行创新重塑,成功实现了高达十倍的成本优化。

通过本次专题活动,参会者们得以深度探究大数据及云原生 Infra Services 所带来的崭新机遇,全面洞悉实现降本增效的核心技术要点,并对云原生架构的实际应用及其显著优势形成了更为透彻的理解。活动的成功举办,得益于章文嵩、封仲淹、曹伟、周新宇等专家富有洞察力和实践性的精彩演讲,以及所有参与者的热情支持。

接下来,我们将持续组织类似高质量的交流活动,进一步拓宽技术领域的知识视野,共享实战经验。在此,我们再度向所有慷慨贡献智慧的讲师以及积极参与互动的与会者表达诚挚的谢意,并热切期待在不久的将来,在下一场盛会中与大家再次携手共进,共享科技智慧的新篇章!

OceanBase 定期在线上、线下举办技术交流活动,为数据库技术和开源爱好者提供一个自由学习、交流的平台。无论你对分布式技术、数据库技术感兴趣,还是作为开源爱好者,都欢迎你参与活动,和大家交流技术。

同时,欢迎大家加入社区,提交问题和建议,一起共建开源项目。Building connectly first!Learning as belonging!

1 个赞