3 月 16 日，AutoMQ 携手 OceanBase 开源社区、KubeBlocks 举行的《LLMs 时代下企业数据管理与降本增效之路》主题 meetup 顺利落幕。活动邀请了 AutoMQ 联合创始人 & CSO、Linux LVS 创始人 章文嵩，AutoMQ 联合创始人 & CTO、Apache RocketMQ 联合创始人 & PMC Member 周新宇，OceanBase 开源生态资深技术总监 封仲淹，云猿生数据创始人 & CEO 曹伟，共同分享在大数据时代下对数据基础设施管理的深入见解。
本次主题活动现场氛围热烈，吸引了众多技术爱好者积极参与，下面让我们一起回顾本次活动的精彩看点。
01 大模型时代云原生 Infra Service 的机会
AutoMQ 联合创始人 & CSO、Linux LVS 创始人 章文嵩 老师从行业的角度切入，带来了主题为《大模型时代云原生 Infra Services 的机会》，他主要表达了以下几个核心观点。
大模型并不会取代基础设施服务，而是需要其支撑
结合自身在基础设施软件领域的经验，章文嵩老师指出 ，尽管 AIGC 新范式催生了新的基础设施需求，但仍需要复用相关人才的经验和公共的硬件基础设施来提升工程效率。AI Infra Services 的兴起使得 AI 创业公司能够更专注于模型和数据处理，极大地提升了整个 AI 创业生态的运作效率。
云基础设施是应对实际需求演化出来，针对各种类型需求演化出多种类型的高性价比的计算与存储服务，大部分 IT 系统十年内都会上云
章文嵩老师解释了云的本质是资源聚合和复用，通过举例说明云服务实现超卖，为客户节省成本，同时也为云厂商创造价值；云厂商业务核心是提高资源复用率，通过不断提高复用率实现利润最大化。他举例进一步说明云服务的优势在于资金密集性和技术密集性，规模越大、资源复用效果越好，并通过对比国内云厂商数据与国外云厂商增长率及国内云渗透率比例，分析中国云市场的潜力巨大，预计未来云市场渗透率将持续增长。他也介绍了计算服务和存储服务的种类和优化，以及如何根据需求选择合适的存储类型。
重用云基础设施，发展云原生软件，这是最经济的
章文嵩老师以 Snowflake 为例。说明了云原生技术的成功应用，通过建立在云上的数据仓库实现了客户花费的持续增长。他认为云原生软件实现了重构机会，云原生架构通过存算分离，避免了传统分布式系统中的一些性能瓶颈和复杂性。许多涉及计算和存储的软件，包括数据库在内，都需要进行重构，以更好地利用云上的存储服务如对象存储和 EBS。并以 AutoMQ 举例，在云原生背景下，AutoMQ 通过将传统的消息队列如 Kafka 和 RocketMQ 的存储引擎替换为云原生存储引擎，成为首款真正意义上的云原生 MQ 引擎。
AI Infrastructure Services 应该架设在云基础设施之上，尽可能使用云服务来构建
章文嵩老师认为AI技术在今日世界的广泛应用，得益于开源模型和工具降低了AI领域的门槛，使用户能够轻松地部署和使用AI模型。与此同时，云计算基础设施的重要性也愈发凸显。云计算提供了灵活性和性能优势，使得AI基础设施服务化成为可能，从而降低成本、提高效率，并实现弹性扩展。在云计算环境下，灵活利用云资源显得至关重要，可以通过及时释放闲置资源和根据负载情况调整资源，最大程度地降低成本。此外，通过对软件架构的重构和优化，能够提高软件的稳定性与多样性，实现更高效、更稳定的服务。
02 大数据降本利器：AutoMQ 基于云原生重新设计的 Kafka
AutoMQ 联合创始人 & CTO、Apache RocketMQ 联合创始人 & PMC Member 周新宇 老师先他首先表达了对云原生的定义，他认为云原生不仅仅是将应用程序迁移到云端，而是基于云环境重新设计应用程序，使其能够充分利用云的能力和优势。结合主题，他讲解了 Kafka 在大数据生态系统中的生态位和痛点，AutoMQ 基于云原生重新设计的 Kafka， 数据库与 Kafka 结合 CDC 应用场景等内容。
Kafka 在大数据生态系统中的生态位和痛点
Kafka 被认为是大数据领域的标准，在日志、监控、微服务等方面有广泛的应用，近期更被视为新一代数据湖的架构。但在云原生时代面临着一些挑战，比如云账单失控、扩缩容复杂度高、冷读抢占 IOPS 和网络带宽、多租户带来的“近邻干扰”等问题。随着云环境的发展，充分利用云的弹性和按需资源解决传统 Kafka 架构中存在的问题成为可能。云服务发展逐渐从 Cloud-Hosted 到 Multicloud-Native 即过去简单的云托管服务将被淘汰，取而代之的是更加原生化、多云适配的服务，以更好地满足不同业务的需求。云原生在席卷各个领域，所有的基础软件都值得基于云原生重新设计。
AutoMQ 基于云原生重新设计的 Kafka ，带来高达10倍的成本优势和百倍的弹性效率提升
周新宇老师讲解了 AutoMQ 的云原生架构设计理念：利用云的规模化和弹性优势，尽可能发挥弹性能力；将数据尽可能放置在成本最低的存储介质S3上，以降低存储成本；充分利用EBS的持久性和容灾能力，避免在应用层引入额外的复制成本和复杂度；设计存算分离的架构，实现计算节点的无状态化，使用 spot 实例以节约成本。
AutoMQ 整体设计架构首先通过 S3 Stream，将存储分离到云厂商，在保持整体架构不变的同时实现存储成本的降低。因为几乎无状态的云原生存储，计算节点可以充分利用 Serverless 技术按需使用计算资源，同时能撬动 Spot 实例带来的进一步降本。再利用S3存储的共享特性，设计更多的产品化能力。周新宇老师也详细介绍了 S3 Stream、Delta WAL 组件的技术原理。AutoMQ 创新的云原生架构具有存储成本10倍的成本优化，百倍的弹性效率提升，100%兼容性认证等优势，
AutoMQ 提供商业化版本，支持部署到主流云厂商，同时免运维且能够提供全托管的服务，保障用户的数据主权。
数据库与 Kafka 结合 CDC 应用场景
针对数据库等应用场景，通过实现 CDC（捕获数据变更）功能，可以将数据库的 binlog 订阅到 Kafka，支持更多的业务场景，例如数据同步、缓存、搜索等，拓展了应用领域。
03 LLMs 时代下 OceanBase 降本增效实践之路
OceanBase 开源生态的资深技术总监 封仲淹 老师以“未来的数据库应该是怎样？”这一问题为切入点，剖析了技术风潮如何深刻地改变我们对数据库的理解与期待。身处行业变革前沿，他表达了未来的数据库定义应当紧密呼应几个关键性的行业趋势。
开源已崛起为一股不可逆转的强大潮流，正如 Marc Andreessen 所洞察：“Software is eating the world， Open source is eating the software。”它不仅引领技术创新加速，更是未来数据库发展的基石，瓦解信息壁垒，推动共享与协作创新，促进数据库技术高速演进。
云原生理念正逐渐成为业界的新标准，其核心思想是系统与应用程序的设计必须优先考虑云环境的需求。随着技术边界的日益模糊，不同系统与应用之间的深度融合变得至关重要，这一趋势预示着未来的数据库将是以开源为基础，具备多维融合特性的云原生数据库。
云原生数据库作为先进云端技术，以高性价比、易用与快速迭代优势，在数字化时代扮演关键角色。其弹性架构确保灵活部署、高效运作并降低成本。资源优化和自动化运维是核心特性。未来数据库发展应紧跟技术潮流，深度融合云环境，利用云计算的扩展性和自动化能力，有效应对复杂业务挑战，展现卓越的数据处理效能。
OceanBase 数据库正是这一理念的典型代表。通过技术创新和管理策略优化，OceanBase 充分展示了其降低成本、提升效率的潜力。同时，OceanBase 推出了新一代 4.x 系列产品，预示着企业应用分布式数据库将步入“零门槛”的全新阶段。该系列产品的单机分布式一体化架构设计，使得强大复杂的数据库功能能够在小型设备上顺畅运行，体现了硬件兼容性与软件灵活性的前沿水平。
04 KubeBlocks：用可编程 API 将所有数据库运行在 K8s 上
云猿生数据创始人 & CEO 曹伟 老师基于过去在阿里云数据库十余年的经验，认为随着业务增长的需求，传统的数据基础设施控制面采用烟囱式架构，已经无法满足企业的要求。而且这种架构导致了体验不一致、系统预期行为不一致、引入新引擎的成本高等问题。在当前云原生和 K8s 成为主流趋势的背景下，企业纷纷选择云原生解决方案，以应对传统数据基础设施架构带来的问题。这也对云原生基础设施控制面提出了更高的要求，包括支持多云环境、K8s 原生、支持多种数据库引擎等。结合行业经验，曹伟提出可通过抽象和可编程 API 实现对多种数据库的统一管理。他结合 KubeBlocks 的设计，总结了云原生时代下数据库的解决方案：
- 观察各种分布式数据库的共性；
- 抽象：KubeBlocks API 对分布式数据库的拓扑进行抽象，将 KubeBlocks API 映射到数据库；
- 扩展：通过可编程 API 定义不同数据库的差异，使用低代码插件扩展新引擎；
- 分层：使用不同层次的 KubeBlocks API 定义不同的用途，如 Cluster、Component、Replicated State Machine、Instance；
- 自定义行为：通过 Actions API 定义 KubeBlocks 操作 Component 时的行为，更好地管理各类运维操作；
- 组装：像搭乐高积木一样标准与高效的在 K8s 上组装数据库基础设施，通过 Component 灵活组装数据库引擎的多种部署形态。
KubeBlocks 现已推出 Cloud 版本，为企业在 K8s 上搭建统一管理多种数据库的 DBPaaS。KubeBlocks 在为数据库运维提供丰富的 day-2 操作的同时，也支持多种数据库的高可用集群配置、备份恢复、可观测性、告警等功能。此外，KubeBlocks 还具有多引擎统一管理、可扩展性、标准化和易用性等优势。通过使用 KubeBlocks，企业可以在基础设施方面简化运维操作、降低开发成本并提高效率。
资源分享
• 活动直播录屏在B站和视频号发布，详情请点击查看
END
关于我们
我们来自 Apache RocketMQ 和 Linux LVS 项目的核心团队，曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念，重新设计并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的成本优势和百倍的弹性效率提升。
关注我们，一起学习更多云原生技术干货！
