Ray Connect 2024：汇聚全球智慧，探索分布式计算新未来 #
2024年10月19日，Ray Connect 2024大会在上海盛大召开，吸引了来自全球的顶尖专家、技术领袖和企业代表，共同探讨下一代分布式集群计算的前沿技术和应用实践。本次大会规模宏大，汇聚了超过30家知名企业和高校的100多位线下专家，线上观看人数更是突破了3000人次，成为年度最受瞩目的技术盛会之一。
嘉宾云集，群贤毕至 #
本次大会的嘉宾阵容堪称豪华，涵盖了来自全球知名互联网公司和科研机构的重量级人物。他们在各自领域都有深厚的造诣和丰富的实践经验，为大会带来了高水平的分享和深刻的洞见。
- Ahmed E. Hassan：加拿大女王大学教授，IEEE Fellow，ACM Fellow，全球软件工程领域的权威学者。他在软件分析、性能优化等方面的研究具有国际影响力。
- 姚嘉俊（线上）：Ray Core项目经理，Ray核心开发团队的重要成员，对Ray的架构设计和未来规划有独到的见解。
- Kenneth Tan：华为异构计算架构师，前英特尔首席工程师，拥有超过20年的计算架构设计经验，主导了多项异构计算项目。
- 陈泊远：博士，华为加拿大研究院异构计算软件工程专家，专注于高性能计算、并行计算和分布式系统。
- 刘晓双：博士，华为2012实验室Huawei-Ray负责人，Ray开源社区的活跃贡献者，对Ray的技术演进和生态建设有深入的理解。
- 柴勋：华为智能汽车解决方案BU技术专家，长期从事自动驾驶数据处理和算法优化工作。
- 徐波：华为云计算EI产品部技术专家，致力于云计算、人工智能和大数据技术的融合创新。
- 李志方：腾讯大数据基础架构高级研发工程师，在大数据处理、实时计算和AI融合领域有丰富的实践经验。
- 王万兴：字节跳动基础架构资深研发工程师，专注于多模态数据处理、深度学习模型优化等方向。
- 唐云：小红书实时计算引擎负责人，Apache Flink Committer，对实时流处理、大数据计算有深刻的理解。
- 俞育才：eBay AI平台架构师，致力于构建高效、可扩展的AI计算平台，推动AI技术在商业领域的应用。
- 吕召刚：阿里巴巴通义实验室应用视觉架构师，在计算机视觉、视频处理等领域有多年研究和实践。
- 赵汉宇：阿里巴巴阿里云人工智能平台PAI技术专家，专注于大规模模型的动态调度、资源优化等方面。
聚焦前沿，议题精彩纷呈 #
大会围绕Ray在分布式计算、人工智能和大数据领域的最新应用，设置了丰富的议题，涵盖了行业最前沿的技术和实践。
-
开场致辞：Ray的使命与未来 姚嘉俊代表Ray核心团队，发表了大会的开场致辞。他回顾了Ray的发展历程，强调Ray在简化分布式计算、加速AI应用落地方面的重要作用。姚嘉俊分享了Ray在稳定性、性能和易用性方面的最新改进，以及社区生态的繁荣发展。他还展望了Ray的未来，包括在大规模集群支持、调试工具增强和虚拟集群功能等方面的计划。
-
昇腾与Ray的深度融合：自动驾驶的数据处理革命
在自动驾驶领域，柴勋展示了华为的创新实践。面对海量数据处理的挑战，团队将华为的昇腾NPU与Ray平台深度结合，实现了千卡分钟级的模型部署、集群秒级弹性扩展和函数级别的精细调度。通过优化Ray Data的反压机制，利用作业分析来确定资源分配，大幅提升了NPU利用率，取得了NPU利用率提升4倍、吞吐量增长2.5倍的显著效果。这一成果为自动驾驶的数据闭环处理树立了新的标杆。
-
DATA+AI融合的探索：腾讯的分布式引擎实践
李志方分享了腾讯在DATA+AI融合场景下的技术探索。他介绍了如何利用纯Python接口的PyIceberg，与Ray平台相结合，构建分布式的数据湖仓系统。团队实现了并行处理和GPU计算，大幅降低了系统延迟和内存峰值，吞吐量提升200倍，加载时间减少26%，GPU利用率从30%提升至80%。这些突破有效解决了Python与Java数据库交互受限、异构计算调度不灵活等问题，为行业提供了宝贵的经验。
-
Ray Klein引擎：小红书的潮汐资源高效利用
面对业务资源潮汐性和CPU性能限制，唐云介绍了小红书的解决方案。他们基于Ray平台，开发了流批一体化的Ray Klein引擎，成功替代了Ray Data，实现了实时计算与批处理的融合。Ray Klein已在40多个业务场景中应用，提高了资源利用率，降低了运营成本。未来，他们计划继续优化Ray Klein的实时计算能力，并推动其在开源社区的发布。
-
Llumnix：阿里云的大模型动态调度新方案
在大规模语言模型（LLM）推理方面，赵汉宇带来了阿里云的创新方案——Llumnix。他深入分析了LLM推理中请求长度不确定、资源需求动态变化等挑战。通过实时迁移和全局调度，Llumnix实现了请求的动态调度和负载均衡，解决了显存碎片化、尾延迟高等问题。该方案利用Ray作为中间层，构建了高效的通信和调度机制，为大模型的高效推理提供了全新思路。
-
大规模多模态模型的数据处理管道构建
-
基于Ray的高可靠云服务：华为云的数智融合之道
徐波展示了华为云在数智融合时代的创新实践。他介绍了基于Ray的高可靠云服务，包括托管Ray服务和LLM推理服务。通过优化开源组件、内部昇腾AI支持和高可用性能增强，华为云为企业提供了灵活高效的云计算服务。他们的解决方案支持多种主流模型，具备按需计费、自动扩缩容和灰度升级等特性，为企业的数字化转型提供了有力支撑。
- Ray在分布式视频数据处理中的创新应用
在视频数据处理领域，吕召刚分享了阿里巴巴的实践经验。他们采用Ray平台，构建了高效的分布式视频处理系统。通过开发用户友好的Web管理界面，降低了使用门槛；采用常驻Actor设计，提高了资源利用率和任务处理效率；优化数据传输和消息队列，实现了效率提升20倍的成果。这些创新为视频数据处理提供了可借鉴的范例。
- 下一代AI计算平台的构建：eBay的实践
俞育才介绍了eBay在构建高效AI计算平台方面的探索。面对模型复杂度和计算资源需求的增加，他们通过Ray平台，统一了Python和Java的计算流程，简化了部署，提高了资源利用率。通过将预处理与Ray Serve结合，分离CPU和GPU任务，优化了系统性能。未来，eBay计划在集群服务、在线推理、日志服务和安全集成等方面持续发力，打造更完善的AI计算平台。
高峰对话：共谋分布式计算的未来 #
在圆桌讨论环节，各位嘉宾围绕“Ray大规模集群计算的挑战与机遇”展开了深入交流。
-
稳定性与可观测性的重要性 嘉宾们一致认为，在大规模集群环境下，系统的稳定性和可观测性至关重要。通过引入先进的监控工具和可视化平台，团队可以实时监测系统运行状态，提前预警潜在问题，避免故障发生。
-
扩展性与资源优化的平衡 如何在扩展集群规模的同时，保持高效的资源利用率，是一个关键挑战。嘉宾们分享了优化调度策略、采用长期运行的Actor、减少调度开销等方法，提高系统的扩展性和资源利用效率。
-
技术趋势与未来展望 大家对未来的技术趋势进行了展望，认为Mixture of Experts（MoE）模型、多模态模型、视频生成等将成为新的热点方向。硬件适配和底层软件生态的完善，对推动技术创新具有关键作用。
-
硬件迁移与生态建设的诉求 在硬件迁移方面，嘉宾们强调了自下而上的适配策略。需要从底层硬件开始，包括算子支持、通信库优化，以及编译器和训练框架的完善，降低上层适配成本，推动生态的标准化和规范化。
结语：技术融合，共创未来 #
Ray Connect 2024大会的成功举办，充分体现了业界对Ray平台的高度关注和认可。各位嘉宾的精彩分享，为分布式计算、人工智能和大数据领域的技术创新提供了宝贵的经验和方向指引。
在技术飞速发展的时代，跨领域的融合和协作显得尤为重要。Ray作为新一代的分布式计算平台，正在加速各行业的数字化和智能化转型。我们期待更多的开发者和企业加入Ray的生态，共同推动技术进步，实现更大的商业价值和社会效益。
让我们携手前行，迎接分布式计算的美好未来！