创建工作流集群
2025-04-18 18:09
工作流集群采用无服务器模式,使用阿里云弹性容器实例ECI运行工作流,通过优化Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。本文介绍如何创建工作流集群。
工作流集群采用无服务器模式,使用阿里云弹性容器实例ECI运行工作流,通过优化Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合抢占式ECI实例,优化成本。本文介绍如何创建工作流集群。
工作流集群基于开源Argo Workflow项目构建,适用于CI/CD流水线、数据处理、机器学习和仿真计算等。本文通过示例介绍如何使用Argo CLI创建工作流,并设置CPU和Memory资源。
通过开启Argo Server功能访问工作流集群,使您可通过Argo Server API自动化提交工作流,或者通过开源Argo UI管理工作流。本文介绍如何开启Argo Server访问工作流集群。 前提条件
在某些场景下,业务存在着特殊的规格需求,例如GPU、增强的网络能力、高主频、本地盘、AMD机型等。工作流集群支持通过指定的ECS规格运行工作流。本文介绍如何使用指定ECS规格运行工作流。 索引
在工作流集群中需要使用Argo Workflow UI提交或访问任务时,您可以开通Argo Server公网访问,从而能更便捷地访问Argo控制台。本文介绍如何在工作流集群开通Argo Server公网访问。
本文介绍如何在工作流集群中挂载使用存储卷。 使用说明 在工作流集群中支持使用OSS存储卷、NAS存储卷
如需使用自定义域名访问工作流集群控制台,您可以将自定义域名通过CNAME记录指向工作流集群的默认域名,配置SSL证书后,通过https://${your-domain}:2746并使用云SSO账号登录。
工作流的相关资源在工作流集群中会被定期清理,如果您想对工作流的运行过程进行分析和回溯,可以通过配置持久化策略将工作流持久化存储到数据库中。这样即使工作流被删除或者工作流运行的Pod被删除,您也可以查看到工作流的日志。本文以阿里云RDS MySQL数据库为例,为您介绍如何配置工作流持久化到数据库的策略
批处理作业(Batch)通常用于数据处理、仿真计算、科学计算等领域,往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发,完全符合开源工作流标准。通过工作流集群,您可以轻松编排工作流,每个工作流步骤使用容器运行,可以在短时间内轻松运行大规模机器学习、仿真计算
分布式工作流Argo集群(简称工作流集群或Serverless Argo Workflows)采用无服务器模式,使用阿里云弹性容器实例ACS(白名单开放)/ECI运行工作流,通过优化开源工作流引擎性能及Kubernetes集群参数,实现大规模工作流的高效弹性调度,同时配合Best Effort实例/