赛尔校园公共服务平台 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
赛尔校园公共服务平台 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 弹性容器实例 ECI
  4. 操作指南
  5. 弹性伸缩
  6. 通过Nginx Ingress对多个应用进行HPA

通过Nginx Ingress对多个应用进行HPA

  • 弹性伸缩
  • 发布于 2025-04-15
  • 0 次阅读
文档编辑
文档编辑

多实例部署可以最大程度的保证应用的稳定性,但同时也会造成闲时资源的浪费和高额成本。手动调节方式工作量大还存在一定程度的滞后性。通过Nginx Ingress对多个应用进行HPA,可以自动根据应用的负载情况动态调整Pod副本数量,从而在保障应用稳定性和响应能力的同时,优化资源使用,降低成本。本文介绍通过Nginx Ingress对多个应用进行HPA的方法。

前提条件

通过Nginx Ingress对多个应用进行HPA前,需要将阿里云Prometheus指标转换成HPA可用的指标,您需要部署相关组件。

  • 已部署阿里云Prometheus监控组件。具体操作,请参见使用阿里云Prometheus监控。

  • 已部署alibaba-cloud-metrics-adapter组件。具体操作,请参见基于阿里云Prometheus指标的容器水平伸缩。

  • 已安装压力测试工具Apache Benchmark。更多信息,请参见Apache Benchmark。

背景信息

在实际的生产中,您使用请求量来自动扩缩容时,可以通过注册http_requests_total来透出请求量指标,同时推荐使用Ingress组件自带的指标来进行HPA。

Ingress是Kubernetes API中的标准资源类型之一。Ingress实现的功能是将客户端请求的Host名称或请求的URL路径,转发到指定的Service资源中,即将Kubernetes集群外部的请求转发至集群内部的Service中,再被Service转发至Pod,处理客户端的请求。

Nginx Ingress Controller是部署于集群内部的Ingress控制器,可以为您提供性能更好,且定制性更高的使用方式。ACK集群提供的Nginx Ingress Controller在社区版本的基础上,整合了阿里云产品的一系列功能,提供了更加便捷的使用体验。

操作步骤

本教程包含两个ClusterIP型服务,通过Nginx Ingress实现对外的流量路由。基于nginx_ingress_controller_requests指标,为应用配置HPA,以实现随着流量的变化为Pod扩缩容的功能。

  1. 使用以下YAML文件创建业务Deployment和对应的Service。

    1. 创建nginx1.yaml文件。然后执行命令kubectl apply -f nginx1.yaml,创建应用test-app和对应的Service。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: test-app
        labels:
          app: test-app
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: test-app
        template:
          metadata:
            labels:
              app: test-app
          spec:
            containers:
            - image: skto/sample-app:v2
              name: metrics-provider
              ports:
              - name: http
                containerPort: 8080
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: test-app
        namespace: default
        labels:
          app: test-app
      spec:
        ports:
          - port: 8080
            name: http
            protocol: TCP
            targetPort: 8080
        selector:
          app: test-app
        type: ClusterIP
    2. 创建nginx2.yaml文件。然后执行命令kubectl apply -f nginx2.yaml,创建应用sample-app和对应的Service。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: sample-app
        labels:
          app: sample-app
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: sample-app
        template:
          metadata:
            labels:
              app: sample-app
          spec:
            containers:
            - image: skto/sample-app:v2
              name: metrics-provider
              ports:
              - name: http
                containerPort: 8080
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: sample-app
        namespace: default
        labels:
          app: sample-app
      spec:
        ports:
          - port: 80
            name: http
            protocol: TCP
            targetPort: 8080
        selector:
          app: sample-app
        type: ClusterIP
  2. 创建ingress.yaml文件。然后执行kubectl apply -f ingress.yaml命令,部署Ingress资源。

    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: test-ingress
      namespace: default
    spec:
      ingressClassName: nginx
      rules:
        - host: test.example.com
          http:
            paths:
              - backend:
                  service:
                    name: sample-app
                    port:
                      number: 80
                path: /
                pathType: ImplementationSpecific
              - backend:
                  service:
                    name: test-app
                    port:
                      number: 8080
                path: /home
                pathType: ImplementationSpecific
    • host:指定服务访问域名。本示例使用test.example.com。

    • path:指定访问的URL路径。请求到来之后会根据路由规则匹配相应的Service,然后通过Service访问相应的Pod。

    • backend:由Service名称和Service端口组成,指定当前path转发的Service。

  3. 执行以下命令,获取Ingress资源。

    kubectl get ingress -o wide

    预期输出:

    NAME           CLASS   HOSTS              ADDRESS       PORTS   AGE                                                  
    test-ingress   nginx   test.example.com   10.10.10.10   80      55s
  4. 部署成功后,可以通过/和/home两个路径分别访问Host地址。Nginx Ingress Controller会根据上方配置分别访问sample-app和test-app。通过阿里云Prometheus查询指标nginx_ingress_controller_requests,可以获取各应用的请求情况。

  5. 修改组件alibaba-cloud-metrics-adapter中的adapter.config文件,将Prometheus中的指标转换成HPA可用的指标。

    说明

    在进行本步骤前,请确保已完成了组件alibaba-cloud-metrics-adapter的部署和prometheus.url的配置。

    1. 登录容器服务管理控制台,在左侧导航栏选择集群列表。

    2. 在集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > Helm。

    3. 单击ack-alibaba-cloud-metrics-adapter。

    4. 在资源区域,单击adapter-config。

    5. 在adapter-config页面,单击页面右上角的YAML 编辑。

    6. 用以下代码替换值中的代码,然后单击页面下方的确定。

      关于以下配置项详解,请参考基于阿里云Prometheus指标的容器水平伸缩。

      rules:
      - metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[2m]))
        name:
          as: ${1}_per_second
          matches: ^(.*)_requests
        resources:
          namespaced: false
          overrides:
            controller_namespace:
              resource: namespace
        seriesQuery: nginx_ingress_controller_requests
  6. 执行以下命令,查看指标输出。

    kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1/namespaces/*/nginx_ingress_controller_per_second" | jq .

    查询指标结果如下:

    {
      "kind": "ExternalMetricValueList",
      "apiVersion": "external.metrics.k8s.io/v1beta1",
      "metadata": {},
      "items": [
        {
          "metricName": "nginx_ingress_controller_per_second",
          "metricLabels": {},
          "timestamp": "2022-03-31T10:11:37Z",
          "value": "0"
        }
      ]
    }
  7. 创建hpa.yaml文件。然后执行kubectl apply -f hpa.yaml命令,对业务应用sample-app和test-app分别部署HPA。

    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
      name: sample-hpa
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: sample-app
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: External
          external:
            metric:
              name: nginx_ingress_controller_per_second
              selector:
                matchLabels:
    #可以通过这个字段对指标进行过滤,这里设置的字段会传入adapter.config中的<<.LabelMatchers>>标签。
                  service: sample-app
    #External指标类型下只支持Value和AverageValue类型的目标值。
            target:
              type: AverageValue
              averageValue: 30
    ----------
    apiVersion: autoscaling/v2beta2
    kind: HorizontalPodAutoscaler
    metadata:
      name: test-hpa
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: test-app
      minReplicas: 1
      maxReplicas: 10
      metrics:
        - type: External
          external:
            metric:
              name: nginx_ingress_controller_per_second
              selector:
                matchLabels:
    #可以通过这个字段对指标进行过滤,这里设置的字段会传入adapter.config中的<<.LabelMatchers>>标签。
                  service: test-app
    #External指标类型下只支持Value和AverageValue类型的目标值。
            target:
              type: AverageValue
              averageValue: 30
  8. 执行以下命令,查看HPA部署情况。

    kubectl get hpa

    预期输出:

    NAME         REFERENCE               TARGETS       MINPODS   MAXPODS   REPLICAS   AGE
    sample-hpa   Deployment/sample-app   0/30 (avg)   1         10        1          74s
    test-hpa     Deployment/test-app     0/30 (avg)   1         10        1          59m
  9. HPA部署成功后,进行压测实验,观察业务应用是否会随着请求增大而扩容。

    1. 执行以下命令,对Host下的/home路径进行压测。

      ab -c 50 -n 5000 test.example.com/home
    2. 执行以下命令,查看HPA情况。

      kubectl get hpa

      预期输出:

      NAME         REFERENCE               TARGETS           MINPODS   MAXPODS   REPLICAS   AGE
      sample-hpa   Deployment/sample-app   0/30 (avg)        1         10        1          22m
      test-hpa     Deployment/test-app     22096m/30 (avg)   1         10        3          80m
    3. 执行以下命令,对Host的根路径进行压测。

      ab -c 50 -n 5000 test.example.com/
    4. 执行以下命令,查看HPA情况。

      kubectl get hpa

      预期输出:

      NAME         REFERENCE               TARGETS           MINPODS   MAXPODS   REPLICAS   AGE
      sample-hpa   Deployment/sample-app   27778m/30 (avg)   1         10        2          38m
      test-hpa     Deployment/test-app     0/30 (avg)        1         10        1          96m

      从上述结果可以看到,业务应用在请求量增大超过阈值的情况下成功扩容。

相关文档

  • 多可用区均衡是数据类型业务在高可用场景下常用的部署方式。当业务压力增大时,有多可用区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。详细信息,请参见多可用区同时快速弹性扩容。

  • 构建自定义操作系统镜像以提高复杂场景下弹性伸缩的便捷性,请参见弹性优化之自定义镜像。

相关文章

弹性伸缩概述 2025-04-15 17:15

弹性伸缩是根据业务需求和策略,自动调整计算资源的管理服务,典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理等。本文介绍ACK Serverless集群支持的弹性伸缩方案。

使用容器水平伸缩(HPA) 2025-04-15 17:15

如果您想基于CPU使用率、内存使用率或其他自定义指标实现Pod的自动扩缩,建议您为业务容器开启水平伸缩HPA(Horizontal Pod Autoscaler)功能。HPA能够在业务负载急剧飙升时快速扩容多个Pod副本来缓解压力,也可以在业务负载变小时根据实际情况适当缩容以节省资源,无需您人为干预

使用容器定时水平伸缩(CronHPA) 2025-04-15 17:15

如果您的应用资源使用率存在周期性变化,需要按照类似Crontab的策略定时对Pod进行扩缩容,您可以使用容器定时水平伸缩CronHPA(CronHorizontal Pod Autoscaler)实现Pod的定时扩缩容。CronHPA适用于业务流量有明显高峰时段、应用程序需要在特定时间执行任务等场景

容器垂直伸缩(VPA) 2025-04-15 17:15

通过在ACK Serverless集群上部署安装VPA(vertical-pod-autoscaler),ACK Serverless可以提供垂直的容器伸缩的功能。VPA会基于Pod的资源使用情况自动为集群设置资源占用的限制,从而让集群将Pod调度到有足够资源的最佳节点上。VPA也会保持最初容器定义

基于阿里云组件指标的容器水平伸缩 2025-04-15 17:15

应对业务突发流量时,更精准的扩缩容能够提高响应速度,并进一步提升集群资源利用效率。本文介绍如何利用Kubernetes的外部指标接口(External Metrics)集成重要业务指标(例如HTTP请求率、Ingress QPS等),实现更自动化的伸缩策略。 本文将通过以下步骤,以创建名为Nginx

基于阿里云Prometheus指标的容器水平伸缩 2025-04-15 17:15

HPA默认支持基于CPU和内存指标实现自动伸缩,可能无法满足更为复杂的运维场景。如果您需要将Prometheus收集的Custom Metrics与External Metrics转换为HPA可用的弹性伸缩指标,您可以参见本文获取监控数据并实现对应的伸缩配置,为应用提供更灵活、便捷的扩缩机制。 前提

目录
Copyright © 2025 your company All Rights Reserved. Powered by 赛尔网络.
京ICP备14022346号-15
gongan beian 京公网安备11010802041014号