1. 资源监控及资源指标

# 一、资源监控内容

1. 在集群监控层面，目标是监控整个Kubernetes集群的健康状况，包括集群中的所有工作节点是否运行正常、系统资源容量大小、每个工作节点上运行的容器化应用的数量以及整个集群的资源利用率等，它们通常可分为如下一些可衡量的指标。
- 节点资源状态：主要有网络带宽、磁盘空间、CPU和内存的利用率。
- 节点数量：集群中的可用节点数量。
- 运行的Pod对象：正在运行的Pod对象数量。
2. Pod资源对象的监控需求大体上可以分为三类。
- Kubernetes指标：用于监视特定应用程序相关的Pod对象的部署过程、当前副本数量、期望的副本数量、部署过程进展状态、健康状态监测及网络服务器的可用性等，这些指标数据需要经由Kubernetes系统接口获取。
- 容器指标：容器的资源需求、资源限制以及CPU、内存、磁盘空间、网络带宽等资源的实际占用状况等。
- 应用程序指标：应用程序自身内建的指标，通常与其所处理的业务规则相关，例如，关系型数据库应用程序可能会内建用于暴露索引状态有关的指标，以及表和关系的统计信息等。

# 二、资源监控工具

1. kubelet程序中集成相关的工具程序cAdvisor，仅能收集单个节点及其相关Pod资源的相关指标数据，用于对节点上的资源及容器进行实时监控及指标数据采集，支持的相关指标包括CPU、内存使用情况、网络吞吐量及文件系统使用情况等，并可通过TCP的4194端口提供一个Web UI。
2. Heapster是集群级别的监视和事件数据聚合工具。Heapster本身可作为集群中的一个Pod对象运行，它通过发现集群中的所有节点实现从每个节点kubelet内建的cAdvisor获取性能和指标数据，并通过标签将Pod对象及其相关的监控数据进行分级、聚合后推送到可配置的后端存储系统进行存储和可视化。
3. 功能完备的Heapster监控系统流行的解决方案是由InfluxDB作为存储后端，Grafana为可视化接口，而Heapster从各节点的cAdvisor采集数据并存储于InfluxDB中，由Grafana进行展示。托管于Kubernetes集群中的InfluxDB、Grafana和Heapster运行为常规的Pod资源对象，它们彼此之间通过环境变量及服务发现功能自动协同。

# 三、新一代监控架构

1. Kubernetes具有灵活的可扩展性，它通过API聚合器为开发人员提供了轻松扩展API资源的能力，可以自定义指标API和资源指标API。新一代的Kubernetes监控系统架构主要由核心指标流水线和监控指标流水线协同组成。
- 核心指标流水线<br />由kubelet、metrics-server以及由API server提供的api组成；CPU累积使用率、内存的实时使用率、pod的资源占用率及容器的磁盘占用率。
- 监控指标流水线<br />用于从系统收集各种指标数据并提供给终端用户、存储系统以及HPA，包含核心指标以及其他许多非核心指标。非核心指标本身不能被K8S所解析。所以需要k8s-prometheus-adapter将prometheus采集到的数据转化为k8s能理解的格式，为k8s所使用。
2. HPAv2：能同时使用资源指标API和自定义指标API的组件，它实现了基于观察到的指标自动缩放Deployment或ReplicaSet类型控制器管控下的Pod副本数量。
3. 目前，资源指标API的实现较主流是的metrics-server，而自定义指标API则以建构在监控系统Prometheus之上的k8s-prometheus-adapter最广为接受。