西安数据分析工作师讲到，一个稳定可靠的系统离不开监控。我们不仅监视服务是否存在，而且还监视系统的操作。运行状况主要是指这些组件的核心指标的收集、捕获、分析和警报。

1、监控数据

监控的日志数据一般包括:

app、PC、web等系统运行日志:flume ng收集日志

用户日志:由flume ng收集

后端服务器日志:由flume ng收集

大数据组件的V度量:JMX和http

MySQL等数据库日志:Canal

这也是许多Internet日志解决方案的常见选择。但是，这些组件本身提供的监控方案和它们支持的第三方监控工具是不同的:

Flume ng:支持HTTP / JMX度量和监控工具:ganglia

Kafka:支持JMX指标和监控工具:Yahoo!

Storm:支持使用Storm UI的JMX指标

Elasticsearch:支持HTTP形式的状态请求

从以上结果来看，这显然与我们的预期不相符。我们有几个担忧:

监视统一或反异构化

这种配置很方便。系统稳定后，我们可以自由配置我们认为非常重要的监控指标

通过统一的可视化，我们可以清楚地看到我们希望在控制台上看到的监控指标

综上所述，虽然这些组件的监控能力不同，但它们仍然有一些共同点，即:

Jmx

http

每个组件至少支持两个协议的一个度量请求，这也是许多Internet日志解决方案的常见选择。

3、元数据存储与设计

对收集的数据进行标准化，并对元数据进行设计和管理。

我们设计了一个自上而下的层级组织结构:

元类别

元类型

元源

工作元数据

作业调度器

西安数据分析工作师指出，以上数据提供了控制台上的配置管理功能。以提高调度任务的可扩展性和自管理能力。