1、成都数据分析工具分享核心技术一数据采集与预处理

数据收集就是将这些来自各种来源的数据，包括移动互联网数据和社交网络数据，写入数据仓库，将分散的数据进行整合，对这些数据进行综合分析。

Flume ng作为大数据经常用到的一个实时日志收集系统，支持各种数据发送器来收集数据。同时，还可以对数据进行简单的处理，并将其写入各种数据接收器（如HDFS、HBase、文本等）。

Strom集群结构是由一个主节点和多个工作节点组成的主从结构。主节点由配置静态指定，或在运行时动态选择。supervisor以及Nimbus是storm提供的后台守护进程。结合zookeeper状态变更通知和监控通知进行通信。

Zookeeper是主要提供数据同步服务。

2、成都数据分析工具分享核心技术二数据存储

Hadoop是为大规模数据分析以及离线而设计的。HDFS作为其核心存储引擎，已被广泛应用于数据存储。

Phoenix主要作用就是，帮助NoSQL数据库以及HBase，就像开发工程师使用JDBC访问数据库一样。

Yarn可以为上层应用提供统一的资源管理和调度。它的引入在资源利用、统一资源管理和数据共享方面给集群带来了巨大的效益。

Kudu是Hadoop生态系统构建的存储引擎。Kudu的设计理念与Hadoop生态系统相同。Kudu运行在普通服务器上，可以满足行业对高可用性的要求。

3、成都数据分析工具分享核心技术三数据可视化

与bi平台对接，将分析数据可视化，指导决策服务。主流Bi平台，如敏捷Bi tableau、qlikview、powererbi、国内小微Bi、网易等。