当前位置:首页 > 行业资讯 > 广州政府数据治理公司分享什么数据仓库的数据来源?

广州政府数据治理公司分享什么数据仓库的数据来源?

3年前 (2021-11-03)行业资讯

数据仓库中的数据存储

广州政府数据治理公司指出,源数据通过ETL的日常任务调度导出,转换后以特征的形式存储在数据仓库中。事实上,在这个过程中一直存在着很大的争议,即数据仓库是否需要存储详细的数据。一方认为数据仓库是面向分析的,只要存储特定需求的多维分析模型;另一方的观点是,数据仓库应该首先建立和维护详细数据,然后根据需求对详细数据进行聚合和处理,生成具体的分析模型。

广州政府数据治理

1)为什么要保存详细数据?详细的数据是必要的。数据仓库的分析需求会不时地发生变化,有了详细的数据,我们就可以用不变性来响应变化。但是,如果我们只存储根据某些需求构建的数据模型,很明显,我们会对频繁变化的需求感到不知所措;

2)为什么要以主题为导向?广州政府数据治理公司指出,面向主题是数据仓库的第一个特点,主要是指对数据进行合理的组织以实现分析。对于源数据,数据组织形式是多样的。例如,点击流的数据格式没有优化,前台数据库的数据基于OLTP操作进行了优化。这些可能不适合分析,但分类成面向主题的组织形式确实有利于分析,如将点击流日志分类成页面、访问或会话三个主题供访问者使用,这样可以显著提高分析效率。


发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。