• Ezpay

    睿治

    智能数据治理平台

    睿治作为国内功能最全的数据治理产品之一，入选IDC企业数据治理实施部署指南。同时，在IDC发布的《中国数据治理市场份额,2022》报告中，蝉联数据治理解决方案市场份额第一。

    在线免费试用 DEMO体验 视频介绍

    睿治 智能数据治理平台

    IDC蝉联数据治理解决方案市场第一

    如何搭建一个数据仓库

    时间：2022-04-27来源：Roue浏览数：369次

    实用干货来了！

    数仓全景图镇楼

    00

    建设过程

    数仓建模的过程分为业务建模、领域建模、逻辑建模和物理建模，但是这  些步骤比较抽象。为了便于落地，我根据自己的经验，总结出上面的七个步骤：梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。每个步骤不说理论，直接放工具、模板和案例。

    01

    业务流程

    1

    找到公司核心业务流程，找到谁，在什么环节，做什么关键动作，得到什么结果。

    2

    梳理每个业务节点的客户及关注重点，找到数据在哪。

    02

    分域/主题

    3

    决定数仓的建设方式，快速交活，就用自下而上的建设。要全面支撑，就顶层规划，分步实施，交活稍微慢点。

    4

    同时按照业务领域划分主题域。主题域的划分方法有：按业务流划分（推荐）、按需求分、按职责分、按产品功能分等。

    03

    指标体系

    5

    指标的意义在于统一语言，统一口径。所以指标的定义必须有严格的标准。否则如无根之水。

    指标可分为原子指标、派生指标和衍生指标，其含义及命名规则举例如下：

    6

    依照指标体系建设标准，开始梳理指标体系。整个体系同样要以业务为核心进行梳理。同时梳理每个业务过程所需的维度。维度就是你观察这个业务的角度，指标就是衡量这个业务结果 好坏的量化结果。

    请注意，此时不能被现有数据局限。如果分析出这个业务过程应该有这个指标，但是没有数据，请标注出来，提出收集数据的需求。

    04

    实体关系

    7

    每个业务动作都会有数据产生。我们将能够获取到的数据，提取实体，绘制ER图，便于之后的维度建模。

    8

    同样以业务过程为起点向下梳理，此时的核心是业务表。把每张表中涉及的维度、指标都整理出来。

    05

    维度整理

    9

    维度标准化是将各个业务系统中相同的维度进行统一的过程。其字段名称、代码、名字都可能不一样，我们需要完全掌握，并标准化。

    维度的标准尽可能参照国家标准、行业标准。例如地区可以参照国家行政区域代码。

    另外，有些维度存在层级，如区域的省、市、县。绝大多数业务系统中的级联就是多层级维度。

    06

    数仓分层

    10

    数据仓库一般分为4层，名字可能会不一样，但是其目的和建设方法基本一致：

    每一层采用的建模方法都不一样，其核心是逐层解耦。越到底层，越接近业务发生的记录，越到上层，越接近业务目标。

    11

    依托数仓分层的设计理论，根据实际业务场景，我们就可以梳理出整体的数据流向图。这张图会很清晰的告诉所有人，数据从那来，到哪里去，最终给予什么样的服务。

    07

    模型建立

    12

    此时才真正进入纯代码阶段。数仓、ETL工具选型；ETL流程开发；cube的建立；任务调度，设定更新方式、更新频率；每日查看日志、监控etl执行情况等等。

    前面梳理清楚了，ETL会变的非常清晰

    （部分内容来源网络，如有侵权请联系删除）
    立即申请数据分析/数据治理产品免费试用 我要试用
    customer

    在线咨询

    在线咨询

    点击进入在线咨询