3. 创建数据模型

定义数据源并创建一个简单的数据模型

本节将介绍数据建模的核心概念，帮助您掌握如何使用 Recurve 创建一个简单的数据转换用例。

Recurve 中的资产

在 Recurve 中，资产是构建数据工作流的核心要素。可以将其视为数据转换过程中创建和管理的关键组件，每种资产类型都发挥着特定作用，共同作用将原始数据转化为有价值的洞察。

在 数据建模 中，主要使用以下几类资产：

数据源（Sources）： 指向原始数据，便于连接并记录数据的来源。
模型（Models）：处理数据的查询，通过转换生成结构化的、适合分析的数据集。
Jinja 宏和变量（Jinja macros and variables）：Jinja 模板工具，为 SQL 添加编程逻辑，使转换过程更具动态性和可维护性。

数据建模流程

Recurve 的数据建模流程遵循逻辑步骤，帮助您构建和验证转换工作流。

定义源数据：首先定义代表原始数据表的源数据，便于描述和记录数据的来源。
创建数据模型：在源数据基础上创建数据模型，将原始数据转化为有用的分析数据集。每个模型表示一个特定的转换步骤，并逐步构建。
配置物化方式：指定模型结果在数据仓库中的物化方式。
添加数据测试：为模型添加数据测试，以确保其正确运行。每次模型成功构建后，这些测试会自动执行。

建议在开发周期中包含以上步骤，以确保转换在应用到生产数据之前正常运行。

前提条件

以下操作示例使用由 dbt 社区提供的 jaffle_shop 数据集（一个虚构的电商商店）。您可以按照该仓库中的指南生成数据并将其加载到目标数据库： jaffle-shop-generator。

操作流程

让我们通过实际步骤体验 Recurve 的数据建模流程。

首先，在 数据开发/ Data development 仪表板中打开您创建的项目。默认情况下，Recurve 将导航至“设计/ Design”部分，在这里完成所有转换活动。

定义源数据

请按照以下步骤操作：

在“模型/ Models ”选项卡中，点击“+”图标并选择“添加源/ Add source”。
在打开的窗口中：
1. 选择连接类型。
2. 选择目标连接，即您在 2. 创建项目中已设置好的连接。
点击“下一步/ Next”后，Recurve 将显示目标连接中所有可用的表。

选择所需的原始表或模型。
在此示例中，我们选择 jaffle_shop 架构下的所有表。

jaffle_shop 数据集所含表

jaffle_shop 架构包含以下表：

Customers：下订单的客户
Orders：由客户发起的订单
Products：订单中包含的食品和饮料
Items：属于产品的订单项
Supplies：生产产品所需的原材料
Stores：订单下单和履行的门店

点击“添加源/ Add source”。

选定的表将被添加到“数据源/ Sources”文件夹中，并按架构名称分组。

创建数据模型

为了展示数据模型的动态性和模块化，我们将创建三个模型：

此暂存模型（ Stage model ）通过从原始客户表customers中选择相关字段（如customer_id，customer_name）来标准化客户数据。

此过程使用 Jinja 的 {{ source() }} 函数来引用前一部分中定义的原始表。

SELECT
  id AS customer_id,
  name AS customer_name
FROM
  {{ source('jaffle-shop', 'raw_customers') }}

与 stg_customers类似，此暂存模型通过从原始订单表orders 中选择并重命名相关字段（order_id、customer_id、 order_date等）来标准化订单数据。

SELECT
  id AS order_id,
  store_id AS location_id,
  customer AS customer_id,
  subtotal AS subtotal_cents,
  tax_paid AS tax_paid_cents,
  order_total AS order_total_cents,
  ordered_at
FROM
  {{ source('jaffle-shop', 'raw_orders') }}

此模型将客户数据与订单历史整合在一起。

在这里，我们使用 {{ ref() }} 函数引用这两个暂存模型。

-- Reference the staged data (stg_customers and stg_orders) to gather customer information.
WITH
  customers AS (
    SELECT
      *
    FROM
      {{ ref('stg_customers') }}
  ),
  orders AS (
    SELECT
      *
    FROM
      {{ ref('stg_orders') }}
  ),
  -- Aggregate the order data to calculate metrics per customer
  customer_orders AS (
    SELECT
      customer_id,
      min(ordered_at) AS first_order_time,
      max(ordered_at) AS most_recent_order_time,
      count(order_id) AS number_of_orders
    FROM
      orders
    GROUP BY
      1
  ),
  -- Join aggregated data with the customer information to produce details about each customer and their order history
  final AS (
    SELECT
      customers.customer_id,
      customers.customer_name,
      customer_orders.first_order_time,
      customer_orders.most_recent_order_time,
      coalesce(customer_orders.number_of_orders, 0) AS number_of_orders
    FROM
      customers
      LEFT JOIN customer_orders USING (customer_id)
  )
SELECT
  *
FROM
  final