Fivetran 集成

Prev Next

:::(信息) (Tulip Library 演示)
本视频详细演示了如何使用 Fivetran + AWS Lambda 按计划从Tulip table 获取数据,并更新数据仓库、数据库、数据湖等多种目标系统

Fivetran 集成
:::

通过 Fivetran 集成优化 Tulip 数据工程

目的

通过 Tulip 优化数据工程管道,可在整个企业范围内利用 Tulip 表中的数据

设置

配置需要以下条件:* Fivetran 账户(提供免费版本)* AWS(或其他云服务账户)* 用于接收 Tulip 表数据的数据库或数据仓库* 具备 Python 的基础知识

工作原理

此 Fivetran 自动化配置的设置流程如下:

  1. 创建 Fivetran 账户
  2. 创建目标(例如 Snowflake)
  3. 使用 AWS Lambda 函数创建连接器函数
  4. 创建 AWS Lambda 函数
  5. 完成连接器函数配置
  6. 测试 Fivetran 连接器并调整刷新频率

Fivetran 利用 Lambda 函数按计划自动获取 Tulip 表中的数据,并更新目标数据库或数据仓库。此处提供的示例是一个简单的函数,它会使用新的、已刷新数据重写该表。还可以添加额外功能,以改进基于事件的触发机制。

设置说明

设置 Fivetran 账户

首先,您需要创建一个 Fivetran 账户。该平台提供免费版本,但每月刷新次数有限

设置目标

然后,点击“目标”并创建您的第一个目标。这实际上就是将接收 Tulip 表数据的数据库或数据仓库image.png

创建连接器函数

接着,创建连接器函数;这是实现从 Tulip 自动化数据管道的过程。您可以使用任何云函数,例如 AWS Lambda、Azure Functions 或 GCP Cloud Functions。在本示例中,我们将使用 AWS Lambdaimage.png

请按照 Fivetran 中的说明,在 AWS 上创建 Lambda 函数并配置相应的角色和权限。请参阅链接中的 Lambda 函数模板作为起点。以下是一些有用的提示:

  • 您需要创建两个层:一个用于 tulip 库,另一个用于 pandas 库
  • 您需要将实例、API 密钥和 API 密钥密文作为环境变量添加到 Lambda 函数中。您可能需要更新运行时设置以延长超时时间并增加内存使用量。下图展示了更新配置的截图:image.png

后续步骤

一旦连接器函数正常运行,您就可以调整刷新频率、查看目标数据库或数据仓库中的 Tulip 表信息,并使用更多功能

此数据管道的一些具体用例:* Tulip 数据的企业级分析和数据处理* 与企业系统的批处理自动化* 与数据仓库和数据湖的上下文关联

其他资源

点击此处联系 Fivetran 获取更多支持点击此处联系Fivetran 获取更多支持*此外,他们还提供了一份表单,用于针对简化的 Tulip 表集成进行调整和提交请求。请在此处提供反馈并提交请求