MENU
    SnowflakeとFabricの統合 - TulipテーブルをSnowflakeに取り込む
    • 07 Jun 2024
    • 1 読む分
    • 寄稿者

    SnowflakeとFabricの統合 - TulipテーブルをSnowflakeに取り込む


    記事の要約

    TulipからSnowflakeへのデータ取得を合理化し、アナリティクスや統合の機会を拡大

    目的

    このガイドでは、Microsoft Fabric(Azure Data Factory)を介してTulipテーブルからSnowflakeにデータをフェッチする方法を順を追って説明します。

    ハイレベルなアーキテクチャを以下に示します:image

    Microsoftは、Tulipから他のデータソースにデータを同期するためのデータパイプラインとして使用できることに注意することが重要です。

    Microsoft Fabricのコンテキスト

    Microsoft Fabricには、エンドツーエンドのデータ取り込み、保存、分析、可視化のための関連ツールがすべて含まれている。Microsoft Fabric

    データ・ファクトリ - 他のシステムからのデータの取り込み、コピー、抽出 * データ・エンジニアリング - データの変換と操作 * データ・ウェアハウス - SQLデータ・ウェアハウスにデータを格納 * データ・サイエンス - ホスティングされたノートブックでデータを分析 * リアルタイム・アナリティクス - ファブリックの単一のフレームワークの下でストリーミング・アナリティクスと可視化ツールを利用 * PowerBI - ビジネス・インテリジェンスのためのPowerBIでエンタープライズ・インサイトを実現

    Microsoft Fabricの詳細については、こちらのリンクを参照されたい。

    しかし、特定の機能を他のデータクラウドと組み合わせて使用することもできる。例えば、Microsoft Data Factoryは、以下のMicrosoft以外のデータストアと連携することができる: * Google BigQuery * Snowflake * MongoDB * AWS S3

    詳しくはこちらのリンクをご覧ください。

    価値の創造

    このガイドでは、TulipからSnowflakeにデータをバッチフェッチして、より広範な企業規模の分析を行う簡単な方法を紹介します。他の企業データを保存するためにSnowflakeを使用している場合、これは、より良いデータ駆動型の意思決定を行うために、現場からのデータとコンテキスト化するための素晴らしい方法です。

    セットアップ手順

    Data Factory(ファブリック内)でデータパイプラインを作成し、ソースをREST、シンクをSnowflakeにします。

    ソースの設定

    1. FabricのホームページからData Factoryに移動
    2. データファクトリーで新しいデータパイプラインを作成する
    3. 作成プロセスを効率化するために、"Copy Data Assistant "で開始する。
    4. コピーデータアシスタントの詳細
      1. データソースREST
      2. ベースURL: https://[instance].tulip.co/api/v3
      3. 認証タイプ:Basicベーシック
      4. ユーザー名:チューリップからのAPIキー
      5. パスワード: チューリップからのAPIシークレット
      6. 相対URL: tables/[TABLE_UNIQUE_ID]/records?limit=100&offset={offset}
      7. リクエストリクエスト: GET
      8. ページネーション・オプション名QueryParameters.{offset}
      9. ページ分割オプション値:範囲:0:10000:100
    5. 注意: 必要であれば、Limitは100より小さくすることができますが、ページネーションのインクリメントが一致する必要があります。
    6. 注: 範囲のページネーション値は、テーブルのレコード数より大きくする必要があります。

    シンク(デスティネーション)設定

    Snowflake - Fabric Auth

    上記のフォームで Snowflake OAuth2.0 の設定を更新します。次に、関連するアクション、手動、またはタイマーにトリガーを設定します。

    次のステップ

    これが完了したら、データフローを使用したファブリック内のデータクリーニングなどの追加機能を検討します。これにより、Snowflakeなどの他の場所でロードする前にデータエラーを減らすことができます。


    この記事は役に立ちましたか?