๋ ๊ด๋ฒ์ํ ๋ถ์ ๋ฐ ํตํฉ ๊ธฐํ๋ฅผ ์ํด Tulip์์ Snowflake๋ก ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ ๊ฐ์ํ
๋ชฉ์
์ด ๊ฐ์ด๋์์๋ Microsoft ํจ๋ธ๋ฆญ(Azure ๋ฐ์ดํฐ ํฉํ ๋ฆฌ)์ ํตํด Tulip ํ ์ด๋ธ์์ Snowflake๋ก ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ค๋ ๋ฐฉ๋ฒ์ ๋จ๊ณ๋ณ๋ก ์๋ดํฉ๋๋ค.
๋์ ์์ค์ ์ํคํ
์ฒ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
ํ ๊ฐ์ง ์ค์ํ ์ ์ Microsoft๋ฅผ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ผ๋ก ์ฌ์ฉํ์ฌ Tulip์ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฅธ ๋ฐ์ดํฐ ์์ค, ์ฌ์ง์ด Microsoft๊ฐ ์๋ ๋ฐ์ดํฐ ์์ค๋ก ๋๊ธฐํํ ์ ์๋ค๋ ์ ์ ๋๋ค.
Microsoft ํจ๋ธ๋ฆญ ์ปจํ ์คํธ
Microsoft Fabric์๋ ์๋ํฌ์๋ ๋ฐ์ดํฐ ์์ง, ์ ์ฅ, ๋ถ์ ๋ฐ ์๊ฐํ๋ฅผ ์ํ ๋ชจ๋ ๊ด๋ จ ๋๊ตฌ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค.
๊ตฌ์ฒด์ ์ธ ์๋น์ค๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.* Data Factory - ๋ค๋ฅธ ์์คํ ์์ ๋ฐ์ดํฐ ์์ง, ๋ณต์ฌ ๋๋ ์ถ์ถ* Data Engineering - ๋ฐ์ดํฐ ๋ณํ ๋ฐ ์กฐ์* Data Warehouse - SQL ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ฐ์ดํฐ ์ ์ฅ* Data Science - ํธ์คํ ๋ ๋ ธํธ๋ถ์ผ๋ก ๋ฐ์ดํฐ ๋ถ์* ์ค์๊ฐ ๋ถ์ - ํจ๋ธ๋ฆญ์ ๋จ์ผ ํ๋ ์์ํฌ์์ ์คํธ๋ฆฌ๋ฐ ๋ถ์ ๋ฐ ์๊ฐํ ๋๊ตฌ ํ์ฉ* PowerBI - ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค์ฉ PowerBI๋ก ์ํฐํ๋ผ์ด์ฆ ์ธ์ฌ์ดํธ ์ง์
Microsoft Fabric์ ๋ํ ์์ธํ ๋ด์ฉ์ ์ด ๋งํฌ๋ฅผ ํ์ธํ์ธ์.
๊ทธ๋ฌ๋ ํน์ ๊ธฐ๋ฅ์ ๋ค๋ฅธ ๋ฐ์ดํฐ ํด๋ผ์ฐ๋์ ํจ๊ป ์ฌ์ฉํ ์๋ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด, Microsoft Data Factory๋ ๋ค์๊ณผ ๊ฐ์ ํ์ฌ ๋ฐ์ดํฐ ์ ์ฅ์์ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค: * Google BigQuery* Snowflake* MongoDB* AWS S3
์์ธํ ๋ด์ฉ์ ์ด ๋งํฌ๋ฅผ ํ์ธํ์ธ์.
๊ฐ์น ์ฐฝ์ถ
์ด ๊ฐ์ด๋์์๋ ๊ด๋ฒ์ํ ์ ์ฌ์ ๋ถ์์ ์ํด Tulip์์ Snowflake๋ก ๋ฐ์ดํฐ๋ฅผ ์ผ๊ด ๊ฐ์ ธ์ค๋ ๊ฐ๋จํ ๋ฐฉ๋ฒ์ ์๊ฐํฉ๋๋ค. ๋ค๋ฅธ ์ํฐํ๋ผ์ด์ฆ ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๊ธฐ ์ํด Snowflake๋ฅผ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ, ํ์ ์ ๋ฐ์ดํฐ๋ก ์ปจํ ์คํธํํ์ฌ ๋ ๋์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ์์ฌ ๊ฒฐ์ ์ ๋ด๋ฆด ์ ์๋ ์ข์ ๋ฐฉ๋ฒ์ด ๋ ์ ์์ต๋๋ค.
์ค์ ์ง์นจ
๋ฐ์ดํฐ ํฉํ ๋ฆฌ(ํจ๋ธ๋ฆญ ๋ด)์์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์์ฑํ๊ณ ์์ค๋ฅผ REST ๋ฐ ์ฑํฌ๋ฅผ Snowflake๋ก ์ค์ ํฉ๋๋ค.
์์ค ๊ตฌ์ฑ:
- Fabric ํํ์ด์ง์์ Data Factory๋ก ์ด๋ํฉ๋๋ค.
- Data Factory์์ ์ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ์ ์์ฑํฉ๋๋ค.
- "๋ฐ์ดํฐ ๋ณต์ฌ ๋์ฐ๋ฏธ"๋ก ์์ํ์ฌ ์์ฑ ํ๋ก์ธ์ค๋ฅผ ๊ฐ์ํํฉ๋๋ค.
- ๋ฐ์ดํฐ ์ด์์คํดํธ ์ธ๋ถ ์ ๋ณด๋ฅผ ๋ณต์ฌํฉ๋๋ค:
- ๋ฐ์ดํฐ ์์ค: REST
- ๊ธฐ๋ณธ URL: https://[instance].tulip.co/api/v3
- ์ธ์ฆ ์ ํ: ๊ธฐ๋ณธ
- ์ฌ์ฉ์ ์ด๋ฆ: Tulip์ API ํค
- ๋น๋ฐ๋ฒํธ: Tulip์ API ์ํฌ๋ฆฟ
- ์๋ URL: tables/[TABLE_UNIQUE_ID]/records?limit=100&offset={offset}
- ์์ฒญ GET
- ํ์ด์ง ๋งค๊น ์ต์ ์ด๋ฆ: QueryParameters.{offset}
- ํ์ด์ง ๋งค๊น ์ต์ ๊ฐ: ๋ฒ์:0:10000:100
- ์ฐธ๊ณ : ํ์ํ ๊ฒฝ์ฐ ์ ํ์ 100๋ณด๋ค ๋ฎ๊ฒ ์ค์ ํ ์ ์์ง๋ง ํ์ด์ง ๋งค๊น์ ์ฆ๋ถ์ ์ผ์นํด์ผ ํฉ๋๋ค.
- ์ฐธ๊ณ : ๋ฒ์์ ํ์ด์ง ๋งค๊น ๊ฐ์ ํ ์ด๋ธ์ ๋ ์ฝ๋ ์๋ณด๋ค ์ปค์ผ ํฉ๋๋ค.
์ฑํฌ(๋์) ๊ตฌ์ฑ:

์์ ์์์ผ๋ก Snowflake OAuth2.0 ์ค์ ์ ์ ๋ฐ์ดํธํฉ๋๋ค. ๊ทธ๋ฐ ๋ค์ ๊ด๋ จ ์์ , ์๋ ๋๋ ํ์ด๋จธ์ ํธ๋ฆฌ๊ฑฐ๋ฅผ ๊ตฌ์ฑํฉ๋๋ค.
๋ค์ ๋จ๊ณ
์ด ์์ ์ด ์๋ฃ๋๋ฉด ๋ฐ์ดํฐ ํ๋ฆ์ ์ฌ์ฉํ์ฌ ํจ๋ธ๋ฆญ ๋ด๋ถ์ ๋ฐ์ดํฐ ์ ๋ฆฌ์ ๊ฐ์ ์ถ๊ฐ ๊ธฐ๋ฅ์ ์ดํด๋ณด์ธ์. ์ด๋ ๊ฒ ํ๋ฉด ์ค๋ ธ์ฐํ๋ ์ดํฌ์ ๊ฐ์ ๋ค๋ฅธ ์์น์ ๋ฐ์ดํฐ๋ฅผ ๋ก๋ํ๊ธฐ ์ ์ ๋ฐ์ดํฐ ์ค๋ฅ๋ฅผ ์ค์ผ ์ ์์ต๋๋ค.
