๋ˆˆ์†ก์ด์™€ ํŒจ๋ธŒ๋ฆญ ํ†ตํ•ฉ - ํŠค๋ฆฝ ํ…Œ์ด๋ธ”์„ ๋ˆˆ์†ก์ด๋กœ ๊ฐ€์ ธ์˜ค๊ธฐ

Prev Next

๋” ๊ด‘๋ฒ”์œ„ํ•œ ๋ถ„์„ ๋ฐ ํ†ตํ•ฉ ๊ธฐํšŒ๋ฅผ ์œ„ํ•ด Tulip์—์„œ Snowflake๋กœ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ ๊ฐ„์†Œํ™”

๋ชฉ์ 

์ด ๊ฐ€์ด๋“œ์—์„œ๋Š” Microsoft ํŒจ๋ธŒ๋ฆญ(Azure ๋ฐ์ดํ„ฐ ํŒฉํ† ๋ฆฌ)์„ ํ†ตํ•ด Tulip ํ…Œ์ด๋ธ”์—์„œ Snowflake๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๋ฐฉ๋ฒ•์„ ๋‹จ๊ณ„๋ณ„๋กœ ์•ˆ๋‚ดํ•ฉ๋‹ˆ๋‹ค.

๋†’์€ ์ˆ˜์ค€์˜ ์•„ํ‚คํ…์ฒ˜๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:image

ํ•œ ๊ฐ€์ง€ ์ค‘์š”ํ•œ ์ ์€ Microsoft๋ฅผ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ ์‚ฌ์šฉํ•˜์—ฌ Tulip์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์†Œ์Šค, ์‹ฌ์ง€์–ด Microsoft๊ฐ€ ์•„๋‹Œ ๋ฐ์ดํ„ฐ ์†Œ์Šค๋กœ ๋™๊ธฐํ™”ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค.

Microsoft ํŒจ๋ธŒ๋ฆญ ์ปจํ…์ŠคํŠธ

Microsoft Fabric์—๋Š” ์—”๋“œํˆฌ์—”๋“œ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘, ์ €์žฅ, ๋ถ„์„ ๋ฐ ์‹œ๊ฐํ™”๋ฅผ ์œ„ํ•œ ๋ชจ๋“  ๊ด€๋ จ ๋„๊ตฌ๊ฐ€ ํฌํ•จ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.Microsoft Fabric

๊ตฌ์ฒด์ ์ธ ์„œ๋น„์Šค๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.* Data Factory - ๋‹ค๋ฅธ ์‹œ์Šคํ…œ์—์„œ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘, ๋ณต์‚ฌ ๋˜๋Š” ์ถ”์ถœ* Data Engineering - ๋ฐ์ดํ„ฐ ๋ณ€ํ™˜ ๋ฐ ์กฐ์ž‘* Data Warehouse - SQL ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค์— ๋ฐ์ดํ„ฐ ์ €์žฅ* Data Science - ํ˜ธ์ŠคํŒ…๋œ ๋…ธํŠธ๋ถ์œผ๋กœ ๋ฐ์ดํ„ฐ ๋ถ„์„* ์‹ค์‹œ๊ฐ„ ๋ถ„์„ - ํŒจ๋ธŒ๋ฆญ์˜ ๋‹จ์ผ ํ”„๋ ˆ์ž„์›Œํฌ์—์„œ ์ŠคํŠธ๋ฆฌ๋ฐ ๋ถ„์„ ๋ฐ ์‹œ๊ฐํ™” ๋„๊ตฌ ํ™œ์šฉ* PowerBI - ๋น„์ฆˆ๋‹ˆ์Šค ์ธํ…”๋ฆฌ์ „์Šค์šฉ PowerBI๋กœ ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ ์ธ์‚ฌ์ดํŠธ ์ง€์›

Microsoft Fabric์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ด ๋งํฌ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๊ทธ๋Ÿฌ๋‚˜ ํŠน์ • ๊ธฐ๋Šฅ์€ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ํด๋ผ์šฐ๋“œ์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, Microsoft Data Factory๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ํƒ€์‚ฌ ๋ฐ์ดํ„ฐ ์ €์žฅ์†Œ์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค: * Google BigQuery* Snowflake* MongoDB* AWS S3

์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ด ๋งํฌ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๊ฐ€์น˜ ์ฐฝ์ถœ

์ด ๊ฐ€์ด๋“œ์—์„œ๋Š” ๊ด‘๋ฒ”์œ„ํ•œ ์ „์‚ฌ์  ๋ถ„์„์„ ์œ„ํ•ด Tulip์—์„œ Snowflake๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ผ๊ด„ ๊ฐ€์ ธ์˜ค๋Š” ๊ฐ„๋‹จํ•œ ๋ฐฉ๋ฒ•์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•˜๊ธฐ ์œ„ํ•ด Snowflake๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ, ํ˜„์—…์˜ ๋ฐ์ดํ„ฐ๋กœ ์ปจํ…์ŠคํŠธํ™”ํ•˜์—ฌ ๋” ๋‚˜์€ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์˜์‚ฌ ๊ฒฐ์ •์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ๋Š” ์ข‹์€ ๋ฐฉ๋ฒ•์ด ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์„ค์ • ์ง€์นจ

๋ฐ์ดํ„ฐ ํŒฉํ† ๋ฆฌ(ํŒจ๋ธŒ๋ฆญ ๋‚ด)์—์„œ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ƒ์„ฑํ•˜๊ณ  ์†Œ์Šค๋ฅผ REST ๋ฐ ์‹ฑํฌ๋ฅผ Snowflake๋กœ ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค.

์†Œ์Šค ๊ตฌ์„ฑ:

  1. Fabric ํ™ˆํŽ˜์ด์ง€์—์„œ Data Factory๋กœ ์ด๋™ํ•ฉ๋‹ˆ๋‹ค.
  2. Data Factory์—์„œ ์ƒˆ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.
  3. "๋ฐ์ดํ„ฐ ๋ณต์‚ฌ ๋„์šฐ๋ฏธ"๋กœ ์‹œ์ž‘ํ•˜์—ฌ ์ƒ์„ฑ ํ”„๋กœ์„ธ์Šค๋ฅผ ๊ฐ„์†Œํ™”ํ•ฉ๋‹ˆ๋‹ค.
  4. ๋ฐ์ดํ„ฐ ์–ด์‹œ์Šคํ„ดํŠธ ์„ธ๋ถ€ ์ •๋ณด๋ฅผ ๋ณต์‚ฌํ•ฉ๋‹ˆ๋‹ค:
    1. ๋ฐ์ดํ„ฐ ์†Œ์Šค: REST
    2. ๊ธฐ๋ณธ URL: https://[instance].tulip.co/api/v3
    3. ์ธ์ฆ ์œ ํ˜•: ๊ธฐ๋ณธ
    4. ์‚ฌ์šฉ์ž ์ด๋ฆ„: Tulip์˜ API ํ‚ค
    5. ๋น„๋ฐ€๋ฒˆํ˜ธ: Tulip์˜ API ์‹œํฌ๋ฆฟ
    6. ์ƒ๋Œ€ URL: tables/[TABLE_UNIQUE_ID]/records?limit=100&offset={offset}
    7. ์š”์ฒญ GET
    8. ํŽ˜์ด์ง€ ๋งค๊น€ ์˜ต์…˜ ์ด๋ฆ„: QueryParameters.{offset}
    9. ํŽ˜์ด์ง€ ๋งค๊น€ ์˜ต์…˜ ๊ฐ’: ๋ฒ”์œ„:0:10000:100
  5. ์ฐธ๊ณ : ํ•„์š”ํ•œ ๊ฒฝ์šฐ ์ œํ•œ์„ 100๋ณด๋‹ค ๋‚ฎ๊ฒŒ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์ง€๋งŒ ํŽ˜์ด์ง€ ๋งค๊น€์˜ ์ฆ๋ถ„์€ ์ผ์น˜ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
  6. ์ฐธ๊ณ : ๋ฒ”์œ„์˜ ํŽ˜์ด์ง€ ๋งค๊น€ ๊ฐ’์€ ํ…Œ์ด๋ธ”์˜ ๋ ˆ์ฝ”๋“œ ์ˆ˜๋ณด๋‹ค ์ปค์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์‹ฑํฌ(๋Œ€์ƒ) ๊ตฌ์„ฑ:

Snowflake - Fabric Auth

์œ„์˜ ์–‘์‹์œผ๋กœ Snowflake OAuth2.0 ์„ค์ •์„ ์—…๋ฐ์ดํŠธํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฐ ๋‹ค์Œ ๊ด€๋ จ ์ž‘์—…, ์ˆ˜๋™ ๋˜๋Š” ํƒ€์ด๋จธ์— ํŠธ๋ฆฌ๊ฑฐ๋ฅผ ๊ตฌ์„ฑํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ๋‹จ๊ณ„

์ด ์ž‘์—…์ด ์™„๋ฃŒ๋˜๋ฉด ๋ฐ์ดํ„ฐ ํ๋ฆ„์„ ์‚ฌ์šฉํ•˜์—ฌ ํŒจ๋ธŒ๋ฆญ ๋‚ด๋ถ€์˜ ๋ฐ์ดํ„ฐ ์ •๋ฆฌ์™€ ๊ฐ™์€ ์ถ”๊ฐ€ ๊ธฐ๋Šฅ์„ ์‚ดํŽด๋ณด์„ธ์š”. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ์Šค๋…ธ์šฐํ”Œ๋ ˆ์ดํฌ์™€ ๊ฐ™์€ ๋‹ค๋ฅธ ์œ„์น˜์— ๋ฐ์ดํ„ฐ๋ฅผ ๋กœ๋“œํ•˜๊ธฐ ์ „์— ๋ฐ์ดํ„ฐ ์˜ค๋ฅ˜๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.