AWS ํ†ตํ•ฉ - Tulip ํ…Œ์ด๋ธ”์—์„œ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ

Prev Next

๋” ๊ด‘๋ฒ”์œ„ํ•œ ๋ถ„์„ ๋ฐ ํ†ตํ•ฉ ๊ธฐํšŒ๋ฅผ ์œ„ํ•ด Tulip์—์„œ AWS๋กœ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ ๊ฐ„์†Œํ™”

๋ชฉ์ 

์ด ๊ฐ€์ด๋“œ์—์„œ๋Š” ๋žŒ๋‹ค ํ•จ์ˆ˜๋ฅผ ํ†ตํ•ด Tulip ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ๋ฅผ AWS๋กœ ๊ฐ€์ ธ์˜ค๋Š” ๋ฐฉ๋ฒ•์„ ๋‹จ๊ณ„๋ณ„๋กœ ์•ˆ๋‚ดํ•ฉ๋‹ˆ๋‹ค.

๋žŒ๋‹ค ํ•จ์ˆ˜๋Š” ์ด๋ฒคํŠธ ๋ธŒ๋ฆฌ์ง€ ํƒ€์ด๋จธ ๋˜๋Š” API ๊ฒŒ์ดํŠธ์›จ์ด์™€ ๊ฐ™์€ ๋‹ค์–‘ํ•œ ๋ฆฌ์†Œ์Šค๋ฅผ ํ†ตํ•ด ํŠธ๋ฆฌ๊ฑฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์•„ํ‚คํ…์ฒ˜ ์˜ˆ์‹œ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:

image

API ๊ฒŒ์ดํŠธ์›จ์ด์™€ ๋žŒ๋‹ค ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด Tulip ์ธก์—์„œ ์‚ฌ์šฉ์ž ์ด๋ฆ„๊ณผ ๋น„๋ฐ€๋ฒˆํ˜ธ๋กœ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ์ธ์ฆํ•  ํ•„์š” ์—†์ด AWS ๋‚ด๋ถ€์˜ IAM ์ธ์ฆ ๋ฐฉ๋ฒ•์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ๋žŒ๋‹ค ํ•จ์ˆ˜ ๋‚ด์—์„œ AWS ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๊ฒƒ์ด ๋” ์‰ฌ์›Œ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ Redshift, DynamoDB ๋“ฑ๊ณผ ๊ฐ™์€ ๋‹ค๋ฅธ AWS ์„œ๋น„์Šค๋ฅผ ํ™œ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•๋„ ๊ฐ„์†Œํ™”๋ฉ๋‹ˆ๋‹ค.

์„ค์ •

์ด ์˜ˆ์ œ ์—ฐ๋™์—๋Š” ๋‹ค์Œ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค:

  • ํŠค๋ฆฝ ํ…Œ์ด๋ธ” API ์‚ฌ์šฉ(๊ณ„์ • ์„ค์ •์—์„œ API ํ‚ค ๋ฐ ๋น„๋ฐ€๋ฒˆํ˜ธ ๊ฐ€์ ธ์˜ค๊ธฐ)
  • ํŠค๋ฆฝ ํ…Œ์ด๋ธ”(ํ…Œ์ด๋ธ” ๊ณ ์œ  ID ๊ฐ€์ ธ์˜ค๊ธฐ

์ƒ์œ„ ๋‹จ๊ณ„: 1. ๊ด€๋ จ ํŠธ๋ฆฌ๊ฑฐ(API ๊ฒŒ์ดํŠธ์›จ์ด, ์ด๋ฒคํŠธ ๋ธŒ๋ฆฌ์ง€ ํƒ€์ด๋จธ ๋“ฑ)๊ฐ€ ์žˆ๋Š” AWS Lambda ํ•จ์ˆ˜ ์ƒ์„ฑ 2. ์•„๋ž˜ ์˜ˆ์ œ```pythonimport jsonimport pandas as pdimport numpy as npimport ์š”์ฒญ์œผ๋กœ Tulip ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ``๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Tulip ํ…Œ์ด๋ธ” ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ

# ์ฐธ๊ณ  AWS์˜ pandas ๋ ˆ์ด์–ด๋Š” ๋‹ค์Œ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

# ๋ฅผ ๋žŒ๋‹ค ํ•จ์ˆ˜์— ์ถ”๊ฐ€ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

def lambda_handler(event, context): auth_header = OBTAIN FROM API AUTH header = {'Authorization' : auth_header} base_url = 'https://[INSTANCE].tulip.co/api/v3' offset = 0 function = f'/tables/[TABLE_ID]/records?limit=100&offset={offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=header) df = pd.DataFrame(r.json()) length = len(r.json()) while length > 0: offset += 100 function = f'/tables/[TABLE_ID]/records?limit=100&offset{offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=cdm_header) length = len(r.json()) df_append = pd.DataFrame(r.json()) df = pd.concat([df, df_append], axis=0) df.shape # ์ด๊ฒƒ์€ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์— 100๊ฐœ์˜ ๊ธฐ๋ก์„ ์ถ”๊ฐ€ํ•œ ๋‹ค์Œ S3, Firehose ๋“ฑ์— ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค. # ๋ฐ์ดํ„ฐ ๋ณ€์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ S3, Firehose ๋“ฑ์— ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค,
# ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๋“ฑ์— ์“ฐ๊ธฐ ์œ„ํ•ด ๋ฐ์ดํ„ฐ ๋ณ€์ˆ˜๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

  1. ํŠธ๋ฆฌ๊ฑฐ๋Š” ํƒ€์ด๋จธ๋กœ ์‹คํ–‰ํ•˜๊ฑฐ๋‚˜ URL์„ ํ†ตํ•ด ํŠธ๋ฆฌ๊ฑฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  2. ์•„๋ž˜ ์ด๋ฏธ์ง€์— ํ•„์š”ํ•œ Pandas ๋ ˆ์ด์–ด๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”image.png
  3. ๋งˆ์ง€๋ง‰์œผ๋กœ ํ•„์š”ํ•œ ์—ฐ๋™ ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค, S3 ๋˜๋Š” ๋žŒ๋‹ค ํ•จ์ˆ˜์—์„œ ์•Œ๋ฆผ ์„œ๋น„์Šค์— ๋ฐ์ดํ„ฐ๋ฅผ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์‚ฌ์šฉ ์‚ฌ๋ก€ ๋ฐ ๋‹ค์Œ ๋‹จ๊ณ„

lambda์™€์˜ ํ†ตํ•ฉ์„ ์™„๋ฃŒํ•œ ํ›„์—๋Š” ์ƒˆ๊ทธ๋ฉ”์ด์ปค ๋…ธํŠธ๋ถ, QuickSight ๋˜๋Š” ๊ธฐํƒ€ ๋‹ค์–‘ํ•œ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์‰ฝ๊ฒŒ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

1. ๊ฒฐํ•จ ์˜ˆ์ธก - ์ƒ์‚ฐ ๊ฒฐํ•จ์ด ๋ฐœ์ƒํ•˜๊ธฐ ์ „์— ๋ฏธ๋ฆฌ ํŒŒ์•…ํ•˜์—ฌ ๊ฐœ์„ ํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ์ƒ์‚ฐ ๋™์ธ์„ ํŒŒ์•…ํ•ฉ๋‹ˆ๋‹ค.

2. ํ’ˆ์งˆ ์ตœ์ ํ™” ๋น„์šฉ- ๊ณ ๊ฐ ๋งŒ์กฑ๋„์— ์˜ํ–ฅ์„ ์ฃผ์ง€ ์•Š๊ณ  ์ œํ’ˆ ์„ค๊ณ„๋ฅผ ์ตœ์ ํ™”ํ•  ์ˆ˜ ์žˆ๋Š” ๊ธฐํšŒ ํŒŒ์•…

3. ์ƒ์‚ฐ ์—๋„ˆ์ง€ ์ตœ์ ํ™”- ์—๋„ˆ์ง€ ์†Œ๋น„ ์ตœ์ ํ™”๋ฅผ ์œ„ํ•œ ์ƒ์‚ฐ ๋ ˆ๋ฒ„ ์‹๋ณ„

4. ๋‚ฉ๊ธฐ ๋ฐ ๊ณ„ํš ์˜ˆ์ธก ๋ฐ ์ตœ์ ํ™”- ๊ณ ๊ฐ ์ˆ˜์š” ๋ฐ ์‹ค์‹œ๊ฐ„ ์ฃผ๋ฌธ ์ผ์ •์— ๋”ฐ๋ผ ์ƒ์‚ฐ ์ผ์ • ์ตœ์ ํ™”

5. ๊ธ€๋กœ๋ฒŒ ๊ธฐ๊ณ„/๋ผ์ธ ๋ฒค์น˜๋งˆํ‚น- ์œ ์‚ฌ ๊ธฐ๊ณ„ ๋˜๋Š” ์žฅ๋น„์˜ ํ‘œ์ค€ํ™”๋ฅผ ํ†ตํ•œ ๋ฒค์น˜๋งˆํ‚น

6. ๊ธ€๋กœ๋ฒŒ/์ง€์—ญ๋ณ„ ๋””์ง€ํ„ธ ์„ฑ๊ณผ ๊ด€๋ฆฌ- ํ†ตํ•ฉ๋œ ๋ฐ์ดํ„ฐ๋กœ ์‹ค์‹œ๊ฐ„ ๋Œ€์‹œ๋ณด๋“œ ์ƒ์„ฑ