๋ ๊ด๋ฒ์ํ ๋ถ์ ๋ฐ ํตํฉ ๊ธฐํ๋ฅผ ์ํด Tulip์์ AWS๋ก ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ ๊ฐ์ํ
๋ชฉ์
์ด ๊ฐ์ด๋์์๋ ๋๋ค ํจ์๋ฅผ ํตํด Tulip ํ ์ด๋ธ ๋ฐ์ดํฐ๋ฅผ AWS๋ก ๊ฐ์ ธ์ค๋ ๋ฐฉ๋ฒ์ ๋จ๊ณ๋ณ๋ก ์๋ดํฉ๋๋ค.
๋๋ค ํจ์๋ ์ด๋ฒคํธ ๋ธ๋ฆฌ์ง ํ์ด๋จธ ๋๋ API ๊ฒ์ดํธ์จ์ด์ ๊ฐ์ ๋ค์ํ ๋ฆฌ์์ค๋ฅผ ํตํด ํธ๋ฆฌ๊ฑฐํ ์ ์์ต๋๋ค.
์ํคํ ์ฒ ์์๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:

API ๊ฒ์ดํธ์จ์ด์ ๋๋ค ํจ์๋ฅผ ์ฌ์ฉํ๋ฉด Tulip ์ธก์์ ์ฌ์ฉ์ ์ด๋ฆ๊ณผ ๋น๋ฐ๋ฒํธ๋ก ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์ธ์ฆํ ํ์ ์์ด AWS ๋ด๋ถ์ IAM ์ธ์ฆ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ ์ ์๊ธฐ ๋๋ฌธ์ ๋๋ค ํจ์ ๋ด์์ AWS ์์ ์ ์ํํ๋ ๊ฒ์ด ๋ ์ฌ์์ง ์ ์์ต๋๋ค. ๋ํ Redshift, DynamoDB ๋ฑ๊ณผ ๊ฐ์ ๋ค๋ฅธ AWS ์๋น์ค๋ฅผ ํ์ฉํ๋ ๋ฐฉ๋ฒ๋ ๊ฐ์ํ๋ฉ๋๋ค.
์ค์
์ด ์์ ์ฐ๋์๋ ๋ค์์ด ํ์ํฉ๋๋ค:
- ํค๋ฆฝ ํ ์ด๋ธ API ์ฌ์ฉ(๊ณ์ ์ค์ ์์ API ํค ๋ฐ ๋น๋ฐ๋ฒํธ ๊ฐ์ ธ์ค๊ธฐ)
- ํค๋ฆฝ ํ ์ด๋ธ(ํ ์ด๋ธ ๊ณ ์ ID ๊ฐ์ ธ์ค๊ธฐ
์์ ๋จ๊ณ: 1. ๊ด๋ จ ํธ๋ฆฌ๊ฑฐ(API ๊ฒ์ดํธ์จ์ด, ์ด๋ฒคํธ ๋ธ๋ฆฌ์ง ํ์ด๋จธ ๋ฑ)๊ฐ ์๋ AWS Lambda ํจ์ ์์ฑ 2. ์๋ ์์ ```pythonimport jsonimport pandas as pdimport numpy as npimport ์์ฒญ์ผ๋ก Tulip ํ ์ด๋ธ ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ``๋ฅผ ์ฌ์ฉํ์ฌ Tulip ํ ์ด๋ธ ๋ฐ์ดํฐ ๊ฐ์ ธ์ค๊ธฐ
# ์ฐธ๊ณ AWS์ pandas ๋ ์ด์ด๋ ๋ค์์ด ํ์ํฉ๋๋ค.
# ๋ฅผ ๋๋ค ํจ์์ ์ถ๊ฐํด์ผ ํฉ๋๋ค.
def lambda_handler(event, context): auth_header = OBTAIN FROM API AUTH header = {'Authorization' : auth_header} base_url = 'https://[INSTANCE].tulip.co/api/v3' offset = 0 function = f'/tables/[TABLE_ID]/records?limit=100&offset={offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=header) df = pd.DataFrame(r.json()) length = len(r.json()) while length > 0: offset += 100 function = f'/tables/[TABLE_ID]/records?limit=100&offset{offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=cdm_header) length = len(r.json()) df_append = pd.DataFrame(r.json()) df = pd.concat([df, df_append], axis=0) df.shape # ์ด๊ฒ์ ๋ฐ์ดํฐ ํ๋ ์์ 100๊ฐ์ ๊ธฐ๋ก์ ์ถ๊ฐํ ๋ค์ S3, Firehose ๋ฑ์ ์ฌ์ฉํ ์ ์๊ฒ ํฉ๋๋ค. # ๋ฐ์ดํฐ ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ S3, Firehose ๋ฑ์ ์ธ ์ ์์ต๋๋ค,
# ๋ฐ์ดํฐ๋ฒ ์ด์ค ๋ฑ์ ์ฐ๊ธฐ ์ํด ๋ฐ์ดํฐ ๋ณ์๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- ํธ๋ฆฌ๊ฑฐ๋ ํ์ด๋จธ๋ก ์คํํ๊ฑฐ๋ URL์ ํตํด ํธ๋ฆฌ๊ฑฐํ ์ ์์ต๋๋ค.
- ์๋ ์ด๋ฏธ์ง์ ํ์ํ Pandas ๋ ์ด์ด๋ฅผ ์ฐธ๊ณ ํ์ธ์

- ๋ง์ง๋ง์ผ๋ก ํ์ํ ์ฐ๋ ๊ธฐ๋ฅ์ ์ถ๊ฐํฉ๋๋ค. ๋ฐ์ดํฐ๋ฒ ์ด์ค, S3 ๋๋ ๋๋ค ํจ์์์ ์๋ฆผ ์๋น์ค์ ๋ฐ์ดํฐ๋ฅผ ์ธ ์ ์์ต๋๋ค.
์ฌ์ฉ ์ฌ๋ก ๋ฐ ๋ค์ ๋จ๊ณ
lambda์์ ํตํฉ์ ์๋ฃํ ํ์๋ ์๊ทธ๋ฉ์ด์ปค ๋ ธํธ๋ถ, QuickSight ๋๋ ๊ธฐํ ๋ค์ํ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฒ ๋ถ์ํ ์ ์์ต๋๋ค.
1. ๊ฒฐํจ ์์ธก - ์์ฐ ๊ฒฐํจ์ด ๋ฐ์ํ๊ธฐ ์ ์ ๋ฏธ๋ฆฌ ํ์ ํ์ฌ ๊ฐ์ ํ๊ธฐ ์ํ ํต์ฌ ์์ฐ ๋์ธ์ ํ์ ํฉ๋๋ค.
2. ํ์ง ์ต์ ํ ๋น์ฉ- ๊ณ ๊ฐ ๋ง์กฑ๋์ ์ํฅ์ ์ฃผ์ง ์๊ณ ์ ํ ์ค๊ณ๋ฅผ ์ต์ ํํ ์ ์๋ ๊ธฐํ ํ์
3. ์์ฐ ์๋์ง ์ต์ ํ- ์๋์ง ์๋น ์ต์ ํ๋ฅผ ์ํ ์์ฐ ๋ ๋ฒ ์๋ณ
4. ๋ฉ๊ธฐ ๋ฐ ๊ณํ ์์ธก ๋ฐ ์ต์ ํ- ๊ณ ๊ฐ ์์ ๋ฐ ์ค์๊ฐ ์ฃผ๋ฌธ ์ผ์ ์ ๋ฐ๋ผ ์์ฐ ์ผ์ ์ต์ ํ
5. ๊ธ๋ก๋ฒ ๊ธฐ๊ณ/๋ผ์ธ ๋ฒค์น๋งํน- ์ ์ฌ ๊ธฐ๊ณ ๋๋ ์ฅ๋น์ ํ์คํ๋ฅผ ํตํ ๋ฒค์น๋งํน
6. ๊ธ๋ก๋ฒ/์ง์ญ๋ณ ๋์งํธ ์ฑ๊ณผ ๊ด๋ฆฌ- ํตํฉ๋ ๋ฐ์ดํฐ๋ก ์ค์๊ฐ ๋์๋ณด๋ ์์ฑ
