๐๏ธย ์ฐธ๊ณ ์๋ฃ(Reference)
#
8.1. ํด๋ผ์ฐ๋ ์ปดํจํ ๊ธฐ๋ณธ ๊ฐ๋ #
๋ ํ์นด ๋ชจ๋ธ๊ณผ ๋น๊ต#
์๋์ฐจ๋ก ๋น์ ํ๋ฉด ํด๋ผ์ฐ๋๋ ๋ ํ์นด์ ์ ์ฌํ๋ค๊ณ ํ ์ ์์ต๋๋ค
๋ฆฌ์์ค ๊ณต์ : ๋ ํ์นด๋ ์ฌ๋ฌ ์ฌ๋์ด ๊ณต์ ํ์ฌ ์ฌ์ฉํ ์ ์๋ ์๋์ฐจ์ ๋๋ค. ๋น์ทํ๊ฒ, ํด๋ผ์ฐ๋๋ ์ฌ๋ฌ ์ฌ์ฉ์๊ฐ ๊ฐ์ํ๋ ๋ฆฌ์์ค๋ฅผ ๊ณต์ ํ์ฌ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฌ๋ฌ ์กฐ์ง์ด๋ ๊ฐ์ธ์ด ํด๋ผ์ฐ๋ ์๋น์ค ์ ๊ณต์ ์ฒด๋ฅผ ํตํด ์ปดํจํ ๋ฆฌ์์ค๋ฅผ ๊ณต์ ํ๊ณ ํ์์ ๋ฐ๋ผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
์ ์ฐ์ฑ๊ณผ ํ์ฅ์ฑ: ๋ ํ์นด๋ ํ์์ ๋ฐ๋ผ ์ ์ฐํ๊ฒ ๋์ฌํ ์ ์๋ ์๋์ฐจ์ ๋๋ค. ๋น์ทํ๊ฒ, ํด๋ผ์ฐ๋๋ ํ์์ ๋ฐ๋ผ ์ปดํจํ ๋ฆฌ์์ค๋ฅผ ์ ์ฐํ๊ฒ ์กฐ์ ํ๊ณ ํ์ฅํ ์ ์์ต๋๋ค. ํด๋ผ์ฐ๋๋ ํ์ํ ๋งํผ์ ๋ฆฌ์์ค๋ฅผ ์ ๊ณตํ๊ณ , ํ์๊ฐ ์ค๋ฉด ๋ฆฌ์์ค๋ฅผ ์ค์ผ ์ ์์ด์ ๋น์ฉ๊ณผ ์ฑ๋ฅ์ ์ต์ ํํ ์ ์์ต๋๋ค.
๊ด๋ฆฌ์ ๊ฐ์ํ: ๋ ํ์นด๋ฅผ ์ด์ฉํ๋ฉด ์๋์ฐจ์ ์ ์ง๋ณด์, ๋ณดํ ๋ฑ์ ๊ด๋ฆฌ๋ฅผ ๊ฐ์ธ์ด ์ง์ ์ ๊ฒฝ์ฐ์ง ์์๋ ๋ฉ๋๋ค. ๋น์ทํ๊ฒ, ํด๋ผ์ฐ๋๋ ์ฌ์ฉ์๊ฐ ์ธํ๋ผ์ ๊ด๋ฆฌ์ ์ ์ง๋ณด์์ ๋ํด ๊ฑฑ์ ํ ํ์๊ฐ ์์ต๋๋ค. ํด๋ผ์ฐ๋ ์ ๊ณต์ ์ฒด๊ฐ ์๋ฒ์ ๊ด๋ฆฌ, ๋ณด์, ์ ๊ทธ๋ ์ด๋ ๋ฑ์ ์ฒ๋ฆฌํด์ค๋๋ค.
์ฌ์ฉ์ ๋ฐ๋ฅธ ๋น์ฉ ์ง๋ถ: ๋ ํ์นด๋ ์ฌ์ฉํ ๋งํผ์ ์๊ฐ ๋๋ ๊ฑฐ๋ฆฌ์ ๋ํด ๋น์ฉ์ ์ง๋ถํฉ๋๋ค. ํด๋ผ์ฐ๋๋ ์ฌ์ฉํ ๋งํผ์ ์ปดํจํ ๋ฆฌ์์ค์ ๋ํด ๋น์ฉ์ ์ง๋ถํ๋ Pay-as-you-go ๋ชจ๋ธ์ ์ ๊ณตํฉ๋๋ค. ํ์ํ ๋งํผ์ ๋ฆฌ์์ค๋ฅผ ์ฌ์ฉํ๊ณ , ์ฌ์ฉํ์ง ์์ ๋๋ ๋น์ฉ์ ์ ์ฝํ ์ ์์ต๋๋ค.
ํด๋ผ์ฐ๋ ์๋น์ค
:#
์ปดํจํ :ย ์ํฌ๋ก๋๋ฅผ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๋๋ ์ ๊ณต
์ ์ฅ:ย ๋ฐ์ดํฐ ์ ์ฅ ๋ฐ ์ ์ฅ
๋ฐ์ดํฐ๋ฒ ์ด์ค:ย ๋ณด๋ค ๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ ์ธํธ ์ ์ฅ
ํด๋ผ์ฐ๋ ์ปดํจํ
ํน์ฑ
:#
1.๊ฐ์ํ -ย ํด๋ผ์ฐ๋ ์ปดํจํ ์ ๊ฐํํ๋ ๊ธฐ๋ณธ ๊ธฐ์ .
๊ฐ์ํ
๊ฐ์ํ๋ ๋ชจ๋ ์ต์ ํด๋ผ์ฐ๋ ํ๊ฒฝ์ ํต์ฌ์ด๋ฉฐ ์๋์ ํ์๋ ํด๋ผ์ฐ๋ ์ธํ๋ผ์ ๋๋ค.ย ๋ชจ๋ ํด๋ผ์ฐ๋์์ ์ ์ฐ์ฑ, ํ๋ ฅ์ฑ, ๊ด๋ฆฌ ์ฉ์ด์ฑ ๋ฐ ํ์ฅ์ฑ์ ์ ๊ณตํ๋ ๋จ์๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๊ฐ์ ๋จธ์ ์ด ์ ๊ณตํ๋ ํ๋์จ์ด ๋ ๋ฆฝ์ฑ๊ณผ ์ด์์ฑ์ ํตํด ๊ฐ์ ๋จธ์ ์ ๋๋ค.
2ย .ย ๋น์ฉ-ย ์์์ ์ฌ์ฉํ ๋๋ง ๋น์ฉ์ ์ง๋ถํ์ญ์์ค.
์ฌ์ฉํ ๋งํผ ์ง๋ถ
์๋ณธ ๋น์ฉ ์์: ํ๋์จ์ด ๋ฐ ์ํํธ์จ์ด ๊ตฌ๋งค, ํ์ฅ ์ธํ๋ผ ๊ด๋ฆฌ๋น์ฉ์ด ๋ฐ์ํ์ง ์์
๊ธฐ์ ์ ๋ฐ๋ผ ํด๋ผ์ฐ๋ ๋์ ์ด ๋น์ฉ ํจ์จ์ ์ผ ์ ์์ต๋๋ค. ์ต์์ ์๋ฃจ์ ์ ์ฌ์ฉ ์ฌ๋ก์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค.
3.ย ์์ ์ฑ - ํด๋ผ์ฐ๋ ์ปดํจํ ์ ์ฌ์ฉํ๊ณผ ๋์์ ์์ ์ฑ์ ๋ํ ์ ์์
์์ ์ฑ ์ ๊ณต
ํ๊ฒฝ์ ์์ ์ฑ์ ๊ตฌ์ถํ๋ ค๋ฉด ๋ง์ ๋น์ฉ์ด ์์๋ ์ ์์ต๋๋ค.ย ์ผ๋ฐ์ ์ผ๋ก ์ฌ๋ฌ ์์คํ ๋๋ ์ฌ๋ฌ ๋ฐ์ดํฐ ์ผํฐ ์์น๋ฅผ ํฌํจํฉ๋๋ค.ย DR(์ฌํด ๋ณต๊ตฌ) ๋ฐ ์ฐ์์ฑ ๊ณํ๊ณผ ์๋ฎฌ๋ ์ด์ ์ ์ํํด์ผ ํฉ๋๋ค.ย ๋ง์ ํด๋ผ์ฐ๋ ๊ณต๊ธ์๊ฐ ์ด๋ฏธ ์ฌ๋ฌ ์์น๋ฅผ ์ค์ ํ์ผ๋ฏ๋ก ํด๋น ์๋น์ค๋ฅผ ์ฌ์ฉํ๋ฉด ์ฆ์ ํ๊ฒฝ์ ์์ ์ฑ์ ์ถ๊ฐํ ์ ์์ต๋๋ค.ย ์๋น์ค์์ ์ฌ๋ฌ ์์น๋ฅผ ์ฌ์ฉํ๋๋ก ์์ฒญํด์ผ ํ ์๋ ์์ง๋ง ์ต์ํ ์ ํ ์ฌํญ์ ๋๋ค.
4. ์๋ -ย ๋ฐ๋ก ์ฌ์ฉํ ์ ์๋ ํด๋ผ์ฐ๋ ๋ฆฌ์์ค์ ๋ํ ์ฆ๊ฐ์ ์ธ ์ก์ธ์ค
์ฃผ๋ฌธํ ๋ฆฌ์์ค
๋น ๋ฅธ ์ค์ ์๊ฐ
๋ช ๋ถ ๋ง์ ์๋น์ค ๋ฐฐํฌ
5. ์ฑ๋ฅย -ย ํด๋ผ์ฐ๋ ์์คํ ์ ์ฑ๋ฅ์ ์ง์์ ์ผ๋ก ์ธก์ ๋๊ณ ๋ชจ๋ํฐ๋ง๋จ
์ฑ๋ฅ ๋ชจ๋ํฐ๋ง
์ผ์ ์์ค์ SLA ๋ณด์ฅ
์ฑ๋ฅ์ด ํน์ ์์ค ์๋๋ก ๋จ์ด์ง๋ฉด ์์คํ ์ด ์๋์ผ๋ก ์กฐ์ ๋์ด ํ์ํ ๊ฒฝ์ฐ ๋ ๋ง์ ์ฉ๋์ ์ ๊ณตํ ์ ์์ต๋๋ค.ย ์๋น์ค ์์ค ๊ณ์ฝ(SLA)์ ์กด์ฌ๋ ์ด์ ์ ๋๋ค.ย SLA๋ ์ผ์ ์์ค์ ์ฑ๋ฅ์ ๋ณด์ฅํฉ๋๋ค.ย ํด๋น ์์ค์ด ์ถฉ์กฑ๋์ง ์์ผ๋ฉด ์๋น์ค ์ ๊ณต์๋ ์ผ๋ฐ์ ์ผ๋ก ์ผ์ ์์ค์ ๋ฐฐ์์ ์ถฉ์กฑํด์ผ ํฉ๋๋ค.ย ์ด๋ฌํ ๋ฐฐ์์ ๋๊ฐ ์ง๋ถ ๊ฑฐ์ ๋๋ ์์๋ฃ ๊ฐ๋ฉด์ ํํ๋ก ์ด๋ฃจ์ด์ง๋๋ค.ย ๋ฐ๋ผ์ ์ฑ๋ฅ ์์ฒด๋ ๋ณด์ฅ๋์ง ์์ง๋ง ์ฑ๋ฅ ๋ถ์กฑ์ผ๋ก ์ธํ ๋น์ฉ์ ์ํํ ์ ์๋ค๋ ํ์ ์ด ์์ ์ ์์ต๋๋ค.
6. ํ์ฅ์ฑ -ย ํ์ํ ๋ ๋ฆฌ์์ค๋ฅผ ์ฝ๊ฒ ์ถ๊ฐ ๋ฐ ์ ๊ฑฐ
ํ์ฅ์ฑ
์ค์ผ์ผ ์ ๋ฐ ์ค์ผ์ผ ์์
์:์ ์์๊ฑฐ๋ ์ฌ์ดํธ
ํผํฌ ์๊ฐ ๋์ ๋ ๋ง์ ๋ฆฌ์์ค๊ฐ ํ์ํฉ๋๋ค. ํ์์ ๋ฐ๋ผ ๋ฆฌ์์ค ํ์ฅ๊ฐ๋ฅํฉ๋๋ค.
7. ๋ฏผ์ฒฉ์ฑ - ํด๋ผ์ฐ๋ ํ๊ฒฝ์ ๋ฐ์ด๋ ๋ฏผ์ฒฉ์ฑ์ ์ ๊ณต
ํ์ํ ๋ ๋ฆฌ์์ค๋ฅผ ์ฝ๊ฒ ๋ค์ ์ ์ ํ๊ฒ ์ฌ์ฉํ ์ ์์ต๋๋ค.ย ์ด๋ฅผ ํตํด ๋ฆฌ์์ค๊ฐ ํ์ํ ์์คํ ์ ๋ฆฌ์์ค๋ฅผ ์ถ๊ฐํ๊ณ ๊ทธ๋ ์ง ์์ ์์คํ ์์ ์ ๊ฑฐํ ์ ์์ต๋๋ค.ย ์์คํ ์ ์ฝ๊ฒ ์ถ๊ฐํ์ฌ ์ฉ๋์ ํ์ฅํ ์๋ ์์ต๋๋ค.ย ๋ด๋ถ ํด๋ผ์ฐ๋ ํ๊ฒฝ์ ํตํด ๋ด๋ถ ์ธํ๋ผ ๋ฆฌ์์ค๋ฅผ ๋ ์ ํ์ฉํ ์ ์์ต๋๋ค.ย ๊ฐ์ํ๋ฅผ ์ฌ์ฉํ๋ ํด๋ผ์ฐ๋ ์ธํ๋ผ๋ ๋ฐ๋์ ์ธํ๋ผ ํ์ฉ๋ฅ ์ ๋์ด๋ ๋ฐ ๋์์ด ๋ ์ ์์ต๋๋ค.ย ๊ฒฐ๊ณผ์ ์ผ๋ก ์์คํ ์ด ์ ํด ์ํ์ผ ๊ฐ๋ฅ์ฑ์ด ์ค์ด๋ญ๋๋ค.
8. ๋ณด์ -ย ๋ฐ์ดํฐ์ ์์ ํ ์ ์ฅ ๋ฐ ๊ด๋ฆฌ
8.3. ํด๋ผ์ฐ๋ ์ปดํจํ ์์์ ๋ฐ์ดํฐ ์์ง๋์ด๋ง#
1) ๋น์ฆ๋์ค ์์ฌ๊ฒฐ์ ์ ์ํ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ(KPI)#
Apache Superset
dbt
Apache Superset: A hidden gemโฆ
dbt - Transform data in your warehouse
Apache Superset: A hidden gem in the heaps of BI tools? - Part II.
2.)ํตํฉ ๋ถ์ ํ๊ฒฝ ๊ตฌ์ถ#
Google Cloud
3) ์ถ์ฒ ์์คํ #
29cm ๊ธฐ์ ๋ธ๋ก๊ทธ
GCP Recommendations AI(Retail) ์๋น์ค๋ฅผ ํ์ฉํ ์ถ์ฒ ์๋น์ค ๊ตฌ์ถ
8.4. ๋ฉํฐ ํด๋ผ์ฐ๋ ํ๊ฒฝ#
8.5. ๋ฉํฐ ํด๋ผ์ฐ๋ ํ๊ฒฝ์์์ ๋ฐ์ดํฐ ์์ง๋์ด๋ง#
ํ์ด๋ธ๋ฆฌ๋ ํด๋ผ์ฐ๋์ ๋ํ ์ง๊ด์ ์ธ ๋ค์ด์ด๊ทธ๋จ
An intro to Cloud Computing for Data Scientists and Data Engineers
AWS DMS๋ฅผ ์ฌ์ฉํ์ฌ ์ง์ ๋ณต์ ๋ฅผ ์ํ ์์ ์์ฑ
AWS DMS๋ฅผ ์ฌ์ฉํ์ฌ ์ง์ ๋ณต์ ๋ฅผ ์ํ ์์ ์์ฑ - AWS Database Migration Service
Definition: stream processing
What is Stream Processing? Introduction and Overview
Kafka Topic์ด๋
์ฝ์ด๋ณด๋ฉด ์ข์ ์๋ฃ#
๋์ผ๋ก ํจ๊ป ์ฝ์ด๋ณด๋ฉด ์ข์ ์๋ฃ๋ฅผ ์ฒจ๋ถํ๊ณ ๋ง์น๋๋ก ํ๊ฒ ์ต๋๋ค :)