DE4E: Data Engineering for Everybody

DE4E: Data Engineering for Everybody by Pseudo-Lab.

Loved the project? Please visit our Website

Welcome to our DE4E repository!
We aim to give you a complete understanding of data engineering, from fundamentals to advanced concepts. Whether you’re new or experienced, our repository empowers data lovers with the knowledge and skills for success in the data-driven era. Join us on this exciting journey as we unlock the full potential of data engineering together!

DE4E: Data Engineering for Everybody

Acknowledgement 🙏

DE4E: Data Engineering for Everybody는 가짜연구소의 DSF 프로그램에서 시작되었습니다.
시작에 앞서 감사의 말씀을 전합니다.

가짜연구소는 DataCamp의 후원을 받아 Donates 프로그램을 진행하고 있습니다. 프로그램을 통해 구직자, 불완전 취업자, 비영리 연구 과학자, 학생분들께 DataCamp에서 제공하는 다양한 코스와 트랙을 제공합니다. 본 프로젝트는 DataCamp Donates 프로그램 중 하나인 Data Science Fellowship으로부터 시작되었습니다.

DE4E는 데이터 분석가, 데이터 과학자, 데이터 엔지니어, 머신러닝 엔지니어가 함께 모여 데이터의, 데이터에 의한, 데이터를 위한 Data Engineering Repository를 만들어 나가고자 합니다.

Contents

• Self-Check List

• Session 1. Introduction to Data Engineering

• Session 2. Data Sources and Data Collection

• Session 3. Data Transformation and Cleaning

• Session 4. Data Storage

• Session 5. Data Processing Frameworks

• Session 6. Data Processing Frameworks II

• Session 7. Introduction to Apache Airflow

• Session 8. Cloud Computing and Data Engineering

• Capstone Project(In Progress)
  
  

Schedule

idx	Date	Subject	Presenter	Pre-Question	Tag
0	2023-03-26	Session 0. Orientation	이영전	Why should we learn Data Engineering?	#OT #Direction # Motivation
1	2023-04-02	Session 1. Introduction to Data Engineering	이영전	What is Data Engineering?	#Data Engineering #Discussion
2	2023-04-09	Session 2. Data Sources and Data Collection	이동욱, 김세현	How can we collect data from variaty sources?	#Source Data #Data Collection #Data Type #Structured Data #Unstructured Data #Batch Data #Real-time Data
3	2023-04-16	Session 3. Data Transformation and Cleaning	이영전	How can we transform data more efficiently?	#Data Processing
4	2023-04-30	Session 4. Data Storage	송윤호, 전희선	How can we store data more efficiently?	#Data Store #Database #Data Lake #Lakehouse #Object-Storage #NoSQL
5	2023-05-07	Session 5. Data Processing Frameworks	정경륜, 이화림	How data processing framework help us?	#Hadoop Eco-system #Parallel Computing
6	2023-05-14	Session 6. Data Processing Frameworks II	김예신, 최한승	Learn about various data processing framework	#Apache Spark #Apache Kafka #Apache Storm #Apache Flink
7	2023-05-28	Session 7. Introduction to Apache Airflow	김성훈, 이희민	How can we schedule, orchestrate data processing?	#Apache Airflow #Tutorial
8	2023-06-04	Session 8. Cloud Computing and Data Engineering	이민행, 이영전	What is Cloud Computing? and Why it is so important?	#Cloud Computing #Multi-Cloud #Data Engineering
9	2023-06-18	Capstone Project	이화림	Let’s dive into Data Engineering Capstone Proeject	#Capstone Project
10	2023-07-09 -	Project Management	이영전, 전희선, 정경륜, 이동욱, 김예신	Build Together!	#Share #Motivation #Delighted to work together #Pseudo-Lab

Contributors 😃

About us 👋🏼

가짜연구소는 머신러닝, 데이터 사이언스, 데이터 엔지니어링을 중심으로 모인 비영리단체입니다. 누구나 원하는 연구를 할 수 있는 시작점이 되는, 진짜보다 더 진짜 같은 연구소를 꿈꾸고 있습니다. 공유(Share), 동기부여(Motivation), 함께하는 즐거움(Delighted to work together)라는 핵심가치를 추구하며 약 1800여 명의 연구원분들이 오늘도 함께 머신러닝, 데이터 사이언스, 데이터 엔지니어링 분야에 선한 영향력을 행사하고 있습니다. 보다 자세한 내용은 여기서 살펴보실 수 있습니다.

License 🗞

This project is licensed under MIT license.