[가짜연구소 3기] KLUE로 모델 평가하기¶
KLUE 로 모델 평가하기¶
KLUE 로 모델 평가하기 는
한국어 AI 모델의 평가 지표 KLUE 벤치마크 를 경험하고,
총 8개의 task 에 대한 baseline 을 제작함으로써,
한국어 자연어처리의 최신 기술을 적용하고자 합니다.
크루 소개¶
본 자료는 가짜연구소 3기 KLUE 로 모델 평가하기 크루 활동으로 제작되었습니다.
기수 |
크루명 |
크루원 |
활동 일자 |
|---|---|---|---|
가짜연구소 3기 |
KLUE 로 모델 평가하기 크루 |
2021.07.21 ~ 2021.09.30 |
KLUE로 모델 평가하기 크루는 KLUE 벤치마크를 경험하는 것이 주 목표입니다. 8개의 과제에 대해 baseline code 를 구성하고 KLUE 벤치마크로 평가해보려 합니다.
Task 별 주요 담당자는 다음과 같습니다.
Index |
Task |
Topic |
담당자 |
|---|---|---|---|
00 |
- |
벤치마크의 의미, Transfer-Learning 시작하기 |
|
01 |
YNAT (Topic Classification) |
HuggingFace Hub 을 활용한 Fine tuning Baseline (YNAT task ver) |
|
02 |
Semantic Textual Similarity |
HuggingFace Hub 을 활용한 Fine tuning Baseline (STS task ver) |
|
03 |
Natural language inference |
Weight & Biase 을 활용한 Tokenizer 별 성능 비교 |
|
04 |
Named entity recognition |
KoELECTRA 모델로 fine-tuning 하기 |
|
05 |
Relation extraction |
BERT로 RE task 다루기, RE task 기초 베이스라인 |
|
06 |
Dependency Parsing |
pytorch Lightning 적응기 |
|
07 |
Machine Reading Comprehension |
MRC Task 에 대한 이해 |
|
08 |
Dialogue State Tracking (Wos) |
wos 데이터 살펴보기 |
가짜연구소¶
가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다.
회사에서는 못하는 자유롭고 사소한 연구 및 활동을 할 수 있습니다. 비영리적으로 케글 관련한 밋업, 스터디, 코드 공유, 유튜브, 해커톤 및 각종 이벤트를 통해 공유의 가치를 형성하고자 합니다.
우리는 믿습니다. 열정을 가진 사람들이 세상을 더 나은 곳으로 변화시킬 수 있다고 말이죠. 엘리트 코스를 밟은 모범생의 이미지보다는, Steve Jobs가 말한 반항아들, 말썽 꾸러기들, 머신러닝/딥러닝/데이터사이언스 분야의 이단아가 되어 함께 세상에 영향력을 끼칩시다.
여기에서는 어떠한 대가도 바라지 않습니다. 여러분의 정보를 공유해주시고, 활발한 반응을 해주시면 운영진에게 큰 힘이 됩니다. 성장과 기회가 필요하신 분들께 자신의 열정과 능력을 펼칠 수 있도록 돕는 가짜연구소를 응원해주세요!
홈페이지: pseudo-lab.com
Github: github.com/Pseudo-Lab
Facebook: facebook.com/groups/pseudolab
Linkedin: linkedin.com/company/pseudolab)