[가짜연구소 3기] KLUE로 모델 평가하기

KLUE 로 모델 평가하기


KLUE 로 모델 평가하기

  1. 한국어 AI 모델의 평가 지표 KLUE 벤치마크 를 경험하고,

  2. 총 8개의 task 에 대한 baseline 을 제작함으로써,

  3. 한국어 자연어처리의 최신 기술을 적용하고자 합니다.


크루 소개


본 자료는 가짜연구소 3기 KLUE 로 모델 평가하기 크루 활동으로 제작되었습니다.

기수

크루명

크루원

활동 일자

가짜연구소 3기

KLUE 로 모델 평가하기 크루

권지현 김대웅 김보석 송지현 오윤선 이승미 전명준

2021.07.21 ~ 2021.09.30

KLUE로 모델 평가하기 크루는 KLUE 벤치마크를 경험하는 것이 주 목표입니다. 8개의 과제에 대해 baseline code 를 구성하고 KLUE 벤치마크로 평가해보려 합니다.

Task 별 주요 담당자는 다음과 같습니다.

Index

Task

Topic

담당자

00

-

벤치마크의 의미, Transfer-Learning 시작하기

권지현 오윤선

01

YNAT (Topic Classification)

HuggingFace Hub 을 활용한 Fine tuning Baseline (YNAT task ver)

김대웅

02

Semantic Textual Similarity

HuggingFace Hub 을 활용한 Fine tuning Baseline (STS task ver)

김대웅

03

Natural language inference

Weight & Biase 을 활용한 Tokenizer 별 성능 비교

권지현

04

Named entity recognition

KoELECTRA 모델로 fine-tuning 하기

전명준

05

Relation extraction

BERT로 RE task 다루기, RE task 기초 베이스라인

김보석 이승미

06

Dependency Parsing

pytorch Lightning 적응기

권지현

07

Machine Reading Comprehension

MRC Task 에 대한 이해

송지현

08

Dialogue State Tracking (Wos)

wos 데이터 살펴보기

전명준


가짜연구소


가짜연구소는 진짜 연구소는 아니지만 머신러닝 연구를 중심으로 모인 커뮤니티입니다.

회사에서는 못하는 자유롭고 사소한 연구 및 활동을 할 수 있습니다. 비영리적으로 케글 관련한 밋업, 스터디, 코드 공유, 유튜브, 해커톤 및 각종 이벤트를 통해 공유의 가치를 형성하고자 합니다.

우리는 믿습니다. 열정을 가진 사람들이 세상을 더 나은 곳으로 변화시킬 수 있다고 말이죠. 엘리트 코스를 밟은 모범생의 이미지보다는, Steve Jobs가 말한 반항아들, 말썽 꾸러기들, 머신러닝/딥러닝/데이터사이언스 분야의 이단아가 되어 함께 세상에 영향력을 끼칩시다.

여기에서는 어떠한 대가도 바라지 않습니다. 여러분의 정보를 공유해주시고, 활발한 반응을 해주시면 운영진에게 큰 힘이 됩니다. 성장과 기회가 필요하신 분들께 자신의 열정과 능력을 펼칠 수 있도록 돕는 가짜연구소를 응원해주세요!