[대회] 노트북으로 GPT 맛보기 : 생성 요약 (Abstractive Summary) 대회

 

 

AI CONNECT에서 진행한 '노트북으로 GPT 맛보기' 대회에 참여하였다.

 

 

이 대회의 존재를 늦게 알아서, 접수 마감 하루전에 팀을 모아 대회에 참여하였다. 그리고 대회가 시작한 후에 본격적으로 어떤 식으로 결과물을 낼 수 있을지 준비를 시작했다.

 

'노트북으로 GPT 맛보기' 는 (언어 모델을 활용하여) 문서 생성 요약을 하는 대회로, 사실상 어떤 모델을 사용해서 대회에 참여하든지 제한이 없었다.

 

기본적으로 대회에서 kogpt를 다룰 수 있는 코드를 제공해줘서 좋았다. 또한, 저번에는 시도해보지 못했던 LoRA에 대해서도 접할 수 있다는 점도 좋았다.

 

물론 팀 내부에서 제공된 KoGPT 코드로 파인튜닝을 진행하고, 데이터를 추가해봤는데도 성능이 좋게 나오지 않았다. 또한, 실제로 KoGPT모델이 아닌 Fine tuning된 T5 모델을 사용했을 때 가장 성능이 좋았기에 T5로 test data의 답을 채워넣은 것을 최종 제출하였다.

 

 

[최종 결과 - Public]

 

Private 점수는 어떻게 될지 모르겠지만, 시간에 쫓기면서도 일단 10위권 안에 들었다는 것이 어느정도 기뻤다. 물론 추가적인 작업은 크게 없이 허깅페이스의 모델을 거의 사용하다시피 한 셈이라 애매하긴 하다. 그러나 Fine tuning을 따로 진행했을 때 오히려 성능이 떨어지는 경향을 보여서, 다른 팀들은 어떤 식으로 점수를 올렸을 지 궁금하다.

 

[소감]

 

약 10일간의 짧은 대회였기에 아쉬움이 먼저 남는다. 개강 이후에 전공 팀플들도 제법 있어서 대회에만 온전히 시간을 쏟지 못한 점도 아쉬웠다. 다만 이번 기회에 "생성 요약"이라는 분야에서 코드를 다뤄볼 수 있어 좋았다. 특히 KoGPT나 T5 모델을 사용해볼 수 있었던 좋은 기회였던 것 같다.

 

+) Final 기준 "7등"을 하였다.