[NLP] 모델 한번 바꿀 때마다 난관...

우리 팀의 능력자(!) 분께서 또 찾아주신 모델!! 

EXAONE 모델을 대화문 요약으로 파인튜닝한 모델이 있어서, 이 모델로 인퍼런스 해볼라고 모델 로드하는데 자꾸 막혀서 계속 헤매다가...

아 이거 어찌나 짜증나던지.. 클로드한테 물어봐도 자꾸 똑같은 말만 반복하고 access token 을 설정하라는둥, 모델 프라이빗에 있는거 아니냐는둥.. 도돌이표같은 얘기만 계속 하면서 시간을 버림ㅠ 그러다가 원래 모델인 EXAONE-3.0-7.8B-Instruct 페이지를 보다가 뒤늦게 발견했다. 

"We recommend to use transformers v4.41 or later."

트랜스포버 버전을 최신 버전으로 업그레이드하고 액셀러레이터인가? 그거 업데이트하니까 된다..!!!

하하하하 ㅠㅠㅠ이 창에서 얼마나 헤맸는지ㅠㅠㅠ 정답은 의외로 너무 사소했던 버전이슈... 앞으로는 버전을 잘 체크하자

https://huggingface.co/BM-K/EXAONE-3.0-7.8B-Daily-Conversation-Summary

BM-K/EXAONE-3.0-7.8B-Daily-Conversation-Summary · Hugging Face

 

 

그리고 어제부터 계속 헤매고 있던.. 아직 정답을 찾지 못한 모델의 이슈도 하나 있다.

T5 모델 중에 한국어로 요약 태스크를 사전학습한 모델인데, 

eenzeenee/t5-base-korean-summarization

자꾸 데이터 내용 중에 들어간

'#Person1#', '#Person2#', '#Person3#', '#Person4#', '#Person5#', '#Person6#', '#Person7#'

이 정보를 이따구로 '사시는데'로 만들어버린다;

대체 왜... 이거 모델 구조가 좀 달라서 기존 베이스라인 코드에서 이것저것 만졌는데 뭔가가 잘못된 것 같다.. 

인코딩 디코딩에 들어가는 스페셜 토큰 제대로 들어가는지 확인했는데도 안됨;