EXAONE 썸네일형 리스트형 [AI안테나] 한국 첫 추론 모델, LG 엑사원 딥 공개 인공지능에 관심이 많다면?매일 AI 소식들을 알차게 전해드리는AI안테나 뉴스레터를 구독해보세요! (구독하기) 인공지능과 함께 만드는 AI 뉴스레터2025년 3월 18일 화요일AGI 다 왔다 vs 최소 5년은 남았다AI 업계에서 항상 하는 얘기가 있어요.인간과 비슷한 수준을 갖는 인공지능(AGI)이 과연 언제 나올 것인가 하는 논쟁이에요.일론 머스크나 샘 올트먼과 같은 인물은 "거의 다 왔다"고 자부했는데요.이번에 구글 딥마인드의 CEO, 데미스 허사비스는 5년에서 10년은 더 걸릴 거라고 전망했어요. 누구의 예측이 맞을지는 모르겠지만, 보수적(?)으로 바라본 인물 조차 10년 이내라고 하니이 조차도 너무나 빨라 보이는 것... 저만 그런 거 아니죠? 오늘은 무슨 일이? 🇰🇷 한국 LG의 엑사원 딥.. 더보기 [AI_Antenna] EXAONE 3.5 모델이 공개됐다 NLP 프로젝트에서 맛보기로 살짝 사용해봤던 EXAONE 모델이 업데이트됐다.2024년 8월에 EXAONE-3.0이 공개된 이후, 12월 9일에 한번 더 EXAONE-3.5가 공개된 것.3.5 버전에는 7.8B 모델과 함께 온디바이스용을 타겟으로 한 듯 경량화된 2.4B 모델, 그리고 거대한 32B 모델 이렇게 3가지로 나뉜다. (2.4B 나도 함 써봐야지..ㅋㅋㅋ) 이전 3.0보다 성능이 확실히 좋다고 하는데. SFT, DPO 등을 사용해 모델 성능을 높여다고 한다. 특히 긴 맥락의 글을 더 잘 이해할 수 있다고. (최대 32K 토큰 맥락까지 처리 가능)EXAONE은 한글과 영어로 인스트럭션 튜닝된 모델이라서 한국어 관련 태스크에서는 유용하다. 한컴이랑도 AI 서비스 통합하는 프로젝트 하고 있다고... 더보기 [NLP] EXAONE 모델 가져다가 추론만 시키기 멘토링때 멘토님이 EXAONE 모델도 추천을 해주셔서 대회 하루 남겨놓고 급하게 추론만이라도 돌려본다. 30분이 지났는데도 아직도 요약문 만드는 중.. 생각보다 오래걸린다. 현재 사용하고 있는 모델: BM-K/EXAONE-3.0-7.8B-Daily-Conversation-Summary링크에 가면 Quick Start라고 어떻게 쓰면 되는지 나와있는데, 이 방법대로 따라갔다.먼저 모델을 불러와준다. (트랜스포머 버전 안맞으면 로드가 안됨.. 관련글)import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMdevice = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')mo.. 더보기 [NLP] 모델 한번 바꿀 때마다 난관... 우리 팀의 능력자(!) 분께서 또 찾아주신 모델!! EXAONE 모델을 대화문 요약으로 파인튜닝한 모델이 있어서, 이 모델로 인퍼런스 해볼라고 모델 로드하는데 자꾸 막혀서 계속 헤매다가...아 이거 어찌나 짜증나던지.. 클로드한테 물어봐도 자꾸 똑같은 말만 반복하고 access token 을 설정하라는둥, 모델 프라이빗에 있는거 아니냐는둥.. 도돌이표같은 얘기만 계속 하면서 시간을 버림ㅠ 그러다가 원래 모델인 EXAONE-3.0-7.8B-Instruct 페이지를 보다가 뒤늦게 발견했다. "We recommend to use transformers v4.41 or later."트랜스포버 버전을 최신 버전으로 업그레이드하고 액셀러레이터인가? 그거 업데이트하니까 된다..!!!하하하하 ㅠㅠㅠ이 창에서 얼마나 헤.. 더보기 이전 1 다음
