본문 바로가기

LLM

프롬프트 엔지니어링 7편 | 자동 프롬프트 엔지니어링, 코딩, 멀티모달 딱 한 줄 바꿨을 뿐인데, 답변의 퀄리티가 이렇게 차이난다고? 맞습니다. 똑같은 돈을 내고 AI 모델을 사용하더라도, 어떻게 질문을 하느냐에 따라 얻을 수 있는 결과는 천차만별입니다. 어떻게 하면 AI의 성능을 최대로 끌어내어 정확하고 의미있는 답변을 출력하게 할 수 있을까요? 구글에서 발간한 화제의 백서, “Lee Boonstra의 프롬프트 엔지니어링 백서”를 보면 알 수 있습니다. 원문은 모두 영어로 되어 있는데요. 이번 백서의 내용을 꼼꼼히 공부하고, 직접 실험해보면서 중요한 개념들을 해설하는 시리즈를 기획했습니다. 총 8편에 걸쳐 진행될 예정이며, 구글 백서 원문은 이곳(링크)에서 확인할 수 있습니다. [구글 프롬프트 엔지니어링 백서 파헤치기 시리즈]1편 - LLM의 작동 방식과 config 조정.. 더보기
RAG, AI Agent란 무엇인가 | 지식의 확장과 집중 | 구조화된 데이터 업스테이지 프라이빗 세미나 2회차 AI Agent/ RAG 기술 동향요즘 가장 핫하고 많은 분들이 관심을 가지고 있는 주제, 바로 에이전트와 RAG입니다. 저도 정말 관심이 많은데요. 4월 9일 업스테이지의 프라이빗 세미나(Up-Edu Private Seminar) 2회차에서 “AI Agent/ RAG 기술 동향”을 주제로 기술 소개와 인사이트를 공유했습니다. 1회차 세미나에서는 AGI 시대에 앞으로 어떻게 살아야 할 것인가를 다뤘다면, 이번 회차에서는 AI Agent/ RAG 두 기술의 개념과 차이점, 그리고 이를 구현하는 과정에서 데이터 처리에 대한 내용을 다뤘는데요. 업스테이지 테크 리드 박준현 님께서 나와 현직자의 관점에서 자세히 설명해주셨습니다. 현직자만이 말할 수 있는 풍부하고 생생한 이야기들.. 더보기
AI는 회사에서 어떻게 사용되고 있을까? 인공지능에 관심이 많다면?매일 AI 소식과 인사이트를 알차게 전해드리는AI안테나 뉴스레터를 구독해보세요! (구독하기) 회사에서 AI를 사용해 일을 한다면 어떤 모습일까요? 이를 엿볼 수 있는 구체적인 사례들을 2025 Upstage Talk에서 엿볼 수 있었습니다. ​2025 업스테이지 토크는 "업스테이지가 이끄는 AI 서비스 혁신"을 주제로 3월 19일 오후 2시부터 진행됐습니다. 온라인 웨비나로 진행이 됐고, 동영상은 일부공개인데 다음 링크로 접속하면 볼 수 있습니다. ​이번 웨비나에서는 다큐먼트 파서, LLM, AI OCR 등을 활용해 어떻게 AI 서비스를 만들 수 있는지 구축 사례와 기술 노하우가 공유됐습니다. LLM을 실제 만들고 있는 회사이기도 하고, 최근에는 Document Parse를 만들.. 더보기
[AI안테나] LLM 뉴스 요약, solar pro와 gpt-4o-mini 비교 샘플로 사용했던 요약 모델 digit82/kobart-summarization로 얻은 요약문과 solar pro를 사용해서 얻은 요약문, gpt-4o-mini를 사용해서 얻은 요약문을 비교해봤다.당연하게도 확실히 LLM 실력이 월등히 좋았고, 솔라랑 지피티를 비교했을 때에는 지피티가 좀 더 구체적으로 잘 요약해주는 것 같았다.   샘플 요약문:미국의 인공지능업체 오픈에이아이는 지난 9월 회사가 출시한 ‘오원’(o1)의 업그레이드 버전으로, 특정 조건에서 사람을 뛰어넘는 수준의 범용인공지능(AGI)에 가까워졌다는 평가가 나오자 다음 달 말 경 경량화 모델인 오쓰리 미니(mini)를 출시하고 뒤이어 오쓰리를 내놓겠다고 밝혔다. -> 말이 안맞음. 갈길이 멀다;                       sola.. 더보기
라마 인덱스에서 빠르고 간편하게 RAG 수행하기 "라마 인덱스 라이브러리에서도 openai를 임포트할 수 있어요."LlamaIndex 라마 인덱스가 뭔데!!LlamaIndex (또는 llama_index) 라이브러리를 말함. 대규모 언어 모델(LLM)을 사용하여 구조화되지 않은 데이터를 쉽게 처리할 수 있게 해주는 데이터 프레임워크. 문서 인덱싱, 쿼리 처리, 데이터 구조화 등의 기능을 제공. 아! 그냥 라이브러리 이름이였구나. 인덱스가 붙어서 뭔가 했네.  어쨌든 라마 인덱스를 써서 RAG도 해야하는데...from llama_index.llms.openai import OpenAIfrom llama_index.core.llms import ChatMessageclient_llama = OpenAI(model = 'gpt-3.5-turbo')messa.. 더보기
Langchain과 RAG에 관한 찍먹 기본 지식 RAG는 언제, 어떨 때 쓰려고 만들어진 것일까?미리 준비된 지식 베이스에서 관련 정보를 찾아서 정확하고 신뢰할 수 있는 답변을 생성하고 싶을 때.  대충 RAG가 돌아가는 시나리오(RAG pipeline)1) 인공지능 관련 지식을 모아서 [지식 베이스?]에 저장해둔다. (Vector DB에 저장)2) 사용자가 질문을 한다. "인공지능에 대해서 알려줘"3) RAG : 질문을 벡터로 변환(임베딩이라고 부름)한다. (질문 처리는 RAG 시스템의 일부인 특별한 모델이나 컴포넌트가 수행.)4) RAG : 질문과 연관된 정보를 [지식 베이스?]에서 찾는다. 질문 벡터와 가장 유사한 문서 벡터를 찾아낸다. 5) RAG : 가장 관련성이 높은 부분을 추출해 하나의 컨텍스트로 만든다.6) LLM에게 넘겨준다. "사용자.. 더보기