본문 바로가기

전체 글

한국에 부족한 GPU, 어떻게 확보하고 무엇이 더 필요하나 산업과 생태계가 형성되기 위해서 가장 중요한 것은 무엇일까요? 바로 인프라가 구축되어야 한다는 것입니다. AI 역시 생태계를 조성하기 위해서는 AI를 돌리는 데 사용되는 GPU와 데이터센터와 같은 인프라가 필수적입니다. 중국은 "동수서산(동쪽에는 데이터 기업을 육성하고, 서쪽에서는 계산하는 기업을 육성)" 프로젝트를 통해 지난 5년간 연간 70조를 투자하며 AI 경쟁력을 강화했습니다. 이처럼 AI 인프라는 국가의 기관망으로 관리해야 할 정도로 중요하며, 정부의 적극적인 투자와 지원이 필수적입니다. 하지만 한국의 AI 인프라 사정은 아직 열악하기만 합니다. 염재호 국가 AI 위원회 부위원장은 “지난 해 한국의 GPU는 3천장 밖에 없어 해외와 비교하면 엄청나게 뒤떨어져 있다”며 앞으로 정부는 어떻게 GPU.. 더보기
한국에 필요한 AI 인재? "제조업에 AI를 접목할 수 있는 사람" 한국은 AI 인재들이 해외로 많이 나가는 나라 중 손에 꼽히는 나라입니다. 특히 AI 연구를 하는 박사생들의 유출이 굉장히 심한데요. 한국의 AI 인재 순유입지수는 2023년 -0.30, 2024년에는 -0.36으로 더 악화되고 있습니다. 인재 유출은 한국의 AI 경쟁력과 산업 생태계 유지에 심각한 위협이 되고 있습니다. 대한상공회의소에서 5월 9일 주최한 '대한민국 AI 정책 포럼'에서는 인재 유출 문제를 둘러싸고 어떤 이야기들이 오갔을까요? 카이스트 경영전문대학원장을 맡고 있는 김민기 교수는 AI 인재의 의미에 대해 다른 각도를 제시했습니다. AI 인재는 꼭 박사급의 천재 공학자만이 아니라는 것입니다. 김민기 교수는 "실제 서비스를 할 때 특정 수요에서 창출되는 요구사항을 만족시킬 수 있게끔 AI 기.. 더보기
대한민국 AI 정책 포럼 현장 후기 2025. 05. 09롯데호텔에서 열린 AI 정책 포럼에 다녀왔다. 생각보다 사람이 굉장히 많았다. 시간 딱 맞게 도착했는데, 겨우 자리를 찾아서 구석에 앉을 수 있었다. (빨리 갈껄ㅠ) 기자들도 많이 왔던데 기사 많이 나오겠다. 정책 포럼이라 그래서 각 토론 세션마다, 학계, 산업계, 정부 관계자를 골고루 모시고 이야기를 들었다. 중간 중간 쉬는 시간 없이 타이트하게 진행됐다. 대충 머릿 속에 남아있는 걸 정리해보자면, 1. 한국은 이미 미국이나 중국 추월하기는 글렀다. (이미 넘사벽.. 할꺼면 3등은 하자. 대신 3등을 압도적으로 하자..???)2. 우리가 잘하는거 하자. -> 제조업 강국이니 제조업에 AI 붙여서 생산성 높이자. 미국이나 중국에서 AI 고속도로 깔면 우리는 그 위에서 달리면 된다. .. 더보기
프롬프트 엔지니어링 8편(완) | 이렇게 쓰세요! 최종 정리 딱 한 줄 바꿨을 뿐인데, 답변의 퀄리티가 이렇게 차이난다고? 맞습니다. 똑같은 돈을 내고 AI 모델을 사용하더라도, 어떻게 질문을 하느냐에 따라 얻을 수 있는 결과는 천차만별입니다. 어떻게 하면 AI의 성능을 최대로 끌어내어 정확하고 의미있는 답변을 출력하게 할 수 있을까요? 구글에서 발간한 화제의 백서, “Lee Boonstra의 프롬프트 엔지니어링 백서”를 보면 알 수 있습니다. 원문은 모두 영어로 되어 있는데요. 이번 백서의 내용을 꼼꼼히 공부하고, 직접 실험해보면서 중요한 개념들을 해설하는 시리즈를 기획했습니다. 총 8편에 걸쳐 진행될 예정이며, 구글 백서 원문은 이곳(링크)에서 확인할 수 있습니다. [구글 프롬프트 엔지니어링 백서 파헤치기 시리즈]1편 - LLM의 작동 방식과 config 조정.. 더보기
프롬프트 엔지니어링 7편 | 자동 프롬프트 엔지니어링, 코딩, 멀티모달 딱 한 줄 바꿨을 뿐인데, 답변의 퀄리티가 이렇게 차이난다고? 맞습니다. 똑같은 돈을 내고 AI 모델을 사용하더라도, 어떻게 질문을 하느냐에 따라 얻을 수 있는 결과는 천차만별입니다. 어떻게 하면 AI의 성능을 최대로 끌어내어 정확하고 의미있는 답변을 출력하게 할 수 있을까요? 구글에서 발간한 화제의 백서, “Lee Boonstra의 프롬프트 엔지니어링 백서”를 보면 알 수 있습니다. 원문은 모두 영어로 되어 있는데요. 이번 백서의 내용을 꼼꼼히 공부하고, 직접 실험해보면서 중요한 개념들을 해설하는 시리즈를 기획했습니다. 총 8편에 걸쳐 진행될 예정이며, 구글 백서 원문은 이곳(링크)에서 확인할 수 있습니다. [구글 프롬프트 엔지니어링 백서 파헤치기 시리즈]1편 - LLM의 작동 방식과 config 조정.. 더보기
프롬프트 엔지니어링 6편 | Tree of Thoughts(ToT), reason&act(ReAct) 딱 한 줄 바꿨을 뿐인데, 답변의 퀄리티가 이렇게 차이난다고? 맞습니다. 똑같은 돈을 내고 AI 모델을 사용하더라도, 어떻게 질문을 하느냐에 따라 얻을 수 있는 결과는 천차만별입니다. 어떻게 하면 AI의 성능을 최대로 끌어내어 정확하고 의미있는 답변을 출력하게 할 수 있을까요? 구글에서 발간한 화제의 백서, “Lee Boonstra의 프롬프트 엔지니어링 백서”를 보면 알 수 있습니다. 원문은 모두 영어로 되어 있는데요. 이번 백서의 내용을 꼼꼼히 공부하고, 직접 실험해보면서 중요한 개념들을 해설하는 시리즈를 기획했습니다. 총 8편에 걸쳐 진행될 예정이며, 구글 백서 원문은 이곳(링크)에서 확인할 수 있습니다. [구글 프롬프트 엔지니어링 백서 파헤치기 시리즈]1편 - LLM의 작동 방식과 config 조정.. 더보기
AI 모델의 성능을 극대화하는 스케일링 기법 총정리 지난 편에 이어서 작성합니다. 이 글은 2025년 4월 23일 오후 5시부터 6시까지 진행된 업스테이지 프라이빗 세미나의 내용을 기반으로 정리했습니다. 지난 편: 실전에서 바로 써먹는 'Post-training' 테크닉, 튜닝 계보 한방 정리스케일링이란?스케일링은 모델 학습을 완료한 후 실제 인퍼런스 단계에서 결과(아웃풋)를 최적화하는 기법들을 의미합니다. 이 분야는 크게 Thought-based reasoning, Sampling-based inference, Search-based inference 세 가지 접근법으로 나눌 수 있습니다. Thought-based Reasoning (사고 기반 추론)Thought-based reasoning은 구조화된 단계별(스텝 바이 스텝) 추론을 모델이 할 수 있도.. 더보기
프롬프트 엔지니어링 5편 | Chain of Thought(CoT), Self-consistency 딱 한 줄 바꿨을 뿐인데, 답변의 퀄리티가 이렇게 차이난다고? 맞습니다. 똑같은 돈을 내고 AI 모델을 사용하더라도, 어떻게 질문을 하느냐에 따라 얻을 수 있는 결과는 천차만별입니다. 어떻게 하면 AI의 성능을 최대로 끌어내어 정확하고 의미있는 답변을 출력하게 할 수 있을까요? 구글에서 발간한 화제의 백서, “Lee Boonstra의 프롬프트 엔지니어링 백서”를 보면 알 수 있습니다. 원문은 모두 영어로 되어 있는데요. 이번 백서의 내용을 꼼꼼히 공부하고, 직접 실험해보면서 중요한 개념들을 해설하는 시리즈를 기획했습니다. 총 8편에 걸쳐 진행될 예정이며, 구글 백서 원문은 이곳(링크)에서 확인할 수 있습니다. [구글 프롬프트 엔지니어링 백서 파헤치기 시리즈]1편 - LLM의 작동 방식과 config 조정.. 더보기

티스토리툴바