Sehyup

VRAM 심화 가이드 - GPU 메모리 계층과 LLM 모델 적재

이 문서는 LLM 동작 원리 - 게임 개발자를 위한 가이드의 7번 섹션 “하드웨어 구성”의 보충 자료입니다. 1. GPU 메모리 계층 구조 게임 렌더링 파이프라인과의 비유 게임 개발자에게 GPU 메모리 계층은 낯설지 않습니다. 셰이더가 텍스처를 샘플링할 때 텍스처 캐시를 통해 VRAM에 접근하듯, LLM 추론도 동일한 메모리 계...

LLM 동작 원리 - 게임 개발자를 위한 가이드

서론 우리가 개발하고 있는 친숙한 게임은 멀티 그래픽스 API를 지원하는 상용 게임 엔진을 기반으로 합니다. 게임 엔진은 물리 엔진, 렌더링 파이프라인, 오디오 시스템 등 복잡한 하위 시스템들로 구성되어 있고, 이 모든 것이 하나의 통합된 환경에서 동작합니다. 최근 개발 워크플로우에 AI 도구들이 깊숙이 자리잡게 되었습니다. Claude C...

GPU 연산 유닛 심화 가이드 - CUDA Core, Tensor Core, NPU

이 문서는 LLM 동작 원리 - 게임 개발자를 위한 가이드의 7번 섹션 “하드웨어 구성”의 보충 자료입니다. 메모리 관련 심화는 VRAM 심화 가이드를 참조하세요. 개요: 누가 연산을 수행하는가? LLM 추론의 핵심은 행렬 곱셈입니다. 수십억 개의 숫자를 곱하고 더하는 작업을 반복하는 것이죠. 이 연산을 “누가” 수행하느냐에 따라...

잡담 - 1년의 공백기간 동안 무엇을 했냐

2024년 8월 이후로는 블로그를 본격적으로 갱신하지 못했다. (10월에 올린 포스트는 단순 메모용이라 사실상 제외.) 지난 1년은 참 많은 일들이 있었다. 2024년 11월부터 12월까지는 유니티 넷코드를 활용한 파티 게임 프로젝트를 개발하고 있었지만, 아쉽게도 회사 차원에서 프로젝트가 접히는 바람에 많은 고민과 생각을 해야 했다. 게임을...