#GQA
1편
AI
LLM 답변은 왜 첫 글자만 늦게 나올까요?
같은 모델에 질문만 넣으면 첫 글자가 0.07초 만에 나오지만 8천 토큰짜리 글을 붙이면 9.9초가 걸립니다. 그런데 그다음 글자들은 둘 다 0.05초 간격으로 나옵니다. 프롬프트를 한꺼번에 읽는 Prefill과 한 개씩 쓰는 Decode, 그 사이의 KV Cache를 직접 잰 시간과 GPU 사양 숫자로 그렸습니다.
1편
같은 모델에 질문만 넣으면 첫 글자가 0.07초 만에 나오지만 8천 토큰짜리 글을 붙이면 9.9초가 걸립니다. 그런데 그다음 글자들은 둘 다 0.05초 간격으로 나옵니다. 프롬프트를 한꺼번에 읽는 Prefill과 한 개씩 쓰는 Decode, 그 사이의 KV Cache를 직접 잰 시간과 GPU 사양 숫자로 그렸습니다.