TTFT(Time To First Token)와 TPOT(Time Per Output Token) 비교

컴퓨터시스템응용기술사 제138회(2026년) 1교시 1-6번 · 10점

모범답안 목차 AI 작성 · 사람 검수 전

TTFT는 요청 후 첫 번째 출력 토큰이 생성될 때까지의 지연 시간으로 Prefill 단계 성능을 나타내고, TPOT는 이후 토큰 하나를 생성하는 데 걸리는 평균 시간으로 Decode 단계의 처리 속도를 나타내는 LLM 서빙 성능 지표이다.

첫 문장만 공개합니다. 전체 답안은 앱에서 확인할 수 있습니다.