DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf]

DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculati

DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크 병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간 의존성 부재로 후반부 수락률 급감(acceptance decay) 이 발생하는