딥시크, LLM 추론 속도 최대 85% 높이는 ‘D스파크’ 오픈소스 공개

딥시크, LLM 추론 속도 최대 85% 높이는 ‘D스파크’ 오픈소스 공개 D스파크의 동작 과정 (사진=딥시크) 딥시크가 기존 모델의 응답 속도와 서비스 효율을 높이기 위한 최적화 기술을 선보였다. 여러 토큰을 먼저

딥시크, LLM 추론 속도 최대 85% 높이는 ‘D스파크’ 오픈소스 공개 D스파크의 동작 과정 (사진=딥시크) 딥시크가 기존 모델의 응답 속도와 서비스 효율을 높이기 위한 최적화 기술을 선보였다. 여러 토큰을 먼저 생성한 뒤 문맥에 맞게 차례대로 보완하고, GPU 작업량에 따라 검증하는 토큰 수를 자동으로 조절해 추론 속도와 서비스 효율을 높였다. 딥시크는 26일(현지시간) 대형언어모델(LLM)의 추론 성능을 크게 높일 수 있