Mesh LLM - iroh 기반 분산 AI 컴퓨팅

Mesh LLM - iroh 기반 분산 AI 컴퓨팅 (iroh.computer) 여러 머신에 흩어진 GPU와 메모리를 하나의 컴퓨팅 자원으로 묶어, 로컬 실행·피어 전달·분할 실행을 OpenAI 호환 API 하나로

Mesh LLM - iroh 기반 분산 AI 컴퓨팅 (iroh.computer) 여러 머신에 흩어진 GPU와 메모리를 하나의 컴퓨팅 자원으로 묶어, 로컬 실행·피어 전달·분할 실행을 OpenAI 호환 API 하나로 제공함 요청은 로컬 GPU나 모델을 적재한 피어에서 처리되며, 한 머신에 들어가지 않는 모델은 여러 노드에 파이프라인 단계로 나눠 실행할 수 있음 플러그인 기반 카탈로그에는 노트북용 5억 파라미터 모델부터 235B