Janas - SSD를 활용해 RAM보다 큰 MoE 언어 모델을 실행하는 추론 엔진 ↗
RAM에 다 들어가지 않는 MoE 언어 모델을 일반 PC에서 실행 하는 로컬 추론 엔진으로, 토큰마다 필요한 가중치를 NVMe SSD에서 읽어 사용 MoE 모델 내부의 전문가(expert) 중 자주 사용하는 부분은 메모리에 캐시 하며, GPU 없이도 실행 가능 Core Ultra 9 ...
AI·IT 수집 자료실
공식 출처에서 수집한 소식을 발행일 순서로 확인하세요. 발췌는 원문의 일부이며 TUMN이 작성·검증한 해설 글과 구분됩니다. 전체 내용은 원문에서 읽을 수 있습니다.
1개 · 1페이지 · 로그인 없이 열람