맥스튜디오 성능 문의
m3 ultra 맥스튜디오 구입을 고민 중입니다. 70b 모델 기준으로 256GB메모리 모델로 llm성능이 얼마나 나오는지, 512gb와 비교시 속도가 얼마나 다를지 궁금해요. 혹시 애플스토어에서 직접 돌려볼 수 도있을지요.
안녕하세요!
llm모델, MLX, Metal 적용 여부에 따라 5~17token/sec 으로 보고 되고 있습니다. (llama 70B 4bit)
감사합니다.
도움이 되셨다면 하단의 ⬆️ 버튼 한번씩 눌러주시면 감사하겠습니다.