반응형
경험담/AI 리뷰
-
[AI Model Review] unsloth/DeepSeek-R1-Distill-Qwen-32B 사용 후기경험담/AI 리뷰 2025. 3. 19. 00:21
LLM 계의 강력한 오픈소스 DeepSeek를 리뷰해보고자 한다. 다만, 효율적인 GPU 사용을 위해 파인튜닝된 모델을 사용했고, 약 2-5배 정도 빠르고 70% 정도 메모리를 적게 사용하는 unsloth/DeepSeek-R1-Distill-Qwen-32B를 사용해서 테스트했다. https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-32B unsloth/DeepSeek-R1-Distill-Qwen-32B · Hugging FaceThis model is not currently available via any of the supported Inference Providers.huggingface.co 기본적으로 아래와 같이 코드를 실행하면 동작하는데, 상..