LLM 모델 저장 형식 GGML, GGUF

GPT와 같은 언어 모델에 사용되는 두 가지 혁신적 파일 형식, GGUF와 GGML에 대해 소개하겠습니다. 이들의 차이점과 각각의 장단점을 살펴보겠습니다. 이 글은 What is GGUF and GGML?의 내용을 한글로 번역/정리한 글입니다.

GGML 개요

GGML은 기계학습 분야에서 중요한 역할을 하는 텐서 라이브러리입니다. 조르지 게르가노프에 의해 개발되었으며, 크기가 큰 모델과 다양한 하드웨어 환경에서 높은 성능을 발휘합니다.

장단점

• 장점
  • 혁신적인 시작: GPT 모델용 파일 형식으로 처음 시도된 사례입니다.
  • 모델 공유 용이성: 하나의 파일로 모델을 쉽게 공유할 수 있습니다.
  • CPU 호환성: 다양한 사용자가 CPU에서도 GGML 모델을 실행할 수 있습니다.
• 단점
  • 유연성 부족: 모델에 추가적인 정보를 포함시키기 어렵습니다.
  • 호환성 문제: 새로운 기능 추가 시 기존 모델과의 호환 문제가 발생합니다.
  • 수동 조정 필요: 사용자가 설정을 자주 변경해야 하는 불편함이 있습니다.

GGUF 소개

GGUF는 GGML을 이어받아 2023년 8월에 출시된 새로운 파일 형식입니다. 대형 언어 모델의 저장과 처리에서 중요한 진보를 이루었습니다.

장단점

• 장점
  • GGML 한계 극복: 사용자 경험을 중심으로 GGML의 단점을 개선했습니다.
  • 확장성: 새로운 기능을 추가해도 기존 모델과의 호환성을 유지합니다.
  • 안정성: 새로운 버전으로의 전환을 용이하게 합니다.
  • 다양한 모델 지원: Llama 모델을 포함하여 다양한 모델을 지원합니다.
• 단점
  • 전환 시간 소요: 기존 모델을 GGUF로 전환하는 데 시간이 필요합니다.
  • 새로운 형식 적응: 사용자와 개발자가 새로운 형식에 익숙해지는 데 시간이 필요합니다.

결론

GGUF는 GGML보다 발전된 형식으로, 더 큰 유연성과 확장성을 제공합니다. 사용자 경험이 개선되었으며, 다양한 모델을 지원함으로써 언어 모델 파일 형식의 발전에 기여하고 있습니다. GGML이 중요한 출발점이었다면, GGUF는 그 경계를 넓혀 AI 커뮤니티에서 모델 공유와 사용 효율성을 높이고 있습니다. 앞으로 이 새로운 형식이 어떻게 활용될지 기대됩니다.