참고

Spark Kafka 설치 방법(Docker Compose)

Docker Compose를 사용하면 Apache Spark와 Apache Kafka를 간단하게 설치해 사용할 수 있습니다. docker-compose.yml 파일을 작성해 Spark를 사용할 수 있는 간단한 환경을 구축해보겠습니다. Spark와 Kafka 외에도 Jupyter L...

Running LLM locally with GGUF files

Recently, high-performance, lightweight language models such as Meta’s Llama3 and MS’s Phi-3 have been open-sourced on HuggingFace. These models can be consi...

GGUF 파일로 로컬에서 LLM 실행하기

최근에 Meta의 Llama3와 MS의 Phi-3 같은 고성능 경량화 언어 모델이 허깅페이스(HuggingFace)에서 오픈소스로 공개되었다. 이러한 모델은 ChatGPT나 Claude와 같은 대형 언어 모델(LLM)을 API로 사용하는 대안으로 고려될 수 있다. 오픈소스 모델을 ...

LLM 모델 저장 형식 GGML, GGUF

GPT와 같은 언어 모델에 사용되는 두 가지 혁신적 파일 형식, GGUF와 GGML에 대해 소개하겠습니다. 이들의 차이점과 각각의 장단점을 살펴보겠습니다. 이 글은 What is GGUF and GGML?의 내용을 한글로 번역/정리한 글입니다.