빅데이터 처리 기술 관련 사이트 모음

빅데이터 플랫폼 개발을 위해 참고할 사이트를 지속적으로 정리할 예정입니다.


Hadoop - 빅데이터의 저장과 분석을 위한 분산 컴퓨팅 솔루션

빅데이터
한 대의 컴퓨터로는 저장하거나 연산하기 어려운 규모의 거대 데이터

분산
여러 대의 컴퓨터로 나눠서 일을 처리함

저장
여러 대의 컴퓨터에 나눠서 저장함

분석
데이터가 저장된 컴퓨터에서 데이터를 분석하고 그 결과를 합침


Hadoop Ecosystem

PNG


강의

태그:

카테고리:

업데이트:

댓글남기기

참고

Spark Kafka 설치 방법(Docker Compose)

Docker Compose를 사용하면 Apache Spark와 Apache Kafka를 간단하게 설치해 사용할 수 있습니다. docker-compose.yml 파일을 작성해 Spark를 사용할 수 있는 간단한 환경을 구축해보겠습니다. Spark와 Kafka 외에도 Jupyter L...

Running LLM locally with GGUF files

Recently, high-performance, lightweight language models such as Meta’s Llama3 and MS’s Phi-3 have been open-sourced on HuggingFace. These models can be consi...

GGUF 파일로 로컬에서 LLM 실행하기

최근에 Meta의 Llama3와 MS의 Phi-3 같은 고성능 경량화 언어 모델이 허깅페이스(HuggingFace)에서 오픈소스로 공개되었다. 이러한 모델은 ChatGPT나 Claude와 같은 대형 언어 모델(LLM)을 API로 사용하는 대안으로 고려될 수 있다. 오픈소스 모델을 ...

LLM 모델 저장 형식 GGML, GGUF

GPT와 같은 언어 모델에 사용되는 두 가지 혁신적 파일 형식, GGUF와 GGML에 대해 소개하겠습니다. 이들의 차이점과 각각의 장단점을 살펴보겠습니다. 이 글은 What is GGUF and GGML?의 내용을 한글로 번역/정리한 글입니다.