KAFKA 란?

kafka란 무엇인가

 - 분산 메세징 시스템 [여러곳에서 수집된 데이터를 여러서버에게 분산해서 처리하는 것]

 - 실시간 처리가 가능한 대규모 데이터 이동 시스템이다.

 

 

 아래 사진을 보면 쉽게 이해할 수 있다.

 

 

Producer, 즉 정보를 여러 곳에서 수집(생성)을 한뒤, Kafka cluster(kafka가 설치된 서버)에 모두 수집한 후 consumer(정보 소비자)에게 분산되에 메세지를 뿌려주는 일을 한다.

 

 

 * Kafka cluster란?

 -> 우선 cluster의 의미를 알아야 한다. cluster란 여러 서버를 묶어서 하나의 시스템처럼 동작하는 것이다.

 -> Kafka cluster는 여러 서버를 묶어서 하나의 Kafka로 동작하는 것이다.

 -> 하나의 서버는 broker 라 부른다.

 

 

 

kafka는 topic과 partition이라는 단위로 데이터를 나누어 관리한다.

 1. topic - 데이터를 관리하는 그룹 이라고 생각하면 쉽다.

   - topic은 카프카 클러스터에서 여러개 만들 수 있고 하나의 토픽은 1개 이상의 파티션(Partition)으로 구성되어 있다.  

 2. partition - topic 당 데이터를 분산 처리하는 단위이다.

   - replica의 수만큼 파티션이 각 서버들에게 복제됩니다.

 

* replica 란?

 -> replication : 복제라는 뜻이다. 카프카 옵션에서 지정한 수만큼 파티션 단위로 다른 서버에 복제본이 만들어 진다.