SQL 이란? - Structured Query Language의 약어이다. - 데이터 베이스의 데이터를 관리하기 위해 만들어진 프로그래밍 언어이다. - 데이터 베이스에선 쿼리를 이용하여 데이터를 삽입,삭제, 갱신한다. - SQL에서 데이터 베이스에게 뭔가 요청하는 것을 Query, 문의라 하는데 요청하는 모든 명령어를 쿼리 라 한다. - 쿼리의 종류로는 DML,DCL,DDL이 존재한다. 쿼리의 종류 1. DDL - Data define languege의 약어로 직역하면 데이터를 정의하는 언어다. - 주로 생성, 변경, 삭제 등 데이터 구조와 관련된 명령어이다. - CREATE, ALTER,DROP 등이 이에 속한다. 2. DML - data manipulation languege의 약어로 데이터 조회,..

하둡이란? - 하둡은 2006년 '넛치'라는 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB(관계형 DB) 기술로는 처리가 힘들다는 것을 깨닫고, 새로운 기술을 찾는 중 구글에서 발표한 GFS(google file system)와 MapReduce 관련 논문을 참고하여 개발했다. - 이후 아파치 재단의 오픈 소스로 공개 됬다. - 하둡은 분산 시스템인 HDFS(Hadoop Distributed Fule System)에 데이터를 저장하고 맵리듀스를 이용해 데이터를 처리한다. - 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 ..

데이터 베이스(Date Base) - DB 란? - 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터의 집합을 말한다. - 쉽게 예시를 들자면 지금 보고있는 이 블로그 자체도 DB, 데이터 베이스라 할 수 있다. - 꼭 이런 블로그 뿐만 아니라 공유하여 사용하기 위해 여러 데이터를 쌓아놓은 곳을 데이터 베이스라 할 수 있다. DBMS 란 ? - database management system의 약자로 데이터베이스 관리 시스템을 말한다. - 사용자의 다양한 요구를 적절히 처리하고 응답해 사용할 수 있도록 해주는 시스템을 의미한다. - 간단하게 DB를 사용하는 프로그램을 의미한다. Mysql, 오라클 등.. DB의 종류 - DB에 종류는 여러가지가 있다. - 대표적으로 계층형 DB, 네트워..

mesos란? -> 분산 커널 시스템 -> 네트워크로 묶여있는 여러 시스템 (CPU, 메모리, 디스크 등)자원을 하나로 묶어서 resource pool로 하나의 컴퓨터 처럼 보이게 하는 것이다. -> 간단하게 말하면 Mesos를 사용하면 자원의 효율적인 사용이 가능해진다. * resource pool? -> 미리 자원을 확보해 사용자가 요청시 즉시 자원을 제공하는 것 Mesos에는 Framework, Master, Agent가 존재한다. 1. Framework -> 작업스케쥴링을 한다. Task (작업)을 만드는 역할을 한다. 2. Master -> Framework에게 사용 가능한 자원을 알려준다. -> Framework 가 Task 수행 요청시 Master는 수행할 Agent를 골라 작업을 시킨다. ..

kafka란 무엇인가 - 분산 메세징 시스템 [여러곳에서 수집된 데이터를 여러서버에게 분산해서 처리하는 것] - 실시간 처리가 가능한 대규모 데이터 이동 시스템이다. 아래 사진을 보면 쉽게 이해할 수 있다. Producer, 즉 정보를 여러 곳에서 수집(생성)을 한뒤, Kafka cluster(kafka가 설치된 서버)에 모두 수집한 후 consumer(정보 소비자)에게 분산되에 메세지를 뿌려주는 일을 한다. * Kafka cluster란? -> 우선 cluster의 의미를 알아야 한다. cluster란 여러 서버를 묶어서 하나의 시스템처럼 동작하는 것이다. -> Kafka cluster는 여러 서버를 묶어서 하나의 Kafka로 동작하는 것이다. -> 하나의 서버는 broker 라 부른다. kafka는 ..