ToasT1ng 기술 블로그

지난 포스팅에서 ES 에 부담을 주지 않기 위해 Fluentd Aggregator를 구성했었다. [EFK] 3. 쓸만한 EFK 구축 (1) - Fluentd Aggregator 지난 포스팅에서는 Service => Fluentd => Elasticsearch 까지 로그를 성공적으로 받을 수 있게 구성해봤다. [EFK] 2. 간단한 EFK 구축 (2) 지난 포스팅에서는 우리가 구축할 EFK 의 전체적인 구조와, Service 역.. toast1ng.tistory.com 이번 시간에는 ES의 Clustering 방법을 다루려고 한다. 우선, ES에 대해서 면밀히 살펴보자. Elasticsearch? Lucene 기반의 Java 오픈소스 분산 "검색 엔진" 이다. 데이터를 저장하고 불러오는 형태이기 때문에 단..

지난 포스팅에서는 Service => Fluentd => Elasticsearch 까지 로그를 성공적으로 받을 수 있게 구성해봤다. [EFK] 2. 간단한 EFK 구축 (2) 지난 포스팅에서는 우리가 구축할 EFK 의 전체적인 구조와, Service 역할을 해줄 간단한 Spring Boot App 을 제작했었다. [EFK] 1. 간단한 EFK 구축 (1) EFK 의 구조 대부분의 로깅 시스템은 이런 식으로 구성 toast1ng.tistory.com 이어서 오늘은 Fluentd Aggregator 를 중점적으로 다뤄보려고 한다. Fluentd Aggregator 의 필요성 단일 서버 구성으로 규모있는 시스템을 구축하는 것은 불가능한 일이다. 어떻게 할 수 있겠는가? 하나만 죽어도 시스템 전체가 다운되어버리..

지난 포스팅에서는 우리가 구축할 EFK 의 전체적인 구조와, Service 역할을 해줄 간단한 Spring Boot App 을 제작했었다. [EFK] 1. 간단한 EFK 구축 (1) EFK 의 구조 대부분의 로깅 시스템은 이런 식으로 구성된다. ( 지난 포스팅 참조 ) 이번에 구축할 EFK 의 구조는 다음과 같이 이루어진다. Spring - Log 를 발생시키는 Service 의 역할을 담당한다. - Log toast1ng.tistory.com 이어서 오늘은 Fluentd 를 구축해보도록 하겠다. Fluentd Fluentd 는 기본적으로는 로그 수집기 역할을 한다. 하지만 꼭 로그 수집기로만 사용하지 않을 수도 있다. Fluentd 는 다양한 형태의 Input 을 받아서 다양한 형태의 Output 으로..

EFK 의 구조 대부분의 로깅 시스템은 이런 식으로 구성된다. ( 지난 포스팅 참조 ) 이번에 구축할 EFK 의 구조는 다음과 같이 이루어진다. Spring - Log 를 발생시키는 Service 의 역할을 담당한다. - Log 를 무한대로 발생시키도록 구축해 EFK 시스템을 테스트해본다. - Spring Boot 를 사용할 것이며, Logback 설정을 이용해 Json 형태의 로그를 파일로 남기도록 한다. Fluentd - Log 를 통합 수집하는 Collector 의 역할을 담당한다. 일종의 Queue 역할을 수행한다고 할 수 있다. - File 로 남겨진 로그를 Tail 하여 받아온 후, Storage 로 보내도록 한다. - File Buffer 를 사용할 것이다. ElasticSearch 로 보내..

로그 관제 시스템? 규모가 어느 정도 있는 시스템이라면 로그 관리를 효율적으로 할 필요성이 있다. 어떤 문제가 터졌을 때, 개발자가 일일이 온프레미스 환경 내지는 클라우드 환경의 서버에 접속해 직접 로그를 확인하고 문제점을 파악하는 것은 규모가 아주 작은 시스템에서만 가능한 일이다. 큰 시스템에서는 로그를 통합-관제할 수 있는 시스템이 반드시 구축되어야만 한다. 그렇다면 로그를 통합-관제하는데 있어서 필요한 요소들이 뭐가 있을까? 1. 일단 로그를 만들어내는 어떠한 Service 가 존재할 것이다. 2. 다중 Service 에서 발생하는 엄청난 양의 로그를 수집하는 일종의 Collector 가 있어야 할 것이다. 3. 이들을 받아서 저장하는 Storage 가 있어야한다. 4. Storage 에서 로그를 ..