빅데이터 로그 수집기, Fluentd 소개

Introducing BigData Log Aggregator, Fluentd

빅데이터를 처리하기 위해서는 각종 로그들의 수집이 필요한데, 이 때 사용하는 것이 로그 수집기(Log Aggregator)이다.  로그 수집 툴은 Scribe, Flume, Fluentd 및 logstash 등이 있는데, 이들 수집기 비교는 다음 글을 참고한다.

1. Fluentd 소개

fluentd는 효율적으로 데이터를 사용하고 이해하기 위한 데이터의 수집과 소비를 통합할 수 있는 오픈 소스 데이터 수집기이다.
다음 그림은 fluentd의 아키텍쳐 그림이다. 입력과 출력을 다양화 할 수 있으며, 입/출력 부분을 사용자가 직접 코드로 작성하여 연결할 수 있는 확장성을 제공한다.




다음 그림은 다양한 형태의 입력을 받을 수 있고, 출력을 형식화 할 수 있는 fluentd의 구조를 보여준다.

Input 단계는 로그를 수집하는 모듈로 사용자화 할 수 있는 플러그인 형태이다. 따라서 다양한 로그 소스를 지원할 수 있다. File, HTTP, TCP 등 기본 플러그인을 비롯하여 확장 플러그인들을 다운로드 받거나 직접 설치할 수 있다.

Buffer는 시스템 또는 네트워크 이상 또는 부하에 따른 재처리를 위해 파일 또는 메모리를 사용하여 데이터를 유지할 수 있고, Output 역시 Input 과 동일하게 사용자화할 수 있는 플러그인 형태로 다양한 포맷으로 데이터를 변경할 수 있다.

Input 단계에서 획득한 모든 정보들이 Output 단계로 보내지는 것은 아니며, Engine에서 필터링하여 항목을 삭제하거나 추가할 수 있다. 그리고 Input 단계 또는 Output 단계는 또 다른 fluentd와 연결이 가능 가능한다.




다음 그림은 문자열 형태의 웹서버 로그들을 Json 형태로 변환하여 저장하는 그림을 보여준다.


다음은 Forward 되는 fluentd 구성을 보여준다. 이 처럼 fluented는 Input과 Output 단계에서 각각 또 다른 fluentd을 둘 수 있다.


자세한 설명은 다음 슬라이드를 참고한다.


2. Fluentd 설치

설치는 다양한 방법으로 할 수 있는데, linux에서 curl을 통해 td-agent을 쉽게 설치하는 방법을 소개한다.  td-agent는 fluentd 사용을 편리하게 만든 래퍼 프로그램이다.

2.1 Linux에 설치


다음은 Debian Jessie 에서 설치하는 명령이고, 다른 OS들에서 설치 명령들은 다음 주소를 참고한다.  http://docs.fluentd.org/articles/install-by-deb
curl -L https://toolbelt.treasuredata.com/sh/install-debian-jessie-td-agent2.sh | sh

설치가 정상적으로 되었다면  /etc/init.d/td-agent 에 설치가 된다. 그리고 다음과 같이 정상 동작을 확인한다.
$ sudo /etc/init.d/td-agent restart
[ ok ] Restarting td-agent (via systemctl): td-agent.service.
$ sudo /etc/init.d/td-agent status
● td-agent.service - LSB: data collector for Treasure Data
   Loaded: loaded (/etc/init.d/td-agent; generated; vendor preset: enabled)
   Active: active (running) since Fri 2016-10-21 08:42:49 UTC; 10s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 4780 ExecStop=/etc/init.d/td-agent stop (code=exited, status=0/SUCCESS)
  Process: 4846 ExecStart=/etc/init.d/td-agent start (code=exited, status=0/SUCCESS)
    Tasks: 9 (limit: 4915)
   Memory: 63.4M
      CPU: 447ms
   CGroup: /system.slice/td-agent.service
           ├─4879 /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --log /var/log/td-agent/td-agent.log --daemon /var/run/td-agent/td-agent.pid
           └─4882 /opt/td-agent/embedded/bin/ruby /usr/sbin/td-agent --log /var/log/td-agent/td-agent.log --daemon /var/run/td-agent/td-agent.pid
Oct 21 08:42:49 gather-twitter-data systemd[1]: Starting LSB: data collector for Treasure Data...
Oct 21 08:42:49 gather-twitter-data td-agent[4846]: Starting td-agent:  * td-agent
Oct 21 08:42:49 gather-twitter-data systemd[1]: Started LSB: data collector for Treasure Data.
그리고 다음과 같이 td-agent을 종료할 수 있다.
$ sudo /etc/init.d/td-agent stop

데이터를 수집하기 위해서는 td-agent.conf 파일을 수정해야 한다. td-agent.conf 파일은 다음 경로에 위치한다. 

/etc/td-agent/td-agent.conf

2.2 macOS 설치

macOS에서 td-agent 설치 관련해서는 fluentd 홈페이지을 참고한다.

http://docs.fluentd.org/articles/install-by-dmg

3. HTTP로 샘플 로그들 수집

td-agent.conf 파일을 열어 보면 HTTP로 수집하는 입력 정보는 다음과 같이 정의되어 있다.
# HTTP input# POST http://localhost:8888/?json=# POST http://localhost:8888/td.myapp.login?json={"user"%3A"me"}# @see http://docs.fluentd.org/articles/in_http @type http port 8888

예제로 json 데이터를 HTTP로 보내보자

$ sudo /etc/init.d/td-agent restart
$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
이 데이터는 기본 설정에 의해 /var/log/td-agent/td-agent.log 에 저장이 된다. 다음과 같이 데이터를 확인해 보면 샘플 로그가 HTTP을 통해 파일에 저장된 것을 확인할 수 있다.

$ cat /var/log/td-agent/td-agent.log 2016-10-21 08:36:12 +0000 [info]: reading config file path="/etc/td-agent/td-agent.conf"2016-10-21 08:36:12 +0000 [info]: starting fluentd-0.12.26 ....

2016-10-21 08:51:17 +0000 debug.test: {"json":"message"}


4. Google Cloud Platform(GCP)과 연동을 위한 plugin 설치

만일 수집된 데이터들을 GCP을 통해 분석한다면, VM 인스턴스 생성 때 Cloud API 접근 권한을 가능한 'Full API Access'을 주는 것이 좋고, 필요에 따라서는 특정 API를 지정할 수 있다. fluentd을 사용하여 수집된 데이터를 구글의 Pub/Sub로 데이터를 전달하기 위해서는 fluentd pub/sub plugin 을 추가 설치해야 한다. plugin 이름은 'gluent-pugin-gcloud-pubsub' 이며, 다음과 같이 명령을 주면 설치가 가능하다.



$ sudo td-agent-gem install fluent-plugin-gcloud-pubsub

댓글

댓글 쓰기

이 블로그의 인기 게시물

macOS가 갑자기 부팅이 되지 않을 경우 데이터 복구 또는 백업 방법

이미지
어느날 갑작스럽게 Mac이 부팅 되지 않을 때, 그 안에 담겨진 소중한 자료들을 복구 할 수 있는 방법을 소개 합니다. 최악의 상황인 HW 문제가 있다면 소중한 자료들의 확보는 분명 어렵겠지만, OS적인 문제로 부팅이 되지 않을 경우는 다음과 같은 시도를 통해 확보가 가능할 수 있다. Mac 제품 특히 저장 장치가 SSD인 Mac은 저장장치가 메인 보드에 장착되기 때문에 일반 노트북처럼 2.5인치 내장 저장장치를 꺼내 다른 컴퓨터에 연결할 수 없다. 이런 경우 수리 센터에 맡길 수 있겠지만, 데이터 복구는 개인 정보 때문에 지원받지 못할 수 있다. 그렇다면 어떻게 하면 될까? 바로 '외장 저장장치'에 최신 macOS를 설치 후(시동 디스크 생성과 동일), 이 외장 저장장치로부터 macOS을 부팅하여 Mac 내부에 있는 저장장치에 접근이 가능할 수 있고, 데이터도 복구를 할 수 있다. 1. MacBook 또는 iMac 하드웨어 설정 초기화(NVRAM 초기화) 사용하다가 갑자기 어느날 macOS가 부팅이 안되면 우선 머리가 하얗게 되어 아무런 생각이 없을 것이다. 부팅을 여러번 시도할 것이고, 그래도 안된다면 수리 센터를 생각해 볼 것이다. 비용도 비용이지만 소중한 내 자료를 백업 가능할지 모르겠다. 일반 사용자가 하드웨어 설정(보통 이런 설정은 NVRAM에 저장됨)을 바꾸지는 않을 것이다. 하지만 설치한 하드웨어 또는 소프트웨어들에 의해 값들이 변경될 수 있다. NVRAM에 저장되는 정보의 예를 들면 무선랜에 연결되면 다음에 다시 연결될 수 있도록 연결된 무선랜의 이름과 암호를 저장한다. 이러한 하드웨어 설정들이 동작에 일부 영향을 줄 수 있다. 이 NVRAM을 초기화를 위해서는 전원 버튼을 누른 후 바로 'option' + 'command' + 'P' + 'R' 네 키를 동시에 누르면서  약 20초 동안 유지하면 된다. 애플 로고가 두 세번 보일 수도 ...
자세한 내용 보기

C++로 프로그래밍할 때 인자 또는 리턴 값으로 std::vector 등 STL 데이터 타입 처리하는 좋은 방법

C++ 프로그래밍할 때 std::vector 등 STL 데이터 타입을 호출하는 함수로 넘겨주거나 받아야 할 경우가 있다. 이런 경우 메모리 문제 또는 속도 문제 때문에 고민을 많이 할 것 같은데, C++11 이상을 지원하는 컴파일러를 사용하는 분이라면 이 글에서 도움을 받아 가기 바란다. 함수 인자로 넘길 때 이 경우는 사용이 명확하다. Call by Reference으로 데이터를 넘기면 된다.  Call By Reference로 인자로 넘기는 방법은 pointer 를 사용해도 되지만, reference을 사용하는 것이 좋다. void foo1(std::vector & data) {   ... } void foo2(std::vector const& data) {   ... } void foo3(std::vector data) { } int main(int argc, char* argv[]) {   std::vector my_data {10, 20, 30};   foo1(my_data);   foo2(my_data); } 위 코드에서 foo1()과 foo2()는 Call by Reference로 값을 넘기는 반면에 foo3()는 Call by Value로 main()에서 my_data를 넘기게 된다.  foo1()의 data는 main()의 my_data를 참조(reference)하고 있어서 foo1()에서의 데이터 변경은 main()의 my_data에 영향을 주게 된다. 그리고 foo2()는 main()의 my_data를 참조는 하지만 수정을 할 수가 없는 것이라서 단순히 값만 참조할 수 있게 된다. 반면 foo3()에서의 data는 main()의 my_data를 넘기는 순간에 값을 복사하기 때문에 메모리가 증가하게 된다. 또한 foo3()에서 data를 ...
자세한 내용 보기

Git 저장소를 병합하는 방법(How to merge repositories in Git)

GIT 저장소를 다른 저장소에 병합하는 방법 Git? Git은 컴퓨터 파일의 변경 내용을 추적하고 여러 사람들일 공유하는 파일에 대해 협업할 수 있도록 파일의 변경을 제어하는 버전 제어 시스템이다. 기존에 CVS, SVN 등 다양한 버전 제어 시스템들이 나왔지만, 최근에는 Git으로 통일되는 것 같다. Git은 분산 리비전(개정) 관리 시스템으로서 속도, 데이터 무결성 및 분산 된 비선형 작업 진행을 지원하는 것이 목표이다.  Git은 Linux 커널 개발을 위해 2005년 리누스 토발즈(Linus Torvalds)가 개발 되었으며, 다른 커널 개발자들도 초기 개발에 기여했다. 대부분의 다른 분산 버전 제어 시스템과 마찬가지로 Client-Server 버전 제어 시스템과는 다르게 중앙 서버와 관계없이 모든 컴퓨터의 Git 디렉토리는 파일 변경 이력(버전)을 추적할 수 있는 분산형 저장소이다. Client-Server 버전 제어 시스템으로 많이 사용했던 SVN(Subversion)은 네트워크 연결이 안될 경우 독립적인 위치에서 동시에 개발이 진행될 때 코드 병합과 이력 관리에 많은 어려움이 있었다. Git은 이런 기본적인 문제점들을 해결하면서 보다 진보적인 방법들을 제공한다.  인터넷 검색을 통해 보다 세부적인 내용과 더불어 다양한 기능들에 대해 찾아 보기 바란다. 서로 다른 저장소를 한 곳에 병합하는 방법 프로젝트 특성에 따라 한 개 이상의 저장소들에서 개발이 진행되다가 저장소의 병합이 필요할 때가 있다. 특정 디렉토리를 생성하여 복사해서 추가하면 되겠지만, 이련 경우에는 기존 저장소의 수정 이력(버전) 정보는 포기해야 한다.  쉽게 기존 저장소의 수정 이력 정보를 포함하여 저장소를 병합하는 방법이 있다. 우선 다음과 같이 세 개의 저장소가 있다고 가정한다. git/project1 git/project2 git/project3 project2와...
자세한 내용 보기