EFK_noDocker

Docker 없이 EFK 설치하기

Port 정보

elasticsearch 9200 fluentd-aggregator 24224 kibana 5601

1. Fluentd 설치

Before Installing

Setup NTP
logging 시간 동기화를 위함
Increase Max # of File Desc ulimit -n 명령어를 값을 확인할수 있고, 아래 내용을 /etc/security/limits.conf에 추가 후 세션 재접속
```
root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536
```

Optimize Network Kernel Parameters

여러 Fluentd instan를 사용하는 경우 최적의 성능을 위해,

아래 내용을 /etc/sysctl.conf에 추가 후 세션 재접속 or 서버

net.core.somaxconn = 1024
net.core.netdev_max_backlog = 5000
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_wmem = 4096 12582912 16777216
net.ipv4.tcp_rmem = 4096 12582912 16777216
net.ipv4.tcp_max_syn_backlog = 8096
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240 65535

출처

td-agent 설치

- RPM 파일로 직접 설치하는 경우(인터넷 안됨)

인터넷이 가능한 PC에서 RPM 파일을 다운로드 받음(Dependency가 걸린 RPM까지 모두 다 다운로드 됨)
```
yum install td-agent --downloaddir=/data/rpms/ --downloadonly
```
인터넷이 불가능한 PC에 해당 파일 이동 후 모두 설치
```
yum install /data/rpms/*.rpm
```
일부 패키지의 버젼 문제로 설치 안되는 경우 해당 패키지 삭제해 재설치 시도

- yum으로 설치하기(인터넷 됨)

사내망이라 yum 설치가 안되는 경우 해당 패키지의 repository 정보를 사내 Nexus에 추가할 수 있음 Jira의 DevOps_Support 프로젝트에서 issue로 등록 함 추가 방법 상세 안내는 사내 Confluence DevOps Support 공간에 Guide > Library Repo. Guide 참고 하지만 등록 한 repository가 redirect 되는 경우 모든 경로를 다 등록해 줘야 하고, dependency가 있는 경우 이들이 잘 다운된다는 보장이 없음..

curl로 설치 스크립트를 다운받아 실행 함.

GPG key는 txt복사 후 파일로 생성해도 됨 이 경우 repo에는 file:///filepath 로 변경 해야 함

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

# install-redhat-td-agent3.sh
echo "=============================="
echo " td-agent Installation Script "
echo "=============================="
echo "This script requires superuser access to install rpm packages."
echo "You will be prompted for your password by sudo."

# clear any previous sudo permission
sudo -k

# run inside sudo
sudo sh <<SCRIPT

  # add GPG key
  rpm --import https://packages.treasuredata.com/GPG-KEY-td-agent

  # add treasure data repository to yum
  cat >/etc/yum.repos.d/td.repo <<'EOF';
[treasuredata]
name=TreasureData
baseurl=http://packages.treasuredata.com/3/redhat/\$releasever/\$basearch
gpgcheck=1
gpgkey=https://packages.treasuredata.com/GPG-KEY-td-agent
EOF

  # update your sources
  yum check-update

  # install the toolbelt
  yes | yum install -y td-agent

SCRIPT

# message
echo ""
echo "Installation completed. Happy Logging!"
echo ""

설치경로 참고

설치 경로 : /opt/td-agent
로그 경로 : /var/log/td-agent
config 경로 : /etc/td-agent
plugin : /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems

fluentd plugin 설치

fluentd-aggregator에 fluent-plugin-elasticsearch gem 설치 각 서비스의 fluentd-client에 fluent-plugin-grok-parser gem 설치

- gem 파일로 직접 설치하는 경우 (인터넷 안됨)

https://rubygems.org/ 에서 gem 파일 다운로드
- fluent-plugin-elasticsearch-2.11.1.gem (elasticsearch와 연계하기 위함)
- fluent-plugin-grok-parser-2.1.6.gem (log내용 parsing)

scp로 설치할 서버에 파일 전송

# ec2로 scp 전송예제
scp -i ~/Downloads/fluentd.pem ~/Developer/data/fluent-plugin-elasticsearch-2.11.1.gem ec2-user@ec2-52-79-117-82.ap-northeast-2.compute.amazonaws.com:~/.

fluentd가 설치된 환경에서 plugin 설치

# /opt/td-agent/embedded/bin/fluent-gem install ~/fluent-plugin-elasticsearch-2.11.1.gem
# /opt/td-agent/embedded/bin/fluent-gem install ~/fluent-plugin-grok-parser-2.1.6.gem
# /etc/init.d/td-agent restart

- gem으로 설치 (인터넷 됨)

# /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-elasticsearch -v 2.11.1
# /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-grok-parser -v 2.1.6
# /etc/init.d/td-agent restart

로그 경로 수정

/etc/systemd/system/td-agent.service 파일에서 td-agent 실행하는 부분에 --log 옵션의 경로를 수정합니다. (로그 파일 관리를 위한 /etc/logrotate.d/td-agent의 log경로도 수정)

fluentd config 설정

logback 로그패턴 %d{yyyy-MM-dd'T'HH:mm:ss.SSSZ} ${LOG_LEVEL_PATTERN:-%5p} [${APP_NAME:-},%X{X-B3-TraceId},%X{X-B3-SpanId},%X{X-Span-Export}] ${PID:- } --- [%15.15t] %-40.40logger{39} [%4.4L] : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}

fluentd-client 정보 (각 서비스의 log파일을 읽어 fluentd aggregator로 전송한다) /etc/td-agent/td-agent.conf 파일

<source>
        @type tail
        format none
        path /var/log/*.log
        pos_file /var/log/demo-service.pos
        tag app
        <parse>
                @type multiline_grok
                grok_pattern %{TIMESTAMP_ISO8601:timestamp}\s+%{LOGLEVEL:severity}\s+\[%{DATA:service},%{DATA:trace},%{DATA:span},%{DATA:exportable}\]\s+%{DATA:pid}\s+---\s+\[\s*%{DATA:thread}\]\s+%{DATA:class}\s+\[\s*%{NUMBER:line}\]\s:\s+%{GREEDYDATA:rest}
    multiline_start_regexp /^[\d]/
        </parse>
</source>
<match app>
        @type copy
        <store>
                @type stdout
        </store>
        <store>
                @type forward
                @log_level debug
                <server>
                        host 13.125.225.179
                        port 24224
                </server>
                buffer_type memory
                buffer_chunk_limit 16m
                buffer_queue_limit 128
                flush_interval 30s
                flush_at_shutdown false
                retry_limit 17
                retry_wait 1s
                max_retry_wait 1m
                disable_retry_limit true
                num_threads 4
        </store>
</match>

fluentd-aggregator 정보 (각 서비스의 log정보를 받아 elasticsearch로 전송한다) /etc/td-agent/td-agent.conf 파일

<system>
    @log_level info
</system>

<source>
    @type forward
    bind 0.0.0.0
    port 24224
    @log_level debug
</source>

<match app.**>
    @type copy
    <store>
        @type elasticsearch
        host 52.79.248.125
        port 9200
        logstash_format true
        logstash_prefix dep_api
        logstash_dateformat %Y%m%d
        time_key timestamp
        include_tag_key true
        type_name app_log
        tag_key @log_name
        buffer_type memory
        buffer_chunk_limit 16m
        buffer_queue_limit 128
        flush_interval 30s
        flush_at_shutdown false
        retry_limit 17
        retry_wait 1s
        max_retry_wait 1m
        disable_retry_limit true
        num_threads 4
    </store>
    <store>
        @type stdout
    </store>
</match>

참고 https://docs.fluentd.org/v1.0/articles/quickstart

실행하기

systemd If you want to customize systemd behaviour, put your td-agent.service into /etc/systemd/system

$ sudo systemctl start td-agent.service
$ sudo systemctl status td-agent.service
$ sudo systemctl enable td-agent.service  # 서버 시작시 기동 됨

init.d

Please make sure your configuration file is located at /etc/td-agent/td-agent.conf

$ sudo /etc/init.d/td-agent start
$ sudo /etc/init.d/td-agent stop
$ sudo /etc/init.d/td-agent restart
$ sudo /etc/init.d/td-agent status

테스트(Post Sample Logs)

td-agent.conf에 input을 HTTP로 설정하고 output을 stdout으로 설정하여 테스트 해본다.

http type으로 지정 시 해당 포트로 http 요청을 받을 수 있게된다.

td-agent.conf

<source>
  @type http
  port 9880
</source>
<match **>
  @type stdout
</match>

$ curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test

/var/log/td-agent/td-agent.log에서 output을 확인한다.

2. Elastricsearch

8G 이하의 서버에서는 정상작동 안할 수 있음 출처

yum package

$ sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

repository정보 추가 /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

$ sudo yum update
$ sudo yum install elasticsearch

출처

Configuring elasticsearch

설정파일 경로confi 항목 상세 /etc/elasticsearch/elasticsearch.yml /etc/sysconfig/elasticsearch host 정보를 0.0.0.0 으로 설정

Running kibana with systemd

서버 시작시 자동 실행 등록

sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable elasticsearch.service

서비스 시작

sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service

tar 실행

it is recommended that you use the Oracle JDK version 1.8.0_131

binary를 통해 직접 설치 할 경우 vm 설정이 자동으로 적용되지 않으므로 /etc/sysctl.conf 파일에 vm.max_map_count=262144 설정을 추가해 줍니다. 참고

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz
tar -xvf elasticsearch-6.3.1.tar.gz
cd elasticsearch-6.3.1/bin
./elasticsearch

출처

3. Kibana

yum package

$ sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

repository정보 추가 /etc/yum.repos.d/kibana.repo

[kibana-6.x]
name=Kibana repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

$ sudo yum update
$ sudo yum install kibana

출처

Configuring kibana

설정파일 경로 /etc/kibana/kibana.ymlconfi 항목 상세 host 정보를 0.0.0.0 으로 설정

Running kibana with systemd

서버 시작시 자동 실행 등록

sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable kibana.service

서비스 시작

sudo systemctl start kibana.service
sudo systemctl stop kibana.service

tar로 설치하는 경우

wget  https://artifacts.elastic.co/downloads/kibana/kibana-6.3.1-linux-x86_64.tar.gz
shasum -a 512 kibana-6.3.1-linux-x86_64.tar.gz
tar -xzf kibana-6.3.1-linux-x86_64.tar.gz
cd kibana-6.3.1-linux-x86_64/
./bin/kibana

출처

PreviousLog NextEFK

Last updated 7 years ago

hashtagDocker 없이 EFK 설치하기

hashtagPort 정보

hashtag1. Fluentd 설치

hashtagBefore Installing

hashtagtd-agent 설치

hashtagfluentd plugin 설치

hashtag로그 경로 수정

hashtagfluentd config 설정

hashtag실행하기

hashtag테스트(Post Sample Logs)

hashtag2. Elastricsearch

hashtagyum package

hashtagConfiguring elasticsearch

hashtagRunning kibana with systemd

hashtagtar 실행

hashtag3. Kibana

hashtagyum package

hashtagConfiguring kibana

hashtagRunning kibana with systemd

hashtagtar로 설치하는 경우

Docker 없이 EFK 설치하기

Port 정보

1. Fluentd 설치

Before Installing

td-agent 설치

fluentd plugin 설치

로그 경로 수정

fluentd config 설정

실행하기

테스트(Post Sample Logs)

2. Elastricsearch

yum package

Configuring elasticsearch

Running kibana with systemd

tar 실행

3. Kibana

yum package

Configuring kibana

Running kibana with systemd

tar로 설치하는 경우