Установка и конфигурирование централизованного логирования

Установка Fluentd

Рассмотрим последовательность действий установки Fluentd:

1) Установка агрегатора логов выполняется следующей командой:

curlL https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh

2) Проверка работы. Для этого необходимо выполнить запуск и посмотреть его статус:

/etc/init.d/td-agent start

После выполнения команды должно появится следующее сообщение, показывающее успешный запуск td-agent'а:

Starting td-agent: [OK]

Следующей командой проверяем статус работы:

/etc/init.d/td-agent status

Исходя из сообщения ниже видно, что Fluentd запущен и работает:

td-agent (pid 21 678) is running…

3) Устанавливаем Elasticsearch плагин, чтобы связать Fluentd и Elasticsearch.

$ sudo /usr/sbin/td-agent-gem install fluent-plugin-secure-forward

$ sudo /usr/sbin/td-agent-gem install fluent-plugin-elasticsearch

Настраиваем конфигурационный файл:

/etc/td-agent/td-agent.conf

4) Перезагружаем td-agent для применения конфигурации:

$ sudo service td-agent restart

На компоненту необходимо установить форвадер (агент, который будет отправлять логи):

1) Устанавливаем агента:

$ sudo curlL http://toolbelt.treasuredata.com/sh/install-ubuntu-precise.sh | sh

2) Разрешаем Fluentd читать логи:

$ sudo chmod og+rx /var/log/httpd

$ sudo chmod og+r /var/log/messages /var/log/secure /var/log/httpd/*

• 3) Добавляем запись в файл /etc/rsyslogd.conf для того чтобы начать отправку системных логов, чтобы Fluentd мог слушать порт:
  • *.* @127.0.0.1:42 185
• 4) Перезагружаем rsyslogd:

sudo service rsyslog restart

5) Изменяем конфигурационный файл /etc/td-agent/td-agent.conf.

Так как приложение имеет много компонент, а установка агента на каждую из компонент будет проблематична, необходимо предусмотреть процесс установки на все ноды/сервисы/виртуальные машины.

Можно использовать несколько вариантов установки агентов:

· Автоматическая установка через менеджер конфигураций. Здесь могут использоваться различные инструменты, такие как: Salt, Puppet.

Но минусом такого подхода является то, что при установке новой конфигурации данная конфигурация ставится заново, что может занимать значительное время.

• · Установка внутри контейнера. Здесь применяются такие технологии, как docker-контейнер или CoreOs-контейнер.
• · Установка агента непосредственно из кода компоненты. Минусом данного подхода является зависимость на выбранную библиотеку и на её конкретную версию.