Библиотека девопса | DevOps, SRE, Sysadmin

🎮 Код из книги: Интеграция Elasticsearch с Logstash для сбора логов

Проблема: сбор и анализ логов — важная часть мониторинга системы. Без автоматизации этот процесс может быть трудоемким и подверженным ошибкам. Проблемой является необходимость агрегации и индексирования больших объемов логов с различных источников.

Решение: в книге Elasticsearch in Action (Second Edition) автор объясняет, как настроить интеграцию Elasticsearch с Logstash для автоматического сбора и обработки логов.

Пример конфигурации Logstash для отправки логов в Elasticsearch:

input {
  file {
    path => "/var/log/syslog"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{WORD:loglevel} %{GREEDYDATA:message}" }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "syslog-%{+YYYY.MM.dd}"
  }
}

Преимущества:

— Автоматизация сбора логов и их индексация.
— Упрощает мониторинг и анализ больших объемов данных.
— Позволяет быстро искать и фильтровать логи с помощью Elasticsearch.

➡️ Лучшее из мира IT-книг — у нас в @progbook

Please open Telegram to view this post

VIEW IN TELEGRAM

www.tgoop.com/devopsslib/3642

1.1K viewsMay 20 at 06:59

🎮 Код из книги: Интеграция Elasticsearch с Logstash для сбора логов

Проблема: сбор и анализ логов — важная часть мониторинга системы. Без автоматизации этот процесс может быть трудоемким и подверженным ошибкам. Проблемой является необходимость агрегации и индексирования больших объемов логов с различных источников.

Решение: в книге Elasticsearch in Action (Second Edition) автор объясняет, как настроить интеграцию Elasticsearch с Logstash для автоматического сбора и обработки логов.

Пример конфигурации Logstash для отправки логов в Elasticsearch:

input {
  file {
    path => "/var/log/syslog"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{WORD:loglevel} %{GREEDYDATA:message}" }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "syslog-%{+YYYY.MM.dd}"
  }
}