Com instal·lar Elasticsearch, Logstash i Kibana (ELK Stack) a CentOS/RHEL 7

10. Genereu un certificat autofirmat vàlid durant 365 dies:

# cd /etc/pki/tls
# openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

11. Configureu els fitxers d'entrada, sortida i filtre de Logstash:

Entrada: creeu /etc/logstash/conf.d/input.conf i inseriu-hi les línies següents. Això és necessari perquè Logstash \aprèn com processar els ritmes procedents dels clients. Assegureu-vos que el camí cap al certificat i la clau coincideixin amb els camins correctes, tal com s'indica al pas anterior:

input {
  beats {
	port => 5044
	ssl => true
	ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
	ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

Fitxer de sortida (/etc/logstash/conf.d/output.conf):

output {
  elasticsearch {
	hosts => ["localhost:9200"]
	sniffing => true
	manage_template => false
	index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
	document_type => "%{[@metadata][type]}"
  }
}

Fitxer de filtre (/etc/logstash/conf.d/filter.conf). Registrarem els missatges de syslog per simplificar:

filter {
if [type] == "syslog" {
	grok {
  	match => { "message" => "%{SYSLOGLINE}" }
	}

	date {
match => [ "timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
  }
}

12. Verifiqueu els fitxers de configuració de Logstash.

# service logstash configtest

13. Inicieu i activeu logstash:

# systemctl daemon-reload
# systemctl start logstash
# systemctl enable logstash

14. Configureu el tallafoc per permetre a Logstash obtenir els registres dels clients (port TCP 5044):

# firewall-cmd --add-port=5044/tcp
# firewall-cmd --add-port=5044/tcp --permanent

14. Inseriu les línies següents al fitxer de configuració del dipòsit kibana.repo:

[kibana]
name=Kibana repository
baseurl=http://packages.elastic.co/kibana/4.4/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

15. Instal·leu el paquet Kibana:

# yum install kibana

16. Inicieu i activeu Kibana.

# systemctl daemon-reload
# systemctl start kibana
# systemctl enable kibana

17. Assegureu-vos que podeu accedir a la interfície web de Kibana des d'un altre ordinador (permeteu el trànsit al port TCP 5601):

# firewall-cmd --add-port=5601/tcp
# firewall-cmd --add-port=5601/tcp --permanent

18. Inicieu Kibana (http://192.168.0.29:5601) per verificar que podeu accedir a la interfície web:

Tornarem aquí després d'haver instal·lat i configurat Filebeat als clients.

Instal·leu Filebeat als servidors client

Us mostrarem com fer-ho per al client núm. 1 (repetiu-ho per al client núm. 2 després, canviant els camins si escau a la vostra distribució).

1. Copieu el certificat SSL del servidor als clients:

# scp /etc/pki/tls/certs/logstash-forwarder.crt [email :/etc/pki/tls/certs/

2. Importeu la clau pública GPG d'Elasticsearch al gestor de paquets rpm:

# rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch

3. Creeu un dipòsit per a Filebeat (/etc/yum.repos.d/filebeat.repo) a les distribucions basades en CentOS:

[filebeat]
name=Filebeat for ELK clients
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1

4. Configureu la font per instal·lar Filebeat a Debian i els seus derivats:

# aptitude install apt-transport-https
# echo "deb https://packages.elastic.co/beats/apt stable main" > /etc/apt/sources.list.d/filebeat.list
# aptitude update

5. Instal·leu el paquet Filebeat:

# yum install filebeat        [On CentOS and based Distros]
# aptitude install filebeat   [On Debian and its derivatives]

6. Inicieu i activeu Filebeat:

# systemctl start filebeat
# systemctl enable filebeat

Una paraula de precaució aquí. La configuració de Filebeat s'emmagatzema en un fitxer YAML, que requereix un sagnat estricte. Aneu amb compte amb això mentre editeu /etc/filebeat/filebeat.yml de la següent manera:

1. En els camins, indiqueu quins fitxers de registre s'han d'\enviar al servidor ELK.
2. Sota els prospectors:

input_type: log
document_type: syslog

1. Sota la sortida:
   1. Descomenteu la línia que comença amb logstash.
   2. Indiqueu l'adreça IP del vostre servidor ELK i el port on Logstash escolta als amfitrions.
   3. Assegureu-vos que el camí del certificat apunta al fitxer real que heu creat al pas I (secció Logstash) anterior.

   Els passos anteriors es mostren a la imatge següent:

   

   Deseu els canvis i, a continuació, reinicieu Filebeat als clients:

   # systemctl restart filebeat
   

   Un cop hàgim completat els passos anteriors sobre els clients, no dubteu a continuar.

   Per verificar que els registres dels clients es poden enviar i rebre correctament, executeu l'ordre següent al servidor ELK:

   # curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
   

   La sortida hauria de ser similar a (observeu com es reben missatges de /var/log/messages i /var/log/secure de client1 i client2):

   

   En cas contrari, comproveu si hi ha errors al fitxer de configuració de Filebeat.

   # journalctl -xe
   

   després d'intentar reiniciar Filebeat us indicarà les línies ofensives.

   Després d'haver verificat que els registres estan sent enviats pels clients i rebuts correctament al servidor. El primer que haurem de fer a Kibana és configurar un patró d'índex i establir-lo per defecte.

   Podeu descriure un índex com una base de dades completa en un context de base de dades relacional. Anirem amb filebeat-* (o podeu utilitzar un criteri de cerca més precís tal com s'explica a la documentació oficial).

   Introduïu filebeat-* al camp Nom de l'índex o patró i després feu clic a Crea:

   

   Tingueu en compte que més endavant podreu introduir criteris de cerca més detallats. A continuació, feu clic a l'estrella dins del rectangle verd per configurar-lo com a patró d'índex predeterminat:

   

   Finalment, al menú Discover trobareu diversos camps per afegir a l'informe de visualització del registre. Només cal que passeu el cursor per sobre d'ells i feu clic a Afegeix:

   

   Els resultats es mostraran a l'àrea central de la pantalla tal com es mostra a dalt. No dubteu a jugar (afegir i eliminar camps de l'informe de registre) per familiaritzar-vos amb Kibana.

   De manera predeterminada, Kibana mostrarà els registres que s'han processat durant els darrers 15 minuts (vegeu la cantonada superior dreta), però podeu canviar aquest comportament seleccionant un altre període de temps:

   

   Resum

   En aquest article hem explicat com configurar una pila ELK per recollir els registres del sistema enviats per dos clients, una màquina CentOS 7 i una Debian 8.

   Ara podeu consultar la documentació oficial d'Elasticsearch i trobar més detalls sobre com utilitzar aquesta configuració per inspeccionar i analitzar els vostres registres de manera més eficient.

   Si tens qualsevol pregunta, no dubtis a preguntar. Esperem amb interès tenir notícies teves.