ELK : Elastic by design

Le titre ne veut rien dire. Juste ça jette.
Comme beaucoup, j’ai mis en place eliastic+logstash+kibana, comme indiqué dans la démo. On a choisi des logs, et assez vite visualisé les graphes dans kibana. C’est joli.

Ensuite on explore les contours de l’outil :
– logstash est un peu capricieux,
bien sûr ils veulent tous le dernier java(8) et leurs dernières versions E2L2k2, mais ils tournent sur jruby c’est bien plus la classe, du coup pas de souci sur Solaris. La syntaxe de conf de logstash est naze, pourquoi ils n’utilisent pas ruby(ou alors c’est du ruby??), json, ou yml, c’est batard. Et dans logstash l’astuce qui n’est pas dans la doc est qu’il faut un seul logstash qui tourne, qui charge les fichiers de log et qui les tague dans input{type=>’toto’ } , ensuite dans filter{} on ajoute un if [type]==’toto'{}.

elastic fait son job, il découpe tout en petit morceaux de mots, pour la recherche fulltext (moteur lucene). et il discute en REST et JSON.

Kibana fait un peu son minimum, et ça m’étonne qu’il n’y ait pas de remplaçant, avec de meilleures visualisations.
Apparemment c’est simple de faire une requete elastic, récupérer les data, et reformatter pour une visu D3JS. ça me tente d’essayer.

Petite déception quand on a deux logs genre apache+weblogic avec un java_session_id qui devrait regrouper plusieurs logs de chaque fichier. Eh ben c’est pas bien fait pour. il y a bien un lien parent-child qui existe mais pas possible pour le moment de l’utiliser dans kibana. On peut ruser quand on a des équivalences 1-1 ou 1-0 : forcer l’id et utiliser des actions update+upsert pour fabriquer un document avec les items des deux logs. bref.

Il faut voir ça comme un petit outil – big data little tool.

Pocket