Posts by friesoft

friesoft · Nov 2nd 2017

Oh... you are totally right.. I forgot about Array#join ...

Thanks for pointing this out! I was able to replace my array_to_string function call with calls to join("\n"). Much better

So what's left now are just some function calls (by_ssh_command, logfile_tag). Can this be handled with director?

The only remotely related thing I was able to find was: https://github.com/Icinga/icin…dule-director/issues/1168

Thanks for your help!

friesoft · Oct 31st 2017

I used another approach now but I'm not able to use it with director yet. It is also a bit ugly as I'm using commandline arguments to pass over the check_logfile parameters.

Configuring this via Director is not yet possible (or at least I didn't manage). Maybe this would be worth a feature request? Please comment

Implementation

This creates a Template Service which can be be applied to all logfiles (custom array variable from the host objects). You can configure all critical/warning/ok patterns as well as the critical/warning exceptions through the icinga configuration.

It also creates an unstick service for every check_logfile. They are linked to each other using icingaweb2 shared navigation.

Code: /etc/icinga2/zones.d/myzone/check_logfiles.conf

globals.array_to_string = function(arrayVariable) {
var arraystring = ""
if (typeof(arrayVariable) == Array && arrayVariable.len() > 0) {
var i = 0
while (i < arrayVariable.len()) {
arraystring += arrayVariable.get(i)
if (i != arrayVariable.len() - 1) {
arraystring += "\n"
}
i = i + 1;
}
}
return arraystring
}
template Service "My Log" {
import "[Template] ssh-service (active)"
vars.logfiles_criticalpatterns = [
"ERROR"
]
vars.logfiles_criticalexceptions = [
"NOT AN ERROR"
]
vars.logfiles_warningpatterns = [
"WARNING"
]
vars.logfiles_warningexceptions = [
"NOT A WARNING"
]
vars.logfiles_okpatterns = [
"OK"
]
vars.by_ssh_command = "~/libexec/check_logfiles/check_logfiles -f ~/libexec/check_logfiles/etc/check_logfiles_config.cfg $logfile$ $logfile_tag$ \"" + array_to_string(vars.logfiles_criticalpatterns) + "\" \"" + array_to_string(vars.logfiles_criticalexceptions) + "\" \"" + array_to_string(vars.logfiles_warningpatterns) + "\" \"" + array_to_string(vars.logfiles_warningexceptions) + "\" \"" + array_to_string(vars.logfiles_okpatterns) + "\""
}
apply Service "My Log " for (config in host.vars.mylogs) {
import "My Log"
vars.logfile = config
vars.logfile_tag = vars.logfile.replace("/", "_")
# for shared navigation link to unstick service
vars.navigation_link = "My Log Unstick " + config
assign where "linux" in host.groups
}
template Service "My Log Unstick" {
import "[Template] ssh-service (passive)"
vars.by_ssh_command = "~/libexec/check_logfiles/check_logfiles --unstick -f ~/libexec/check_logfiles/etc/check_logfiles_config.cfg '$logfile$' '$logfile_tag$'"
}
apply Service "My Log Unstick " for (config in host.vars.mylogs) {
import "My Log Unstick"
vars.logfile = config
vars.logfile_tag = vars.logfile.replace("/", "_")
# for shared navigation link to unstick service
vars.navigation_link = "My Log " + config
assign where "linux" in host.groups
}

Display More

Code: /etc/icingaweb2/navigation/service-actions.ini

[My Log Crosslink]
groups = "admins"
type = "service-action"
target = "_next"
url = "monitoring/service/show?host=$host_name$&service=$_service_navigation_link$"
icon = "check"
filter = "service_description=My Log *"
owner = "friedreb"

Code: ~/libexec/check_logfiles/etc/check_logfiles_config.cfg

use Data::Dumper qw(Dumper);
my $LOGFILE = $ARGV[0];
my $TAG = $ARGV[1];
my @CRITICALPATTERNS = splitStringToArray($ARGV[2]);
my @CRITICALEXCEPTIONS = splitStringToArray($ARGV[3]);
my @WARNINGPATTERNS = splitStringToArray($ARGV[4]);
my @WARNINGEXCEPTIONS = splitStringToArray($ARGV[5]);
my @OKPATTERNS = splitStringToArray($ARGV[6]);
@searches = ({
tag => "$TAG",
logfile => "$LOGFILE",
criticalpatterns => \@CRITICALPATTERNS,
criticalexceptions => \@CRITICALEXCEPTIONS,
warningpatterns => \@WARNINGPATTERNS,
warningexceptions => \@WARNINGEXCEPTIONS,
okpatterns => \@OKPATTERNS,
rotation => 'debian',
options => 'allyoucaneat,sticky=7500'
});
#print Dumper(\@searches);
sub splitStringToArray {
my ($arrayString) = @_;
return split /\n/, $arrayString;
}

Display More

What do you think? Is there a better aproach?

How can I get this into director?

friesoft · Apr 19th 2017

sru wrote:

i am on that as well. The only solution i see is:

in the grapher hook, create a placeholder div and get its position.

in some other hook, create the iframe and absolute position it above the placeholder.

Kind of a rape. May be TomGelf has a better tip for us two ?

I've just created an issue on github. Maybe this can be implemented as feature in icingaweb2.

https://github.com/Icinga/icingaweb2/issues/2820

friesoft · Mar 8th 2017

thanks for the fast Response so that basically leads to my second comment with logfile variables in the Host?

friesoft · Mar 8th 2017

Something like this seems like a possible solution to me.

Code

object Host "MyHost" {
import "LinuxHost"
address = "192.168.0.2"
vars.logfiles["/var/log/error.log"] = {
check_logfiles_config = "error.log.cfg"
}
vars.logfiles["/var/log/maillog"] = {
check_logfiles_config = "maillog.cfg" }
}
template Service "Logfile" {
import "[Template] ssh-service (active)"
}
apply Service "Logfile " for (config in host.vars.logfiles) {
import "Logfile"
vars.logfile_config = config.check_logfiles_config
assign where host.vars.os == "linux"}
template Service "Logfile" {
import "[Template] ssh-service (active)"
}
apply Service "Logfile Unstick " for (config in host.vars.logfiles) {
import "Logfile Unstick"
vars.logfile_config = config.check_logfiles_config
assign where host.vars.os == "linux"
}

Display More

Still: is applying services for services possible? Is this way the recommended?

And most importantly:

Can I create such a host config using Icinga Director? According to this bugreport it doesn't look like: https://github.com/Icinga/icin…odule-director/issues/773

friesoft · Mar 8th 2017

Hello,

I would like to generate a service for other services.

Example:

I have 2 check_logfiles services on one host - for each check_logfiles service I would like to generate a check_logfiles instance with another command (unstick option set).

Some pseudo code:

Code

foreach (host : getAllHosts())
foreach (service : host.getServices())
if (service.name startswith("Logfile"))
generateService("Logfile Reset " + extractLogPath(service.name))

Is something like this possible? Could this grow into a performance problem or is this only evaluated once?

How could this be done differently? Only solution I could think of is an array in the host object containing all logfiles and using two apply for rules to generate the check_logfiles service itself and another one for unstick.

Thanks & Best regards,
Bernhard

friesoft · Mar 3rd 2017

dnsmichi : any idea how to prevent icingaweb2 from reloading iframes with each Interval? If they wouldn't reload we could have interactive Grafana graphs

friesoft · Mar 3rd 2017

Hello,

I would like to add check_logfiles monitoring for all our logfiles automatically. That means I can create a service using Icinga Director which I can apply everywhere.

Usecase: OutOfMemory should be checked for all Tomcat logfiles.

To simplify configuration I don't want to create config files for each service but instead configure the service using Icinga Director (one field with an array for warningexceptions, one field with an array for criticalpatterns, ...).

To make this work I need check_logfiles to be fully configurable using the commandline.

Basically something like that config, just from commandline:

Code

@searches = (
{
tag => 'tomcat_catalina.out'
logfile => '/var/log/tomcat/catalina.out',
rotation=> 'debian',
criticalpatterns => [
'OutOfMemory',
'\|ERROR\|'
],
criticalexceptions => [
'javax.naming.NameNotFoundException'
],
warningpatterns => [
'WARNING',
],
warningexceptions => [
],
okpatterns => [
'Server startup in'
],
options => 'allyoucaneat,sticky=26800'
},
)

Display More

I couldn't get that to work as it seems to ignore my patterns Is something like that possible? Has anyone tried?

Thanks,

Bernhard

friesoft · Feb 7th 2017

Haha you were a bit faster than me I am also working on a Grafana module and am in the final steps (adding configuration ui, ...)

Nice work Will try for sure!

[edit]: I just tried it. You took a different approach in using the render API and fetching on the icinga server. I implemented the module using the iframe embed method. This works better together with our SSO solution protecting Grafana. It also leads to graphs being zoomable etc.. well it's Grafana after all

I couldn't get your module to work as we don't have the http auth enabled and can only use the Bearer header.

I like the configuration options, especially the per service configuration of the graphs.

What my module supports is different backends, currently influxdb and graphite. The only real change needed is that metrics need to be escaped for graphite.

You definitely, did some nice work! Hopefully I'm allowed to publish my module as well so we can learn from each other

friesoft · Jan 27th 2017

Ich habe kürzlich das Graphite Plugin von findmypast um eine kleine Grafana Integration erweitert Es werden zwar nicht direkt die Graphen angezeigt (zu groß mMn) aber es wird direkt vom Host/Service/jeder Metrik auf Grafana Dashboards verlinkt.

https://github.com/findmypast/…2-module-graphite/pull/69

friesoft · Jul 11th 2016

Schaut so aus als hätte ich die richtigen Stellen gefunden Ich habe hierzu einen Feature Request geöffnet: https://dev.icinga.org/issues/12137

Im Ticket habe ich einen Patch hinzugefügt welcher hoffentlich in Form gebracht werden kann um im nächsten Release dabei zu sein

friesoft · Jul 11th 2016

Hallo,

ist es aktuell möglich die Anmeldung über HTTP Header zu regeln? Unsere Lösung für Single Signon schützt die komplette Domain und stellt der Applikation in den HTTP Headern die nötigen Informationen bereit damit die Anwendung (in diesem Fall Icingaweb2) anzeigen kann dass der User eingeloggt ist und welche Rechte dieser besitzt.

Wenn dies aktuell nicht möglich ist: kann man hierfür ein Modul oder ähnliches schreiben? Wo könnte man diesbezüglich ansetzen?

Was ich bisher gefunden hätte als Ansatzpunkt: https://github.com/Icinga/icin…a/Authentication/Auth.php
Hier könnte man das sicher reinfriemeln.. Würde das Icingaweb2 Projekt das als Patch akzeptieren? (sofern es nicht schon möglich ist).

[Edit] oder ist das External Backend das richtige hierfür? Laut dem Source (https://github.com/Icinga/icin…r/ExternalBackend.php#L62) wird hier auf das _SERVER Array zugegriffen in dem auch die HTTP Header drinnen sind. Nur wird die Methode getRemoteUser ohne Parameter aufgerufen wodurch immer nur die Variable REMOTE_USER abgefragt wird.

[Edit2]: das ExternalBackend.php dürfte der richtige Ansatzpunkt sein. Wenn ich dort die REMOTE_USER auf HTTP_USER umbaue und den entsprechenden Header mitschicke bin ich direkt eingeloggt
Damit fehlt mir nur die Möglichkeit diesen Parameter über die Oberfläche zu konfigurieren wenn das Backend External Auth ist.

Danke im Voraus & LG
Bernhard

friesoft · Jul 7th 2016

Damit das deployen der Config nach einspielen des Dumps auf dem neuen Server dann funktionierte musste ich noch den icinga_endpoint in der Datenbank umdrehen. Könnte aber an mir liegen Gibt sicher einen einfachereren Weg

friesoft · Jun 11th 2016

This is also really important for us. Is this already planned? I can't find anything on the bugtracker yet so shall we file an issue as enhancement request?

Thanks!

friesoft · May 30th 2016

Hallo,

wir sind aktuell dabei unsere Nagios Installation auf Icinga2 zu migrieren und stehen dabei vor der Herausforderung eine möglichst übersichtliche Konfiguration aufzubauen.

Wir haben in etwa folgenden Aufbau und damit Anforderung an die Überwachung:

OS: Linux/Solaris (je nachdem zum Teil unterschiedliche Checks)
- gelöst über vars.os
mehrere Apache httpd Instanzen pro Server
- Überprüfung ob der Prozess noch läuft
- mehrere VHosts pro httpd
- Überprüfung mittels check_http welcher Status Code zurück kommt
mehrere Tomcats pro Server
- Überprüfung ob der Prozess noch läuft
- mehrere Connectors pro Tomcat
- Überprüfung mittels check_http/check_ajp welcher Status Code zurück kommt

Unsere Überlegung war, dass das "Host" Objekt den Server möglichst vollständig in seinem Aufbau widerspiegeln sollte und die Services dann nur mehr auf einzelne Variablen applied werden.
Siehe [1].

Gibt es hierzu best practices? Können Dictionieries geschachtelt werden, sodass wir darüber iterieren können?
Wir würden uns etwas in dieser Art vorstellen: [2]. Bzw. eigentlich zwei apply for ineinander verschachtelt da wir den httpd Namen auch noch benötigen würden für die Description.

Vielen Dank

LG
Bernhard

[1]:

Code

object Host "MeinServer" {
check_command = "hostalive"
address = "192.168.2.20"
vars.officialserver = true
vars.os = "Linux"
vars.apache_httpds["/products/web/apache"] = {
vars.vhosts["search3.domain.at:80"] = {
http_address = "192.168.15.76"
http_port = "80"
http_vhost = "search3.domain.at"
}
vars.vhosts["search3.domain.at:443"] = {
http_address = "192.168.15.76"
http_port = "443"
http_ssl = true
http_vhost = "search3.domain.at"
}
vars.vhosts["nps3.domain.at:80"] = {
http_address = "192.168.15.76"
http_port = "80"
http_vhost = "nps3.domain.at"
}
vars.vhosts["nps3.domain.at:443"] = {
http_address = "192.168.15.76"
http_port = "443"
http_ssl = true
http_vhost = "nps3.domain.at"
}
}
vars.apache_httpds["/products/web/apache_intranet"] = {
.....
}
vars.tomcats["/products/web/tomcat_lucene"] = {
vars.tomcat_ajp_port = 6009
vars.tomcat_http_port = 6080
}
}

Display More

[2]:

Code

apply Service "http-" for (vhost => vhost_config in host.vars.apache.httpds.vars.vhosts) {
import "generic-service"
check_command = "http"
vars += vhost_config
notes = "HTTP checks for " + vhost
assign where host.vars.vhosts
}

friesoft · May 25th 2016

Initially I also hoped for director to be a simple edit ui for my current icinga config. Sadly it doesn't seem to be atm.
Nonetheless I think it's really cool that all sorts of import sources can be created and many things can be automated.

I've found this bug report regarding a full import of current config: maybe voting for it helps
https://dev.icinga.org/issues/11581#change-51206

friesoft · May 25th 2016

That sounds like a very nice idea! +1

friesoft · May 25th 2016

TomGelf wrote:

das von findmypast ist älter, das von Icinga neuer. Vorteile von dem von Icinga:

du musst Graphite-Web nicht public zugänglich machen, alle Requests laufen authentifiziert durch das Modul

es unterstützt Templates, du hast bei 10 datasources zum selben Check also nicht 10 hässliche einzelne Linien

Datasources der Templates lassen sich per Mausklick in der Legende ein- und ausschalten (siehe MySQL-Beispiel auf den Screenshots)

es ist nicht von Icinga abhängig, lässt sich also auch wunderbar nutzen um parallel z.B. Bilder für von Collectd o.ä. gesammelte Daten darzustellen

Nachteil vorerst: kein Template, kein Bild

Noch offen sind grob folgende Punkte:

Möglichkeit zum Zoom und zur bequemen Navigation in der Zeit. Geht schon vieles per URL, hilft halt wenig wenn man's nicht weiß

Mehr Templates, Tipps/Doku zum Erstellen derselben (ist ziemlich simpel, einfach die Beispiele anschauen)

Separate Berechtigungen für den Zugang zu allen Graphen, die sind aktuell aus dem Menü für jeden erreichbar, der das Modul nutzen darf

Hallo Tom,

wäre super wenn du diese Infos in irgendeiner Form direkt beim offiziellen Repository unterbringen könntest. Wir haben vor etwa einem Monat versucht mit dem offiziellen graphite Module die Graphen direkt beim Service angezeigt zu bekommen und haben uns dabei fast die Haare ausgerissen weil wir alles nach Anleitung gemacht haben, aber nichts funktioniert hat wie auf den Screenshots - wo es Graphen gab - die Screenshots waren nur offenbar alle von findmypast.

Kannst du einen ungefähren Zeithorizont nennen wann die Graphen auch inline beim Service dargestellt werden können (ohne weiteren Klick auf einen Link) und wann das zoomen (ohne fixe Zeitraumvorgaben) möglich sein wird?

Das wären die 2 Features die wir als bisherige Nagios User mit pnp4nagios schmerzlich vermissen.

Vielen Dank!

Posts by friesoft

check_logfiles Configuration by commandline using Icinga Director

check_logfiles Configuration by commandline using Icinga Director

Grafana Module

Generate service for service

Generate service for service

Generate service for service

Grafana Module

check_logfiles Configuration by commandline using Icinga Director

Grafana Module

icingaweb2 graphiteplugin an influxdb

Login mittels HTTP Header

Login mittels HTTP Header

Backup der Director-Konfiguration möglich?

How do i do iterate over array or dictionary with Director?

Host Object best practices (mehrere httpds, vhosts, tomcats, ...)

Director "direction"

icinga2 icingaweb2-module-graphite

unterschied von icingaweb2-module-graphite von findmypast oder icinga