LogScale – was ist der Falcon Logscale Collector

Der Falcon LogScale Collector ist nach Sprechweise von LogScale ein LogShipper. Unter LogShipper fassen wir die verschiedenen Dienste zusammen, die Informationen zu LogScale transportieren. In ihrer Art und Weise bereiten diese die Informationen für LogScale noch auf bevor sie übermittelt werden. So werden z.B. die Windows Eventlogs anders verarbeitet als die von einem Syslog kommenen Daten. Im Anschluss werden diese Informationen zum jeweiligen LogScale Repository übermmittelt. 

Der LogShipper hat also diese drei aufeinanderfolgenden Prozesse, die je nach Information durchlaufen werden und diese aufbereiten. 

Angefangen bei dem Collect-Prozess werden die Informationen aus dem jeweiligen Ort abgefragt und zwischengespeichert.

Anschließend findet die Entscheidung statt ob die Informationen noch weiter aufbereitet werden müssen. Wenn dieses notwendig ist, dann werden diese zum Parser-Prozess weitergegeben und dort in das jeweilig notwendige Format aufbereitet. Dieses kann man sich so vorstellen, wenn man eine CSV-Datei in Excel importiert und im Anschluss dann eine XLSX-Datei erhält. Innerhalb der CSV-Datei haben sie noch nicht den vollen Umfang den Excel bietet. Erst durch das umwandeln zu einer XLSX-Datei, einer Excel optimierten Datei, entfaltet sich das gesamte Potiental.

Zu guter Letzt werden die Informationen über den Ingest-Prozess an das jeweilig konfigurierte LogScale Repository weitergeleitet. Es können unterschiedliche Repositories genutzt werden, so dass die Eventlogs aus dem Windows-Server auch zusammen in einem Repository liegen und die Linux Syslogs in einem separaten.

Was sind Informationen?

Ich habe bisher immer von Informationen geredet. Doch was genau ist damit gemeint, was sind Informationen in diesem Zusammenhang? Kurz gesagt – it depends.

Je nach Aufgabengebit können Informationen die Daten über einen Temperatursensor zu einem bestimmten Zeitpunkt haben oder die Information wann ein Benutzer sich wann und von wo angemeldet hat. Hierbei spielen die Art der Daten die gesammelt werden erst mal keine Rolle, zusammengefasst handelt es sich um Informationen.

Eine Information kann wenn sie einzeln steht erst mal keine große Bedeutung haben. Z.B. ein Prozess der gestartet wurde und eine Meldung über eine fehlgeschlagene Anmeldung eines Benutzers. Die fehlgeschlagene Anmeldung kann auf verschiedene Ursachen zurückzuführen sein und erst durch die Zusammenführung mit weiteren Informationen kann ein vollständiges Bild entstehen.

Ein wichtiger Leitsatz hier ist, keine Information ist unnötig. So kann eine einzelne Information am Anfang erst mal als unnötig erscheinen, doch durch die Zusammenführung ergibt sich ein neues Bild.

Woher bezieht man die Dateien?

Die Installationsdateien können nur über das FleetManagement heruntergeladen werden. Dabei ist es egal, ob man die Community oder Paid Edition verwendet. Eine Erläuterung zum FleetManagement werde ich im nächsten Artikel erläutern, soviel sei schon mal gesagt, es ist eine Möglichkeit die Konfiguration der Installationen zu administratieren. 

Über diesen Menüpunkt kann einfach die passende Installationsdatei heruntergeladen werden.

Ältere Versionen sind darüber nicht erreichbar, solltet ihr also immer die gleiche Version für eure Installation verwenden wollen, so müsst ihr diese zwischenspeichern.

Welche Voraussetzungen müssen am Repository getroffen werden?

Für den Falcon LogScale Collector müssen keine besonderen Voraussetzungen getroffen werden. Es ist nur erfoderlich für das Repository einen Ingest-Token zu erstellen.

Diesen kannst du einfach über das Repository unter Settings – Ingest – Ingest tokens erstellen. Achte nur darauf das du den richtigen Parser auswählst. Was das genau ist, erläutere ich dir in einem anderen Artikel.

Nachdem du den Ingest token erstellt hast, muss dieser einmalige Token noch in deine Konfiguration eingetragen werden. Dazu einfach auf das Auge klicken und den angezeigten Token kopieren. 

Dieser Token besteht wie oben zu sehen aus Zahlen und Buchstaben und ist mit dem Bindestrich als Trennzeichen versehen. Wer sich ein wenig auskennt, das ist ist eine UUID. Wie dieses in einer Konfiguration aussehen kann, gehen wir in den nächsten Artikeln durch. Im nächsten Abschnitt geht es um den Speicherort der Konfigurationsdatei, welche auch den Token enthält.

Logscale – Konfigurationsmöglichkeiten

Wie im letzten Abschnitt schon erfahren, benötigt der Falcon LogScale Collector einen Ingest token damit die Daten in das Repository gespeichert werden können. Wie wir diesen erstellen können, haben wir schon besprochen.

Solltet ihr die Installation, welche wir in einem anderen Artikel nochmal besprechen, im Standard durchgeführt haben, so liegt die benötigte Datei hier:

Windows:

C:\Program Files (x86)\CrowdStrike\Humio Log Collector\

Linux:

/etc/humio-log-collector/config.yaml

In diesem Programmordner selber ist auch die zugehörige Konfigurationsdatei config.yaml zu finden. Diese kann mit einem normalen Texteditor geöffnet werden. Es muss kein VisualStudio Code, Notepad++ oder SublimeText sein. Der gute alte Editor von Windows genügt hier. Die Linux User wissen, das ein vi, vim oder nano ebenso ausreichend ist.

sources:
  syslog:
    type: syslog
    # Mode must be 'udp' or 'tcp'
    mode: udp
    # Port number to listen on
    # Default: 514
    port: 514
    # Optional bind address.
    # If unspecified the source will listen on all interfaces
    # Don't specify port here. Use 'port' field for that
    bind: 0.0.0.0
    sink: logscale
    
sinks:
  logscale:
    type: humio
    token: 00000000-0000-0000-0000-000000000000
    url: https://cloud.community.humio.com
    
    proxy: none

    queue:
      fullAction: deleteOldest
      memory:
        flushTimeOutInMillisecond: 200
        maxLimitInMB: 1024

Die Konfigurationsdatei ist im YAML Format abgelegt. Hier werden die eingerückten Bereiche mittels Leerzeichenerzeugt. Achtet bitte bei der Formatierung auf die Einrückungen und verwendet keine Tabs.

Bedient ihr nur ein Repository so könnt ihr einfach den Ingest token 00000000-0000-0000-0000-000000000000 mit dem Ingest token ersetzen. Speichern. Und den Dienst neustarten.

Eine genauere Anleitung wird noch folgen, in der ich ausführlicher auf die einzelnen Themenbereiche eingehen werde.

Übersicht über die Möglichkeiten der Installation von Logscale

Für die Installation gibt es die folgenden Möglichkeiten:

• Manuelle Installation (Windows, Linux)
• Ansible (Windows, Linux)
• Installation per Powershell (Windows)
• Installation per Bash (Linux)
• Gruppenrichtlinie (Windows)

Diese werde ich in der nächsten Zeit ausarbeiten und hier als Artikel bereitstellen. Dabei werden wir die Konfiguration über das FleetManagement verteilen, welches wir natürlich vorher vorbereitet und strukturiert haben.

Das FleetManagement bietet die Grundlage, die Konfigurationen zentral zu verwalten und einen Überblick über die verteilten Installationen zu behalten. Es ist auf einem Blick sichtbar, welche Server noch welche Versionen vom Falcon LogScale Collector einsetzen und wie hoch ihr Datenvolumen ist.