Es wurde am 03.10.2023 die neue Version Falcon LogScale Collector 1.5.2 veröffentlicht. Dieses ist ein allgemein verfügbares Update und steht im Bereich unter Data Ingest (ehemals FleetManagement) zur verfügung.

Zusammenfassung

Bei dieser Version wurden neue Merkmale und Funktionen veröffentlicht. Und es wurden einige Bugs behoben. Welche genau liest du in dem nächsten Abschnitten oder schaust dir die Release Notes an. Es sind übersetzte und originale Release Notes vorhanden.

Neue Funktionen

Bei den neuen Funktionen ist zu sehen, das sich Crowdstrike langsam in die Richtung bewegt, den Namen Humio weiter zu entfernen. Es wird jetzt auch in der Konfiguration auf den neuen Namen LogScale umgestellt.

Ein zweiter großer Punkt ist, das es jetzt Möglich ist größere Datenpakete über den LogScale Collector zu übermitteln. Die maximale Größe die verarbeitet werden kann beträgt 32 MB. Sollte jetzt eine Anfrage auf Grund der Größe zurückgewiesen werden, so wird diese aufgeteilt und in kleineren Paketen verschickt.

Die Fehlerbehebungen beziehen sich hauptsächlich auf das Dateihandling und wie diese gelesen werden. Hier ist zu erwähnen, das eine Verbesserung bei dem Lesen von 0-Byte Dateien die komprimiert werden. Dieses tritt auf, wenn Log-Dateien rotieren, also eine Log-Datei abgeschnitten wird und diese dann komprimiert wird.

Release Notes LogScale Collector 1.5.2

Fehlersuche

• Der Log-Level für die Log-Meldung „Datei ist ein Duplikat einer anderen Datei“ wurde von Warnung auf Info geändert.

Sammeln von Daten

• Es wurde ein logscale-Alias für die humio-Senke hinzugefügt. Es ist nun möglich, type: logscale anstelle von type: humio in die Sink-Sektion zu schreiben.
• Wenn LogScale eine Ingest-API-Anforderung aufgrund einer Zeitüberschreitung oder einer zu großen Anforderung zurückweist, teilt der LogScale Collector die Ingest-Anforderung jetzt in mehrere Teile auf und versucht, die aufgeteilten Dateien zu senden. Wenn nach der Aufteilung der Ingest-Anfrage ein einzelnes Ereignis immer noch dieses Limit auslöst, wird es verworfen.
  Die Standardgröße von LogScale-Anfragen ist auf 32 MB begrenzt, während der LogScale Collector maximal 16 MB pro Anfrage anstrebt. Aufgrund der Kodierung können insbesondere Steuerzeichen oder ungültige UTF-8-Sequenzen zu einer bis zu 6-fachen Vergrößerung der Anfragegröße führen.

Fehlerbehebungen

Sammeln von Daten

• Es wurde ein Fehler behoben, bei dem ein ungültiges Include/Exclude-Muster in der Konfiguration einer Dateiquelle zum Absturz des LogScale Collectors führen konnte.
• Es wurde ein Fehler behoben, bei dem das versehentliche Lesen einer Binärdatei eine 400 Bad Request von LogScale auslösen konnte, wodurch Daten im LogScale Collector verworfen wurden.
  Das Problem tritt auf, wenn eine Binärdatei eine UTF-8-Sequenz von EF BF BF enthält, die zu U+FFFF dekodiert wird. Der Codepunkt U+FFFF wird in der entsprechenden LogScale-Ingest-API als Ende der Eingabe interpretiert.
• Die Dateiquelle ignoriert jetzt Dateien mit einer Länge von null Bytes vollständig. Dies sollte ein Problem beheben, bei dem die Dateiquelle versehentlich eine komprimierte Datei als reinen Text gelesen hat, wenn die Datei geöffnet wurde, obwohl sie leer war.
  Dieses Szenario tritt am ehesten auf, wenn eine Protokolldatei rotiert und komprimiert wird. Das Lesen einer komprimierten Datei als Klartext könnte dann das oben beschriebene Problem mit Binärdateien in Bezug auf U+FFFF hervorrufen.
• Es wurde ein Fehler behoben, bei dem ein Duplikat einer Datei Längenaktualisierungen in der offenen Dateiquelle auslösen konnte.
• Wenn eine doppelte Datei eine eingeschlossene Datei ist, die den gleichen Fingerabdruck wie eine andere eingeschlossene Datei hat. Der lexikografisch kleinere Pfad wird als die aktive Datei betrachtet.

Release Notes LogScale Collector 1.5.2

These are the original release notes of Falcon LogScale Collector 1.5.2, which can be found on this page.

Debugging

• The log level for the log message „File is a duplicate of another file.“ has been changed from warning to info.

Collecting Data

• Added a logscale alias for the humio sink. It is now possible to write type: logscale instead of type: humio in the sinks section.
• When LogScale rejects an ingest API request due to a request timeout or the request being too large, the LogScale Collector now divides the ingest request in to multiple parts and attempts to send the split files. If after dividing the ingest request, if a single event still triggers this limit, it will be discarded.
  The default LogScale request size limit is 32 MB, while the LogScale Collector targets maximum of 16 MB of input per request. Due to encoding, particularly control characters or invalid UTF-8 sequences could cause an up to 6x blow up of the request size.

Bug Fixes

Collecting Data

• Fixed a bug where an invalid include/exclude pattern in the config of a file source could cause the LogScale Collector to crash.
• Fixed a bug when inadvertently reading a binary file could induce a 400 Bad Request from LogScale, which discards data in the LogScale Collector.The issue occurs when a binary file contains a UTF-8 sequence of EF BF BF that decodes to U+FFFF. The U+FFFF code point gets interpreted as end-of-input in the applicable LogScale ingest API.
• The file source now completely ignores files that are of length zero bytes. This should fix an issue where the file source would inadvertently read a compressed file as plain text, if the file was opened when it was empty.
  This scenario is most likely to occur when a log file is rotated and compressed. Reading a compressed file as plain text could then induce the above binary file problem regarding U+FFFF.
• Fixed a bug where a duplicate of a file could trigger length updates in the open file source.If a duplicate file is an included file that has the same fingerprint as another included file. The lexicographically lesser path is considered the active file.