Čitelnost nečitelných logů / De-obfuscating logs

Čitelnost nečitelných logů / De-obfuscating logs

Ahoj,

v dnešním příspěvku na blogu prozkoumám možnosti de-obfuskace zpráv pomocí LOGmanageru.

Proč je to důležité? Ne každá zpráva protokolu je generována ve snadno srozumitelném formátu prostého textu. Jedním z takových příkladů je Auditd daemon, který mimo jiné umožňuje monitorování každého volání syscall vydaného v systému Linux. Dává nám příležitost podrobně analyzovat, co se děje – kdo a kdy zahájil jaký proces. Pole proctitle protokolu Auditd zaznamenává celý příkazový řádek, který byl použit k vyvolání analyzovaného procesu. Nemyslím si, že musím vysvětlovat, jak prospěšné by bylo mít takové informace k dispozici – pro Incident Response (např. Sledování nepřátelských kroků po získání přístupu do systému), proaktivní detekci incidentů (např. Přístup k souboru passwd neprivilegovaným uživatelem ) nebo dokonce každodenní IT operace (např. kdo změnil konfiguraci?). Pole je bohužel zakódováno v hexadecimální notaci. Otázkou tedy je, můžeme tento archiv nějak deobfuskovat a změnit hodnoty HEX na odpovídající hodnoty ASCII, aby obsah byl srozumitelný nejen stroji, ale i člověku. Při použití standardních řešení syntaktické analýzy založených na regulárních výrazech by to mohlo být složité. S funkcí LOGmanager vyhledávacích tabulek je to snadné.


Podívejte se na náš příspěvek do fóra, kde vysvětlím, jak to udělat podrobněji:

https://forum.logmanager.cz/viewtopic.php?f=6&t=133


Ale překlad záznamu proctitle není všechno – nejprve musíme shromáždit protokoly z Auditdu. Problém? Tyto logy jsou víceřádkové, což znamená, že jediný systémový hovor generuje více než jednu linku protokolu. Takové protokoly jsou vždy složitější analyzovat. Abychom jim lépe porozuměli, měli by být před zápisem do databáze agregovány do jednoho řádku, což může být náročnější na zdroje. Ale nemusí. O tom  si povíme více v mém příštím příspěvku na blogu. Takže se máte na co těšit.

Maciej

P.S.
Jaké jsou další výhody schopnosti deobfuskace v našem SIEM? Tento proces můžeme obrátit a skrýt hodnoty, které by neměly být uloženy v prostém textu.

Hi All,

In today’s blog post I will explore the possibilities of de-obfuscating messages using LOGmanager.

Why is it important? Not every log message is generated in easy to read plain-text format. One such example is Auditd daemon, which, among other things, enables monitoring of every syscall issued in the Linux System. It gives us the opportunity to closely analyze what was happening – who was starting which process and when. The proctitle field of Auditd log records the full command-line that was used to invoke the analyzed process. I don’t think I need to explain how beneficial it would be to have such information available – for Incident Response  (ex. tracking adversary steps after getting access to the system), proactive detection of incidents (ex. accessing passwd file by unprivileged user) or even day-to-day IT operations (ex. who changed the config?). Unfortunately, the field is encoded in hexadecimal notation. So, the question is, can we somehow de-obfuscate this filed and change HEX values into its corresponding ASCII values? Using standard regexp based parsing solutions, it might be tricky. With LOGmanager Lookup tables such functionality is easy.


Check out our forum entry where I explain how to do it in more detail:

https://forum.logmanager.cz/viewtopic.php?f=6&t=133


But translating proctitle record is not everything – we first need to collect logs from Auditd. Issue? They are multiline, meaning a single syscall generates more than one log-line. Such logs are always tricky to parse. In order for us to understand them better, they should be aggregated into a single line before writing into database, which is a resource consuming process. But more on that in next blog post. Stay tuned.

Maciej


P.S.
What are the additional benefits of having de-obfuscation ability in our SIEM ? We can reverse this process and hide values that should not be stored in the plain-text.

Výsledek procesu zpracování v LOGmanageru       /       Sample de-obfuscation outcome in LOGmanager

logo
© 2021 Sirwisa a. s. Všechna práva vyhrazena.