Cesta k vyššímu výkonu / Path to better performance

Cesta k vyššímu výkonu / Path to better performance

Ahoj,

Dnes to bude trošku techničtější, ale snad Vás zaujmu. Asi to znáte i ze své IT praxe v době čínské chřipky. Homeoffice, sem tam kancl, ale práce neubylo. Spíše naopak. IT je potřeba kvůli homeoffice posílit, a tak více zařízení, více systémů, více aplikací = více zajímavých strojových dat. Více strojových dat ke zpracování = více hardware (CPU, paměti, diskového prostoru) na zpracování těchto dat. Více hardware = potřebuji upgrade systému. Je to taková malá, ale nekonečná smyčka, ve které se pohybujeme. Jak z toho ven? Jak zpracovat více dat bez nutnosti pořizovat silnější hardware?

V LOGmanageru na Vás myslíme. Pro naše zákazníky, jejichž LOGmanager systémy si sahají na strop svých fyzických možností, jsme vymysleli optimalizaci, která překvapí svojí jednoduchostí a zárověň i účinností. Od verze software 3.6.1 přinášíme možnost snadné optimalizace výkonu na velmi vytížených systémech. A to bez nutnosti upgrade hardware.

Pravidelné optimalizace jednotlivých procesů a služeb při zpracování strojových dat přinášíme v každé verzi kódu. Vždy se najde něco, co lze vylepšit, zrychlit, přepsat s lepší logikou, ale vlastní objem dat je neúprosný. Zpracovat 800 a více GB strojových dat denně (po započtení interní komprese) je prostě výzva. Takže jsme se ještě podívali na vlastní strojová data, jejich využití. Zda se nedělá něco sice správně, ale ve finále není vůbec třeba jít do takové hloubky. A tak vznikly odlehčené parsery.

Zde maličko odbočím pro ty z Vás, kteří tápou, co jsou parsery: Parsery jsou kusy kódu v LOGmanageru, které se starají o zpracování strojových dat a jsou specifické dle typu zpracovávaných strojových dat. V LOGmanageru takových parserů už najdete více než 120, například jen pro operační systémy Windows jich máme v základu 8 (Windows, Windows-DNS, Windows-DHCP, Windows-Firewall, Windows-File_Access, atd…). Dále máte parsery třeba pro Firewally – Fortigate, Juniper, Palo Alto Networks, Cisco, Kernum, Checkpoint, Hillstone, Linux IP Tables, atd…

Každopádně, zdrojových systémů je spousta, každý log používá bohužel jiný formát. Takže nelze jinak, než donekonečna psát a optimalizovat parsery. To samozřejmě děláme. Ale pohledem na zákaznické systémy nelze nevidět, že některé zdrojové systémy generují stokrát, tisíckrát více logů než jiné. A také, že některé logy jsou výrazně delší a složitější, než jiné. Proto jsme přišli s myšlenou vytvořit ještě druhý set parserů pro ty „nejukecanější“ systémy, který budou poskytovat obdobné výsledky jako standardní parsery, jen s menší hloubkou detailů. A tak vznikly odlehčené (Lite) parsery. Tyto poskytnou od chvíle zapnutí vyšší výkon, vytvoří méně dat a vzniklá data zaberou v systému méně prostředků na zpracování i uložení. Zároveň jsou odlehčené parsery navrženy tak, aby poskytovaly přibližně stejnou vypovídací schopnost pro bezpečnostní analytiky, uspokojily operátory systémů a samozřejmě naplňovaly požadavky regulací a norem.

A tak od verze 3.6.1 software přinášíme odlehčené parsery, které překvapí svým pozitivním vlivem na výkon i celkovou odezvu systému. Namátkou příklad pro parser starající se o zpracování základních logů Microsoft Windows operačních systémů (A že těch je).

Výkon je testován na LOGmanageru-M v naší laboratoři. LOGmanager-M má v datasheetu deklarovaný konstantní výkon 2000 událostí za vteřinu o průměrné délce mixu logů 700Byte. Tolik datasheet.

Nyní se podívejme na čísla ze syntentických testů.

LOGmanager-M testovací set 60 000 000 unikátních Windows logů  o průměrné délce 1900Byte.
Standardní parser – Rychlost zpracování 3600 logů/s trvale, velikost pořízených dat 104GB.
Lite parser – Rychlost zpracování 4200 logů/s trvale, velikost pořízených dat 49GB.

Výsledek? Zpracování lite parserem omezí množství vytvářených polí více než trojnásobně, zrychlí zpracování skoro o 20%, ale hlavně prodlouží retenční dobu systému o 50%. Takže zákazník, který navýšil přísun strojových dat na hranici výkonu svého LOGmanageru, nemusí bezpodmínečně upgradovat na vyšší verzi hardware. Mnohdy postačí jen zapnout odlehčený parser pro „nejukecanější“ systém. Výkon lze navýšit i jinak, ale potom to vždy stojí nějaké $$. Nasazení odlehčených parserů je bez dodatečných nákladů. Není třeba zapínat vždy. Ale když je Váš LOGmanager na hranici svých fyzických možností, vzpoměnte si na odlehčené parsery. Díky radikální jednoduchosti LOGmanageru je zapnutí odlehčených parserů otázkou několika vteřin.

Mirek

PS: Dnes použiju slova klasika – „Taková blbost, ale co to dalo práce“ ;-).
Jen jsem zvědavý, jak toto PS: přeložím do angličtiny…

Hi Folks,

Today it will be a bit more technical, but I hope you will be interested. You probably know this from your IT practice during the Chinese flu. Home office, sometimes desk, but always more work to do. IT simply needs to be strengthened due to home office, and so more devices, more systems, more applications = more interesting machine data. More machine data to process = more hardware (CPU, memory, disk space) to process this data. More hardware = I’ll need a system upgrade. It’s such a small but endless loop in which we move. How to get out of it? How to process more data without having to buy more powerful hardware?

At LOGmanager, we think of you. For our customers, whose LOGmanager systems reach the ceiling of their physical capabilities, we have devised an optimization that will surprise you with its simplicity and at the same time – efficiency. From software version 3.6.1 we bring the possibility of easy optimization of performance on very busy systems. And without the need to upgrade the hardware.

We bring regular optimizations of individual processes and services in the processing of machine data in each version of the code. There is always something that can be improved, speeded up, rewritten with better logic, but the actual volume of data is relentless. Processing 800 or more GB of machine data per day (including internal compression) is simply a challenge. So we looked at our own machine data, their use. Whether something is done right, but in the final there is no need to go into such depth. And so „Lite“ parsers were created.

Here I will turn a little for those of you who are wondering what parsers are: Parsers are pieces of code in LOGmanager that take care of machine data processing and are specific to the type of machine data being processed. You can already find more than 120 such parsers in the LOGmanager, for example, we only have 8 of them for Windows operating systems (Windows, Windows-DNS, Windows-DHCP, Windows-Firewall, Windows-File_Access, etc …). You also have parsers for Firewalls, for example – Fortigate, Juniper, Palo Alto Networks, Cisco, Kernum, Checkpoint, Hillstone, Linux IP Tables, etc …

Anyway, there are a lot of source systems, each source unfortunately uses a different format. So we can write and optimize parsers indefinitely. And we do, of course. But looking at customer systems, it is hard to see that some source systems generate a hundred, a thousand times more logs than others. And also that some logs are significantly longer and more complex than others. That’s why we came up with the idea of ​​creating a second set of parsers for the „most chatty“ systems, which will provide similar results as standard parsers, with only less depth of detail. And so Lite parsers were created. These provide more performance from the moment you turn on, create less data, and take up less processing and storage resources on the system. At the same time, Lite (lightweight) parsers are designed to provide approximately the same explanatory power for security analysts, satisfy system operators, and, of course, meet regulatory and standards requirements.

And so from version 3.6.1 of the software we bring Lite parsers, which will surprise with their positive effect on performance and the overall response of the system. An example for a parser that handles the basic logs of Microsoft Windows operating systems.

Performance is tested on LOGmanager-M in our laboratory. LOGmanager-M has a constant processing power of 2000 events per second with an average log mix length of 700Byte. (as declared in our datasheet).

Now let’s look at the numbers from the lab tests.
LOGmanager-M test set of 60,000,000 unique Windows logs with an average length of 1900Byte.
Standard parser – Processing speed 3600 logs/s permanently, size of captured data 104GB.
Lite parser – Processing speed 4200 logs/s permanently, size of captured data 49GB.

Result? Processing with a lite parser reduces the number of generated fields more than threefold, speeds up processing by almost 20%, but mainly extends the retention time of the system by 50%. So a customer who has increased the supply of machine data to the limit of the performance of his LOGmanager does not necessarily have to upgrade to a higher version. Just turn on a lightweight parser for the loaded system. Performance can be increased in other ways, but then it always costs some $$. Deployment of lightweight parsers is at no additional cost. It is not always necessary, but when your LOGmanager is at the limit of its physical capabilities, remember the Lite parsers. Turning on Lite parsers is just a matter of seconds. Give a try.

Mirek

PS: Today I will use the words  from Czech classic movie  – „Such nonsense, but how much work behind it…“ Strange quote, right? Locate and watch this movie for example on Netflix to understand more. Strongly suggested.

Průměrná délka logů dle parseru / Average log size distribution

logo
© 2021 Sirwisa a. s. Všechna práva vyhrazena.