An ai-driven architecture for intelligent log observability

Abstract

Aplicações distribuídas de missão crítica apresentam desafios significativos para o di agnóstico e a interpretação de registros de log devido ao seu alto volume, fragmen tação e estrutura causal limitada, especialmente em ambientes onde as falhas resul tam de interações complexas, em vez de eventos isolados. Abordagens de monitora mento centradas em métricas oferecem suporte explicativo limitado nesses contextos, aumentando a carga cognitiva associada à configuração, diagnóstico e análise de in cidentes. Este trabalho apresenta uma arquitetura de observabilidade centrada em registros de log, projetada e avaliada a partir de um ambiente de produção real, que integra a ingestão estruturada de logs e o enriquecimento semântico. Um pipeline de ponta a ponta foi implementado com base no Elastic Stack e estendido com Small Language Models (SLMs) executados localmente para enriquecer os registros opera cionais brutos com informações contextuais e de diagnóstico. De forma complementar, foi conduzido um experimento de previsão numérica segundo uma abordagem tradi cional de aprendizado de máquina supervisionado, com base em sinais de tempo de execução derivados dos próprios registros. O estudo é baseado em um ano de dados de logs de produção anônimos coletados de um relevante sistema do setor público brasileiro, operando sob condições de carga sustentada. A avaliação experimental compreende doze tipos de logs representativos, dois perfis de hardware distintos com inferência apenas por CPU, duas famílias compactas de SLMs e execuções repetidas em diferentes configurações, totalizando quase mil execuções de inferência. A viabil idade do enriquecimento semântico de registros foi avaliada considerando a latência de inferência, a estabilidade de execução e a consistência explicativa. Os resultados indicam que o enriquecimento semântico pode ser aplicado diretamente a registros de log brutos com comportamento de execução previsível em hardware de uso geral, fornecendo uma base prática para arquiteturas de observabilidade centradas em logs em ambientes de produção institucionais.

Mission-critical distributed applications present significant challenges for diagnosing and interpreting log records due to their high volume, fragmentation, and limited causal structure, especially in environments where failures result from complex interactions rather than isolated events. Metrics-centric monitoring approaches offer limited ex planatory support in these contexts, increasing the cognitive load associated with inci dent configuration, diagnosis, and analysis. This work presents a log-centric observ ability architecture, designed and evaluated from a real production environment, that integrates structured log ingestion and semantic enrichment. An end-to-end pipeline was implemented based on the Elastic Stack and extended with Small Language Mod els (SLMs) running locally to enrich raw operational logs with contextual and diagnostic information. Additionally, a numerical prediction experiment was conducted using a traditional supervised machine learning approach, based on runtime signals derived from the logs themselves. The study is based on one year of anonymous production log data collected from a relevant Brazilian public sector system operating under sus tained load conditions. The experimental evaluation comprises twelve representative log types, two distinct hardware profiles with CPU-only inference, two compact SLM families, and repeated executions in different configurations, totaling nearly a thousand inference executions. The feasibility of semantic enrichment of records was evaluated considering inference latency, execution stability, and explanatory consistency. The re sults indicate that semantic enrichment can be applied directly to raw log records with predictable execution behavior on general-purpose hardware, providing a practical ba sis for log-centric observability architectures in institutional production environments.