Evaluation des solutions de Monitoring sur AZURE


Décidément, pas un mois sans une nouvelle contribution – et un nouveau contributeur – sur ce blog Azure : voici l’article très intéressant signé Hervé-Richard Elie qui s’inscrit dans la suite de l’article introductif L’infogérance des environnements Azure avec Operational Insights. Bonne lecture !

Le nouvel outil de monitoring de Microsoft « Operational Insights » a été présenté lors des derniers Techdays 2015 comme une réelle avancée qui permettra au gestionnaire de SI d’avoir une vision simple et claire de l’état de santé de son infrastructure. Les solutions de monitoring sont de plus en plus verbeuses et donc gourmandes en consommation de data. Nous sommes dans l’ère du Big Data et les SI ont besoin d’acquérir rapidement des informations utiles et cohérentes dans le flot de data.

Cette solution est-elle orientée purement pour un besoin sur l’activité Clouding ? Est-ce qu’on peut se passer d’une infrastructure SCOM ? Disposons-nous de solutions adaptés aux services Cloud tel qu’IAAS et PAAS ?

clip_image002


Pour répondre à ces questions, j’ai réalisé quelques tests sur les versions preview des solutions Operational Insights et Application Insights qui sont aisément installables.

Le contexte du test est constitué de 2 souscriptions AZURE. J’ai également installé une mini-infrastructure SCOM R2 CU5 composée de 2 VMs AZURE :
- Rôles VM1 : Contrôleur de Domaine et Autorité de certification
- Rôles VM 2 : Management Server / 2 instances SQL Prod et DataWarehouse

Applications : Une application web métier custom a été visée, avec Azure Web Sites en frontal, Azure SQL Database en data tier et un set de 2 VMs IaaS contenant SQL Server Reporting Services (SSRS).

Collecter, Assembler, corréler et visualiser toutes vos données machine

Les solutions de services ne se limitent plus à l’implémentation d’infrastructures on-premises et s’émancipent partiellement ou totalement vers le Cloud. SCOM 2012 est un outil de monitoring très complet mais atteint rapidement ses limites dans un environnement Cloud. Il était donc très judicieux qu’un nouveau système de monitoring soit adapté à cette nouvelle technologie.

Afin de superviser intégralement un applicatif (PaaS) ou une machine virtuelle (IaaS), on utilise généralement plusieurs captures de métriques en positionnant des processus internes ou externes.

Sur le portail AZURE, le monitoring natif est déjà présent et est très complet dès lors que vous activez l’option WAD (Windows Azure Diagnostics). Il faut savoir que les métriques disponibles par défaut ne comportent pas de graphe de performance dédié à la mémoire utilisée par la machine virtuelle. Pour obtenir un panel plus complet de métriques, vous pouvez activer l’option Windows Azure Diagnostic (WAD) qui est une option accessible uniquement via le nouveau portail AZURE.

clip_image004

Vous choisissez les collections de compteurs et les journaux à collecter selon vos besoins. Il est donc essentiel de veiller à la consommation de data en tenant compte des estimations concrètes car vous vous retrouverez avec plus de 70 nouveaux compteurs. Il est dommage de ne pas pouvoir affiner notre choix. Il est tout de même possible de personnaliser l’activation des compteurs en modifiant le fichier wadcfg.xml et en l’important via la commande Powershell  en spécifiant le bon contexte.

Avec un abonnement gratuit, la période de rétention des graphes de performance est de 7 jours maximum, ce qui est équivalent à la période de rétention par défaut sur une console SCOM.

Pour appliquer WAD :

$configPath = c:\azure\wadcfg.xml
Get-AzureVM -ServiceName $serviceName -Name $vmName | Set-AzureVMDiagnosticsExtension -DiagnosticsConfigurationPath $configPath  -Version '1.2'

Pour Extraire le ficher de configuration wadcfg.xml :
$vmContext = Get-AzureVM -ServiceName $serviceName -Name $VmName

$extensionContext = Get-AzureVMDiagnosticsExtension -VM $vmContext

$publicConfiguration = $extensionContext.PublicConfiguration | ConvertFrom-Json

[System.Text.Encoding]::UTF8.GetString([System.Convert]::FromBase64String($publicConfiguration.xmlcfg)) | Out-File -Encoding utf8 -FilePath $configPath

Un aperçu du fichier wadcfg.xml:

clip_image006

Le stockage Windows Azure (Tables et Blobs) sont utilisés pour stocker les datas collectées WAD par votre application. Le tableau suivant (en anglais) résume les conteneurs de type tables ou blob:

Table / Blob Container Name Purpose
WADLogsTable Table to store application tracing data.
WADDiagnosticInfrastructureLogsTable Table to store diagnostics infrastructure data collected by Windows Azure.
WADPerformanceCountersTable Table to store performance counters data.
WADWindowsEventLogsTable Table to store event logs data.
WADDirectoriesTable Pointer table for some of the diagnostics data stored in blob storage.
wad-iis-logfiles Blob container to store IIS logs.
wad-iis-failedrequestlogfiles Blob container to store IIS failed request logs.
wad-crash-dumps Blob container to store crash dump data.
wad-control-container Blob container to store WAD configuration data.


Vous pouvez paramétrer une alerte pour chaque métrique en positionnant un seuil. Cette alerte sera envoyée par mailing à une liste de destinataires. On pourra noter le fait que cette alerte n’est pas récupérable par la suite. Il aurait été intéressant de conserver la chronologie d’apparition comme dans SCOM. En conclusion, WAD nous permet d’obtenir plus de métriques sur le monitoring et il serait judicieux qu’un « intelligence pack » collecte ces données sur le portail Operational Insights.

clip_image008

Cela permettrait une centralisation des remontées d’information et donc simplifierait la corrélation lors de l’analyse d’un incident. Le Dashboard d’Operational Insights est intelligible et permet de gagner en réactivité sur des domaines essentiels au bon maintien d’une infrastructure.

clip_image010

Il manque tout de même des « intelligence packs » dédiées aux services de communication unifiée par exemple. Je présume que cela viendra prochainement.

clip_image012

Pour information, les intelligences Packs Alerts Management et Capacity Planning sont fonctionnels que lorsque vous connecterez votre management group SCOM 2012 R2. La connexion se fait via la console SCOM au niveau du module Advisor. A ce jour, on ne peut connecter qu’un groupe de management SCOM. Capacity Planning a également besoin de se connecter à System Center VMM on-premises:

clip_image014

S’assurer que vos serveurs sont à jour

Vous avez la possibilité de visualiser un reporting synthétisant l’état de votre parc sans utiliser les rapports WSUS. Cependant, il reste essentiel de conserver les infrastructures standards de télédistribution car cet « intelligence pack » ne fait que du monitoring.

 
clip_image016 clip_image018


En vérifiant les Definition Updates, vous obtenez plus de détails :

clip_image020

Pister les changements sur vos serveurs

Très belle innovation qui permet de gérer la gestion de changements. Vous pouvez pister les modifications sur les applications et services hébergés sur vos serveurs. Cet outil est très puissant et n’existe pas sur SCOM 2012 R2.

clip_image022

Au cas où votre infrastructure ne se comporte pas normalement sans trouver de raisons apparentes, cet « intelligence pack » vous facilitera dans la recherche de la cause de l’incident. Sur le screenshot ci-joint, on peut constater un changement d’une configuration sur le serveur Insights-DC le 03/02/2015 dû à un update de System Center Endpoint Protection.

clip_image024

Superviser votre application sur le PAAS

Les deux solutions qui s’imposent sont Application insights (service natif Azure) et New-Relic (add-on tierce présent dans Azure Marketplace). Vous pouvez utiliser la première solution uniquement sur le nouveau portail Azure.
Pour les sites web (PAAS), vous disposez d’une sonde externe qui teste l’accessibilité, la disponibilité et de quelques compteurs de performances. La rétention des data reste fixée à 7 jours max et vous disposez d’un mailing pour les alertes.

clip_image026

Si vous voulez superviser l’application au niveau interne, vous devez utiliser Application Insights qui ajoute du code à votre application.

image

Au niveau database SQL (PAAS), nous disposons de compteurs explicites. Nous pouvons regretter le fait que ces métriques ne soient pas centralisés et accessibles dans Operational Insights. Il serait judicieux que l’intelligence Pack SQL Assessment collecte également des données provenant des databases SQL disponibles via le PAAS.

clip_image030


Collecter vos journaux d’évènement avec «Log Management »

Si vous voulez collecter et centraliser des journaux d’évènements spécifiques, vous pouvez opter pour l’Intelligence Pack « Log management ». Il est indispensable de configurer les journaux que vous voulez récupérer et notifier également le type de criticité. Si vous avez connecté une infrastructure SCOM à « Operational Insights », vous pouvez également « dumper » les fichiers logs au format W3C collectés par les Management Servers d’Operations Manager.

clip_image032

Vous obtiendrez ce type de rapport :

clip_image034

Le système de requête étant relativement puissant et permet de cibler aisément votre recherche. Cependant, il serait intéressant que le journal de diagnostic propre à la solution Azure soit accessible. La pré-sélection proposée n’offre pas cette possibilité .Ce journal d’évènements est un élément clé du diagnostic et est disponible par défaut sur les VM.

Windows Azure Event Logs – Event Viewer –> Applications and Services Logs –> Windows Azure

Nouveau! Vérifier l’état de votre Active Directory

L’Intelligence pack AD Assessment est très pratique et donne des informations pertinentes. Ma maquette ne me permettait pas de tester toute l’amplitude des fonctionnalités. Cependant, cette fonction est disponible uniquement si vous utilisez une infrastructure Operation Manager.

clip_image036 clip_image038


Pour preuve, voici un extrait des events logs qui sont captures par Operational Insights :

clip_image040





Sécuriser et Auditer

L’intelligence pack reprend les mêmes fonctionnalités que la fonction ACS (Audit Collection Services) apportée par Operations Manager. Le résultat est probant et fait vite oublier l’ACS. Par contre, nous n’avons aucun conseil préconisé par rapport aux bonnes pratiques.

clip_image042

Vérifier la protection antivirale

Cet outil est relativement léger. Il a juste le mérite de centraliser les informations sur l’état de l’anti-malware de Microsoft. Nous attendons la compatibilité avec les différentes solutions concurrentes. Certes c’est déjà un job attribué à Configuration Manager.

clip_image044



Incompatibilité avec Linux

Oups !! A ce jour, l’agent Operational Insights n’est pas compatible avec l’OS Linux. Je présume que cela viendra prochainement.


CONCLUSION

En conclusion, Operational Insights est une reprise améliorée de System Center Advisor grâce à l’ajout de certains reportings comme la détection des malwares et le statut des mises à jour.

Nous avions une attente très forte sur le monitoring éventuel des infrastructures Azure via ce nouvel outil Operational Insight. Cela permettrait d’obtenir une solution légère et flexible en se passant d’une infrastructure on-premise Operations Manager.

Les compteurs natifs de performances sur le portail Azure sont très riches en activant l’option WAD. On peut tout de même déplorer que la collecte des données WAD ne soit pas effective vers Operational Insights.

Ces données sont pourtant vitales pour atteindre une bonne efficience dans le monitoring sur Azure.
Aujourd’hui, Operational Insights complémente efficacement SCOM mais ne le remplace pas. Espérons que les prochaines évolutions de ce produit permettront de superviser intégralement une infrastructure Azure.

En ce qui la concerne, la solution Application Insights promet un monitoring complet sur les points essentiels par un sondage interne et externe. Cependant cet outil reste limité si vous voulez monitorer une application propriétaire. Il serait donc intéressant de sensibiliser les éditeurs pour prévoir une compatibilité primaire avec Application insights et/ou une standardisation des interfaces de monitoring applicatif.

Aucun commentaire:

Publier un commentaire