Sommaire  |  Carte  |  Index  |  Recherche

Convert to GutenPalm or to PalmDoc par Logreport, Egon Willighagen L´auteur: En dehors de sa participation au projet LinuxFocus, Egon travaille aussi pour la Fondation Logreport, qui développe le logiciel lire. Sommaire: Introduction Installation Lire comme tâche cron Lire comme outil autonome En conclusion Discussion sur cet article

L'analyse des relevés de transactions de vos applications Internet

Résumé:

Cet article est le premier d'une série portant sur le programme Lire qui effectue la lecture et l'analyse des relevés de transactions ou "log files", provenant de services internet. Ce logiciel ne se limite pas à un service, comme Apache, mais consiste en un analyseur intégré pour plusieurs services. On y retrouve les services de DNS, WWW et courriel. Cet article explique comment débuter avec Lire. Il discute de l'installation et de la configuration pour générer des rapports.

Introduction

La plupart des services Internet ont la possibilité de créer des relevés de leur activité. Par exemple, les serveurs Web Apache ajoutent une ligne pour chaque demande de page au fichier des transactions. Selon le format, les lignes peuvent inclure des informations telles que la page demandée, la taille de la page, le navigateur utilisé, et bien plus ! Dans le cas de votre serveur de courriel, un relevé similaire est produit. Il contient les adresses de l'expéditeur du courriel, du destinataire, la taille des messages, etc. En fait, tous les services Internet ont cette capacité.

Ces fichiers de transaction contiennent une quantité énorme d'information, mais le format est difficile à interpréter manuellement. Il vous faut un outil qui produise des résumés de données pour analyser le contenu. Dans le cas de services Web, ce pourrait être la conversion au format graphique des 10 navigateurs, domaines, plates-formes les plus utilisés, ou une liste des accès par tranche horaire. La plupart des compteurs de tierces parties produisent ce genre d'aperçus.

Pour la plupart des fichiers de transactions, il existe des outils qui permettent d'analyser le contenu. lire est l'un d'entre eux. Mais lire diffère de la plupart des autres outils. Lire est un système intégré qui est capable d'analyser non seulement un, mais plusieurs types de services internet. Et les rapports qui résument les informations intéressantes se présentent sous forme de plug-ins. On peut donc y ajouter ses propres types de rapports.

Lire peut être utilisé de différentes façons. On peut le lancer à partir de la ligne de commande ou d'une tâche cron qui envoie le rapport par courriel. Dans le premier cas, vous pouvez choisir le format de sortie du rapport. Les formats actuels comprennent : texte simple, HTML, DocBook, PDF et LogML. Dans le cas de tâches cron, le seul format disponible actuellement est le texte.

Pour le moment, les relevés des services suivants peuvent être analysés :

• www
  • Apache
  • Boa
• courriel
  • Exim
  • Postfix
  • Sendmail
  • Qmail
• dns
  • Bind8/9

Lire est en cours de développement, avec actuellement trois salariés qui travaillent sur le projet. Le support technique est une de leurs attributions, alors si vous avez une demande spéciale (nouveau service, par exemple) ou des questions techniques d'ordre général, laissez-leur un message sur le site LogReport de SourceForge..

Installation

./configure
make
make install

Le programme de configuration a les options suivantes :

Si vous prévoyez d'utiliser des formats de sortie différents du texte, les outils XML doivent être installés, tels les feuilles de style de DocBook XML, Jade, et un processeur XML tel que Xalan ou Sablotron. Avec la troisième option de configuration, vous pouvez spécifier où se trouvent les fichiers SGML.

Lire comme tâche cron

Did you start this script as this user?

Le script doit être éxécuté sous un nom d'utilisateur qui a les droits de lecture sur les fichiers log. Ces fichiers ne sont en général lisibles que par l'utilisateur root et ceux du groupe adm. Vérifiez que l'utilisateur possède les droits de lecture sur ces fichiers log. Exemple :

~> cd /var/log
/var/log> ls -al apache/access.combined.log
-rw-r----- 1 root root 70902 Jul 27 13:23 apache/access.combined.log
/var/log> whoami
egonw
/var/log> groups
egonw adm dialout

Dans cet exemple, l'utilisateur egonw ne peut pas lire le log d'Apache. Seul root peut lire le fichier. L'utilisateur étant membre de adm, on peut donc résoudre ce problème en demandant à root de modifier le groupe du fichier log :

/var/log# whoami
root
/var/log# chgrp adm apache/access.combined.log
/var/log# ls -al apache/access.combined.log
-rw-r--r-- 1 root adm 70902 Jul 27 13:23 apache/access.combined.log

Temporary files are by default not kept. Do you want to keep these?

Pour une utilisation normale, vous devriez répondre non.(no)

Are you planning to run an online responder?

Le "Online Responder" est un outil qui permet le traitement du fichier log par l'intermédiaire du courriel. Vous envoyez le fichier log et le "responder" vous retourne le rapport. C'est très utile pour les administrateurs de gros réseaux. Pour un usage normal, vous devriez répondre non (no).

By default, temporary files are stored in ~/tmp. Do you want to change this?

Les fichiers temporaires sont conservés par défaut dans votre répertoire personnel. Vous pouvez modifier cette option en répondant "oui" (yes) et en spécifiant le répertoire voulu. N'oubliez pas qu'il s'agit d'un répertoire sur lequel l'utilisateur de lire doit avoir les droits d'écriture.

Do you want to send a disclaimer with the generated reports?

Si vous envoyez ce rapport à d'autres, vous pouvez y ajouter une décharge de responsabilité. Pour des rapports à usage interne, vous pouvez répondre "non".

By default, status and error messages are sent to stderr. Do you want to change this to syslog?

En répondant "oui" à cette question, vous demandez à ce que les messages d'erreurs soient envoyés au logger(1) plutôt que vers le gestionnaire d'erreurs standard (STDERR). Pour bénéficier de cette option, le "logger(1)" syslog doit être installé.

By default, informative and debug messages are suppressed. Do you want to run the system in debug mode?

Pour un usage normal, vous devriez répondre "non".

Do you want to use some default settings for all services?

Pour chaque service, vous pouvez spécifier une adresse de courriel et un sujet distincts. Afin de faciliter le processus, vous pouvez aussi choisir une valeur par défaut. Répondez "oui" pour définir cette valeur par défaut.

Would you like to use a default to-address?

Si vous répondez "oui", cette adresse de courriel sera la destinataire des rapports. Elle peut être modifiée pour des services spécifiques.

Would you like to use a default subject stem for the generated email?

En répondant "oui", vous pouvez spécifier un modèle qui servira à créer le sujet des courriels à envoyer. Par défaut, le modèle ressemble à "[LogReport] www / apache report" pour les rapports de fichiers log d'Apache.

Which services are running?

Toutes les questions supplémentaires vous demandent pour quels services vous voulez générer un rapport. Toutes les questions sont du même genre et ne sont pas détaillées. Mais pour chaque service, les questions ressemblent à ce qui suit.

Are you collecting ***** logfiles on this host which you'd like to get processed?

Les programmes que Lire peut traiter sont regroupés en "super services". La première question pour chaque super service concerne toujours la collecte des logs d'un programme sur lequel lire est censé faire un rapport. Si vous répondez "non", les questions supplémentaires de ce super-service seront sautées. Les super-services supportés par lire sont énumérés au début de cet article. Un n'est pas mentionné : apachemodgzip. Ce dernier traite les fichiers logs d'Apache en mode compressé.

Le programme de configuration vous posera alors des questions pour chaque service, individuellement. Pour le courriel, par exemple, ces services pourraient être exim, postfix, qmail ou sendmail. Pour chaque programme, lr_config vous demandera où se trouvent les fichiers de log. Ces derniers peuvent être compressés, et pour chaque fichier, Lire vous propose le choix du programme pour lire ces fichiers : zcat ou gunzip-c peuvent ainsi être utilisés.

Are any of your ***** logfiles rotated weekly?

Si vous répondez "oui" les tâches cron seront configurées pour s'effectuer une fois par semaine. L'autre option est quotidienne.

Si vous avez répondu à toutes les questions, les options seront enregistrées dans un fichier de configuration (*/defaults.local). Ces fichiers sont utilisés par les tâches cron de Lire. Malheureusement, cette tâche cron n'est pas activée automatiquement. Vous devez le faire vous-même, en tapant la commande :

~> { echo '0 10 * * * /usr/local/logreport/bin/lr_cron daily';
     echo '0 10 * * 0 /usr/local/logreport/bin/lr_cron weekly'; } | crontab -

Une fois la tâche activée de cette manière, les rapports seront envoyés quotidiennement ou/et hebdomadairement. Vous pouvez affiner votre configuration en éditant manuellement les fichiers de configuration mentionnés ci-dessus.

Lire comme outil autonome

~> lr_run lr_log2report /tmp/err www apache combined <
/var/log/apache/access.combined.log > apache.txt

Le programme lr_log2report utilise au moins trois paramètres. Le premier est un fichier vers lequel rediriger les erreurs. Dans ce cas, /temp/err. Le second paramètre est le super service du fichier log. Actuellement, les super services disponibles sont www, dns et le courriel. Le troisième paramètre est le service lui-même, c'est-à-dire le type de fichier log. Ici, c'est un fichier combiné Apache, donc le service est apache. Un paramètre supplémentaire, qui est un drapeau, signale que le fichier log d'Apache utilise le format "combiné". Comme pour la plupart des programmes de Lire, vous pouvez obtenir plus ample information avec man :

~> man lr_log2report

Pour changer le format de sortie, vous pouvez utiliser l'option "-i <format>". Les formats disponibles actuellement sont txt (par défaut), logml (site LogML), DocBook XML (DocBook Open Repository), HTML et PDF. Les deux derniers ont besoin des feuilles de style de DocBook et de Jade. Tous les formats sauf le format texte, réclament aussi un processeur XSLT, comme le xsltproc de Gnome. Par exemple, pour générer un PDF:

~> lr_run lr_log2report -o pdf /tmp/err www apache combined
   < /var/log/apache/access.combined.log > apache.pdf

En conclusion

Cet article vous a rapidement présenté le projet Lire et vous a montré comment l'installer et le configurer. Les prochains articles de cette série décriront plus en détail le logiciel et son utilisation. Pour l'instant, vous pouvez trouver de plus amples informations sur notre site web : http://www.logreport.org/.

Si vous souhaitez nous contacter, la meilleure façon de nous joindre est par l'IRC. Les développeurs sont souvent sur le canal #logreport d'OpenProjects.org IRC network. Les questions, commentaires et demandes d'assistance sont les bienvenus.

Discussion sur cet article

2001-09-07, generated by lfparser version 2.17