Ajout de logs lors de la generation de documents #612

jusabatier · 2021-11-23T16:07:59Z

Ce patch permet l'ajout de logs lorsque des documents sont générés.

Pour gérer ça correctement, j'ai du remplacer le système de logs (logback) par un plus récent (log4j2).
Cela a pour conséquence le changement du fichier de log dans le datadir cadastrapp : ce n'est plus logback.xml mais log4J/log4j2.properties

Par defaut, la generation de BP, RP, Demande et Export génèrent des logs dans /tmp/cadastrapp-audit.log
Ce fichier sera archivé chaque jour sous la forme cadastrapp-backup-%d{yyyy-MM-dd}.log.gz.

Dans le fichier log4j2.properties fourni en exemple, il y a une config permettant de générer les logs directement dans des tables en BDD.
Il suffit de la coper dans le fichier de votre datadir puis :

renseigner les propriétés en haut de fichier (dbUser,dbPassword,dbConnectionString) et les décommenter
commenter la ligne 9 et décommenter la 10 (appenders)
décommenter les lignes 31 à 173 et 184 à 187

Les script pour les tables à créer en BDD, à adapter à votre convenance :

CREATE TABLE IF NOT EXISTS public.cadastrapp_bp
(
    username text,
    log_date timestamp with time zone NOT NULL,
    uri text,
    organisation text,
    roles text,
    message text,
    methode text GENERATED ALWAYS AS ( split_part(message,' - ',2) ) STORED,
    demande text GENERATED ALWAYS AS ( split_part(message,' - ',3) ) STORED,
    parcelle text GENERATED ALWAYS AS ( split_part(message,' - ',4) ) STORED,
    proprietaires text GENERATED ALWAYS AS ( split_part(message,' - ',5) ) STORED,
    copro text GENERATED ALWAYS AS ( split_part(message,' - ',6) ) STORED
);
ALTER TABLE public.cadastrapp_bp OWNER TO cadastrapp;

CREATE TABLE IF NOT EXISTS public.cadastrapp_rp
(
    username text,
    log_date timestamp with time zone NOT NULL,
    uri text,
    organisation text,
    roles text,
    message text,
    methode text GENERATED ALWAYS AS ( split_part(message,' - ',2) ) STORED,
    demande text GENERATED ALWAYS AS ( split_part(message,' - ',3) ) STORED,
    ccomunal text GENERATED ALWAYS AS ( split_part(message,' - ',4) ) STORED,
    parcelle text GENERATED ALWAYS AS ( split_part(message,' - ',5) ) STORED,
    minimal text GENERATED ALWAYS AS ( split_part(message,' - ',6) ) STORED,
    format text GENERATED ALWAYS AS ( split_part(message,' - ',7) ) STORED
);
ALTER TABLE public.cadastrapp_rp OWNER TO cadastrapp;

CREATE TABLE IF NOT EXISTS public.cadastrapp_demande
(
    username text,
    log_date timestamp with time zone NOT NULL,
    uri text,
    organisation text,
    roles text,
    message text,
    demande text GENERATED ALWAYS AS ( split_part(message,' - ',2) ) STORED,
    usertype text GENERATED ALWAYS AS ( split_part(message,' - ',3) ) STORED
);
ALTER TABLE public.cadastrapp_demande OWNER TO cadastrapp;

CREATE TABLE IF NOT EXISTS public.cadastrapp_export
(
    username text,
    log_date timestamp with time zone NOT NULL,
    uri text,
    organisation text,
    roles text,
    message text,
    type text GENERATED ALWAYS AS ( split_part(message,' - ',2) ) STORED,
    params text GENERATED ALWAYS AS ( split_part(message,' - ',3) ) STORED
);
ALTER TABLE public.cadastrapp_export OWNER TO cadastrapp;

jusabatier · 2021-11-24T08:38:37Z

Implémente #613

landryb · 2021-11-24T08:52:10Z

cadastrapp/src/main/java/org/georchestra/cadastrapp/service/pdf/DemandeController.java

+
+			MDC.put("demmandeId", Long.toString(requestId));
+			MDC.put("isMinimal", (isMinimal?"true":"false"));
+			docLogger.info("Demmande - "+requestId+" - "+requestInformation.getUser().getType() );


Demande not Demmande :)

jusabatier · 2021-11-24T09:20:30Z

Un peu de doc sur les logs générés :

Chaque ligne comporte les mêmes infos que les précédents logs Cadastrapp, à savoir ce layout :

%d %-5p [%c] %X{uri} - $${ctx:sec-username:-nouser} - $${ctx:sec-roles:-norole} - $${ctx:sec-org:-noorg} - %m%n

Ci-dessous, c'est la composition du message qui est détaillée (%m).

Bordereau parcellaires :

Exemple :

Bordereau Parcellaire - {Methode} - {Demande} - {Parcelle} - {WithProps} - {Copro}

Methode => Moyen par lequel le document a été généré
Demande (ID) => Identifiant de la demande si existe, sinon null
Parcelle (ID) => Identifiant de la parcelle représentée
WithProps (0/1) => 1 si avec propriétaires, 0 sinon
Copro (true/false) => Demande de type Copro

Methodes pour les BP :

GenerationDirecte
DemandeParcelleId
DemandeCCId
DemandeInfoParcelle
DemandeInfoProp
DemandeLot

Relevés de propriété :

Exemple :

Releve de propriete - {Methode} - {Demande} - {CompteCommunal} - {Parcelle} - {Minimal} - {Format}

Methode => Moyen par lequel le document a été généré
Demande (ID) => Identifiant de la demande si existe, sinon null
CompteCommunal (ID) => Identifiant du compte communal
Parcelle (ID) => Identifiant de la parcelle exporté si renseignée, sinon null
Minimal (true/false) => false si export complet, true si minimal
Format (PDF/CSV) => Format d'export

Methodes pour les RP :

GenerationDirecte
DemandeCCId
DemandeParcelleId
DemandeCoProCCParcelleId
DemandeInfoParcelle
DemandeInfoProp
DemandeLot

Demandes

Exemple :

Demande - {Demande} - {UserType}

Demande (ID) => Identifiant de la demande
UserType => Type de demandeur

UserType pour les Demandes :

A => Administration
P1 => Particulier détendeur des droits
P2 => Particulier agissant en qualité de mandataire
P3 => Particuliers tier

Exports CSV

Exemple :

Export CSV - {Type} - {Params}

Type =>Type d'export demandé
Params => Parametres fournis pour l'export

Type d'exports :

Parcelles
Propriétaires
CoPropriétaires
Lots
ComptesCommunaux

Cette doc pourra éventuellement être ajoutée au Wiki pour les admins si la PR est validée.

@MaelREBOUX

MaelREBOUX · 2021-11-24T16:50:41Z

Oooooh : c'est Noël en avance ?

Alors j'ai spontanément 2 remarques.

La première : il faut enlever l'attribut CompteCommunal de la table cadastrapp_rp. parce que ça prête le flanc au RGPD. En plus je vois pas ce que ça apport en terme de stats.

La deuxième, je nommerai les tables en préfixant stats_ et en ne faisant pas référence à cadastrapp car on est déjà dans un schéma cadastrapp.

Et une question : ça n'aurait pas été possible de mettre tout dans une seule table ? Quitte à ne pas remplir tous les attributs en fonction de la source de la stat. Pcq ce serait plus simple de manipuler 1 seule table pour en tirer des infos.

(je répond vite : il faudrait que je regarde ça de bcp plus près).

jusabatier · 2021-11-25T07:55:20Z

La première : il faut enlever l'attribut CompteCommunal de la table cadastrapp_rp. parce que ça prête le flanc au RGPD. En plus je vois pas ce que ça apport en terme de stats

En es-tu sur ? Ce n'est qu'un code, pas directement les noms des personnes. Deplus on le retrouve dans les logs NGINX d'un reverse proxy.
Ce patch ne vise pas uniquement à faire des stats, mais également à garder une trace des extractions qui sont faites des données du logiciels. Ainsi en cas de problème il est possible de retrouver d'où a pu venir une fuite de données.

La deuxième, je nommerai les tables en préfixant stats_ et en ne faisant pas référence à cadastrapp car on est déjà dans un schéma cadastrapp.

Et une question : ça n'aurait pas été possible de mettre tout dans une seule table ? Quitte à ne pas remplir tous les attributs en fonction de la source de la stat. Pcq ce serait plus simple de manipuler 1 seule table pour en tirer des infos.

Comme indiqué, la configuration fournie est un exemple de ce qui est faisable. Les scripts SQL sont faits pour cette conf.
Il est tout à fait possible de modifier celle-ci pour mettre en place une autre structure de BDD.

L'essentiel dans cette PR sont :

le passage à log4j qui dispose d'un appender JDBC bien plus performant
l'ajout d'un nouveau logger pour les documents

jusabatier · 2021-12-22T07:55:13Z

Après discussion avec notre DPO, il s'avère que le compte communal ne pose pas de souci, car il ne permet pas une identification directe d'une personne.

En revanche le nom d'utilisateur le permet. Il reste possible de le conserver afin de garder une trace de ce qui est fait, dans l'éventualité de fuite de données, mais la rétention ne doit pas excéder 1 mois.
Il serait donc pour rester dans les clous du RGPD nécessaire d'anonymiser les données tous les mois.

Ici je fais ça via un CRON qui une fois par mois convertit tous les username de plus d'un mois en MD5 dans la BDD.

…ports)

landryb

J'ai pu builder la branche, vais tester au runtime.

@MaelREBOUX : une opposition a passer de logback a log4j2 ? implication: il faut updater la config dans le datadir georchestra
@pierrejego : pour moi c'est ok de merger (et ptete de tagguer une 2e RC..)

landryb · 2022-08-11T14:30:26Z

pour ce que ca vaut, j'ai testé au runtime, et j'ai bien un fichier séparé /tmp/cadastrapp-audit.log avec une ligne par document généré.

$cut -d '-' -f 6- /tmp/cadastrapp-audit.log 
 CRAIG - Bordereau Parcellaire - GenerationDirecte - null - 6302160000A0163 - 0 - false
 CRAIG - Releve de propriete - GenerationDirecte - null - 630216B00045 - 6302160000A0163 - false - PDF
 CRAIG - Export CSV - Parcelles - [6302160000A0163,6302160000A0355,6302160000A0161,6302160000A0162]

donc encore + 👍

par contre il faut une 2e PR complétant celle ci et intégrant le contenu de #612 (comment) dans la doc officielle, permettant de déchiffrer le log log d'audit.

landryb · 2022-08-11T14:34:36Z

@jusabatier un truc qui serait pas mal d'ajouter a la PR c'est des exemples dans log4j.properties pour les différents loggers/niveaux de log comme il y'a dans le logback.xml:

        <logger name="org.georchestra.cadastrapp" level="DEBUG" />
        <logger name="org.springframework" level="INFO" />
        
        <!--  database -->
        <logger name="org.hibernate.SQL" level="INFO" />
        <logger name="org.hibernate.type" level="INFO" />
        <logger name="org.springframework.jdbc.core.JdbcTemplate" level="INFO" />
        
        <!--  services -->
        <logger name="org.apache.cxf" level="INFO" />
        
        <!--  pdf generation -->
        <logger name="org.apache.xmlgraphics" level="INFO" />
        <logger name="org.apache.fop" level="ERROR" />

c'est un truc qu'on perd avec la migration de logback a log4j, c'est possible de faire pareil mais c'est mieux si les lignes sont présentes par défaut.

MaelREBOUX · 2022-08-11T15:37:21Z

Bonjour,

Avez-vous prévu un ajout dans la documentation ? Car c'est de la config donc il en faudrait.

je verrais bien ça là : https://docs.georchestra.org/cadastrapp/latest/guide_administrateur/configuration_webapp.html
Une 3e entrée.

jusabatier · 2022-08-12T06:59:40Z

Je vais en faire dans la matinée, mais j'aurais plus vu ça dans la partie installation en fait.

landryb reviewed Nov 24, 2021

View reviewed changes

landryb requested a review from pierrejego November 25, 2021 10:14

MaelREBOUX mentioned this pull request Feb 21, 2022

Ajout de logs lors de la géneration de documents #613

Closed

jusabatier added 10 commits August 11, 2022 15:46

Uniformisation des logs

c991fed

Upgrade logger from logback to log4j2

f8c4363

Ajout de logs lors de la generation de documents (BP, RP, Demande, Ex…

35cb5f5

…ports)

Suppression des accents dans les logs RP

d7c3668

Ajout exemple config pour BDD

4458ca8

Correction orthographique

19c6b80

Correction valeur CoPro pour BPDirect

3d815e1

Correction pour CVE-2021-44228 (Vulnerabilité Log4j2)

7bbab94

Correction for log4j vulnerability

fa102ae

Correction vulnerabilite DOS log4j

4e3ec0f

jusabatier force-pushed the patch_logs_documents branch from a43357b to 4e3ec0f Compare August 11, 2022 13:55

landryb self-requested a review August 11, 2022 14:04

landryb approved these changes Aug 11, 2022

View reviewed changes

jusabatier added 4 commits August 12, 2022 09:38

Ajout d'exemples de configurations pour les loggers/niveaux de log

1d7ddef

Ajout de la doc

76a2738

Déplacement de la doc sur les logs dans installation

b2febc3

Suppression de la doc sur les logs dans config webapp

bc01707

landryb merged commit 6bcd3c9 into georchestra:master Aug 12, 2022

MaelREBOUX added this to the v 2.1 milestone Aug 22, 2022

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Ajout de logs lors de la generation de documents #612

Ajout de logs lors de la generation de documents #612

jusabatier commented Nov 23, 2021

jusabatier commented Nov 24, 2021

landryb Nov 24, 2021

jusabatier commented Nov 24, 2021

MaelREBOUX commented Nov 24, 2021 •

edited

Loading

jusabatier commented Nov 25, 2021

jusabatier commented Dec 22, 2021

landryb left a comment

landryb commented Aug 11, 2022

landryb commented Aug 11, 2022

MaelREBOUX commented Aug 11, 2022

jusabatier commented Aug 12, 2022

Ajout de logs lors de la generation de documents #612

Ajout de logs lors de la generation de documents #612

Conversation

jusabatier commented Nov 23, 2021

jusabatier commented Nov 24, 2021

landryb Nov 24, 2021

Choose a reason for hiding this comment

jusabatier commented Nov 24, 2021

Bordereau parcellaires :

Relevés de propriété :

Demandes

Exports CSV

MaelREBOUX commented Nov 24, 2021 • edited Loading

jusabatier commented Nov 25, 2021

jusabatier commented Dec 22, 2021

landryb left a comment

Choose a reason for hiding this comment

landryb commented Aug 11, 2022

landryb commented Aug 11, 2022

MaelREBOUX commented Aug 11, 2022

jusabatier commented Aug 12, 2022

MaelREBOUX commented Nov 24, 2021 •

edited

Loading