version 0.8.1: several log issues

[pbranly]

2022-11-24 06:31:04.641 - INFO : => Chargement des données depuis MyElectricalData 2022-11-17 => 2022-11-24
2022-11-24 06:31:09.962 - ERROR : ═══════════════════════════════════════════════•°• :ERREUR: •°•════════════════════════════════════════════════
2022-11-24 06:31:09.963 - ERROR :
2022-11-24 06:31:09.963 - ERROR : Echec de la récupération des données.
2022-11-24 06:31:09.963 - ERROR : => Un problème a été rencontré lors du traitement.
2022-11-24 06:31:09.963 - ERROR : => 2022-11-10 -> 2022-11-17
2022-11-24 06:31:09.963 - ERROR :
2022-11-24 06:31:09.963 - ERROR : ═══════════════════════════════════════════════════════════════════════════════════════════════════════════════

2022-11-24 06:31:24.753 - INFO : => Chargement des données depuis MyElectricalData 2022-07-14 => 2022-07-21
2022-11-24 06:31:24.977 - ERROR : ═══════════════════════════════════════════════•°• :ERREUR: •°•════════════════════════════════════════════════
2022-11-24 06:31:24.978 - ERROR :
2022-11-24 06:31:24.978 - ERROR : Echec de la récupération des données.
2022-11-24 06:31:24.978 - ERROR : => Vous avez dépassé votre quota journalier (50)
2022-11-24 06:31:24.985 - ERROR : => 2022-07-07 -> 2022-07-14
2022-11-24 06:31:24.985 - ERROR :
2022-11-24 06:31:24.985 - ERROR : ═══════════════════════════════════════════════════════════════════════════════════════════════════════════════
2022-11-24 06:31:24.985 - WARNING : Arrêt de la récupération des données suite à une erreur.
2022-11-24 06:31:24.986 - WARNING : Prochain lancement à 2022-11-24 10:31:24.985787
2022-11-24 06:31:24.988 - INFO : ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ◦ ❖ ◦ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2022-11-24 06:31:24.988 - INFO : [01129377636898] EXPORTATION DE DONNÉES DANS MQTT.
2022-11-24 06:31:24.989 - INFO : ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ◦ ❖ ◦ ━━━━━━━━━━━━━

2022-11-24 06:31:41.062 - INFO : ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ◦ ❖ ◦ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2022-11-24 06:31:41.134 - INFO : Récupération des données : 2022-10-19 => 2022-11-24
2022-11-24 06:31:42.137 - INFO : => Chargement des données depuis MyElectricalData 2022-10-19 => 2022-11-24
2022-11-24 06:31:47.669 - INFO : Récupération des données : 2022-09-13 => 2022-10-19
2022-11-24 06:31:48.297 - INFO : => Chargement des données depuis MyElectricalData 2022-09-13 => 2022-10-19
2022-11-24 06:31:49.749 - ERROR : Multiple rows were found when one or none was required
Traceback (most recent call last):
File "/app/models/query_daily.py", line 70, in run
self.db.insert_daily(
File "/app/models/database.py", line 595, in insert_daily
daily = self.session.scalars(query).one_or_none()
File "/usr/local/lib/python3.9/site-packages/sqlalchemy/engine/result.py", line 1464, in one_or_none
return self._only_one_row(
File "/usr/local/lib/python3.9/site-packages/sqlalchemy/engine/result.py", line 614, in _only_one_row
raise exc.MultipleResultsFound(
sqlalchemy.exc.MultipleResultsFound: Multiple rows were found when one or none was required
2022-1

sqlalchemy.exc.MultipleResultsFound: Multiple rows were found when one or none was required
2022-11-24 06:31:49.776 - ERROR : ═══════════════════════════════════════════════•°• :ERREUR: •°•════════════════════════════════════════════════
2022-11-24 06:31:49.778 - ERROR :
2022-11-24 06:31:49.779 - ERROR : Multiple rows were found when one or none was required
2022-11-24 06:31:49.783 - ERROR :
2022-11-24 06:31:49.784 - ERROR : ═══════════════════════════════════════════════════════════════════════════════════════════════════════════════
Traceback (most recent call last):
File "/app/models/jobs.py", line 72, in job_import_data
self.get_consumption()
File "/app/models/jobs.py", line 237, in get_consumption
result = Daily(
File "/app/models/query_daily.py", line 136, in get
app.LOG.error(error)
UnboundLocalError: local variable 'error' referenced before assignment
2022-11-24 06:31:49.798 - ERROR : ═══════════════════════════════════════════════•°• :ERREUR: •°•════════════════════════════════════════════════
2022-11-24 06:31:49.798 - ERROR :
2022-11-24 06:31:49.798 - ERROR : Erreur lors de la récupération de votre consommation journalière
2022-11-24 06:31:49.798 - ERROR : local variable 'error' referenced before assignment
2022-11-24 06:31:49.798 - ERROR :
2022-11-24 06:31:49.798 - ERROR : ═══════════════════════════════════════════════════════════════════════════════════════════════════════════════

[evenisse]

Il y a quelques doublons en base. Il pourrait être éviter en ajoutant des contraintes d'unicité sur les tables:
consumption_daily: usage_point_id + date
consumption_detail: usage_point_id + date + type

[m4dm4rtig4n]

Yes j'ai remarquer le soucis, je prevois de refaire une passe sur cette partie.

[m4dm4rtig4n]

Je n'arrive pas à reproduire le bug :/

[m4dm4rtig4n]

En theorie il ne peut pas y avoir de doublon en l'état (en théorie...).
Du coup je ne comprend pas trop comment c'est possible :/

Sur les daily je check d'abord si la data est bien en bdd avant de l'insérer et j'update si le pdl et la date et déjà present
https://github.com/m4dm4rtig4n/myelectricaldata/blob/fbf60680a0e951e7accb34cd3e5d1fab7015c902/app/models/database.py#L648

Et idem sur le detail :
https://github.com/m4dm4rtig4n/myelectricaldata/blob/fbf60680a0e951e7accb34cd3e5d1fab7015c902/app/models/database.py#L854

EDIT :

Quoi que sur le detail je fait un import "bulk" pour réduire le temps d'importation :
https://github.com/m4dm4rtig4n/myelectricaldata/blob/fbf60680a0e951e7accb34cd3e5d1fab7015c902/app/models/database.py#L838
Et suprime la data avant de la réinsérer :

        self.session.execute(
            table.__table__.delete().filter(ConsumptionDetail.date.between(begin, end))
        )

[m4dm4rtig4n]

Bon j'ai rebasculer en mode classic à voir si le soucis persiste.

[evenisse]

Oui, j'ai bien vu mais j'en ai eu. Il faudrait que je recheck si j'en ai à nouveau depuis mon wipe de la semaine dernière.
Cependant pour être sûr de ne pas en avoir, ajouter un UniqueConstraint avec les éléments que j'ai mis au dessus ne ferait pas de mal.