Durée des logs!

Allez encore un sujet mais sur les logs cette fois ci:

Alors l’interval et la durée de log vont définir la mémoire nécessaire pour l’enregistrement de tous les index des compteurs.

Il faut comprendre que plus on log plus l’affichage de courbes peut devenir complexe vu le nombre de points à afficher. Par contre c’est bien d’avoir un peu de finesse quand meme.
Du coup je propose 1 log toute les 15mn :slight_smile: ça fait 4 points / heure

Je ne sais pas s’il est utile d’avoir une finesse importante.
Au moins couvrir
ENEDIS qui peut fournir à la demi heure.
Le décret BACS qui impose un pas de temps mini de 1 heure et un historique de 5 ans pour le comptage dans les bâtiments tertiaires.
A la demi heure est sur 5 ans on couvre les deux, tous les 15 Mns c’est encore mieux.
Souvent la pas est configurable au détriment de la durée de stockage.

Aujourd’hui on peut aussi envoyer des mesures avec un pas de temps quelconque, on devrait toujours pouvoir …

Après il nous faut un comptage des kW/h précis.

Si ça peut donner des idées, voici ce que je fais pour mes données domotiques, je me suis inspiré de ce qui se pratique depuis des décennies dans le monitoring informatique/réseau :

  • conservation des données à 1 minutes près pendant les premiers jours (permet ainsi de regarder précisément ce qui se passe)
  • puis historisation, par exemple au delà de 1 semaine on ne conserve que 1 mesure par heure (moyenne/min/max des puissances instantanées en Watt), puis au delà de 1 mois on agrège sur 24h…

Pour l’énergie (kWh), il suffit de faire la somme au moment de l’agrégation, donc le suivi historique reste précis.
Idem avec les autres mesures de quantité, comme les compteurs de litres d’eau ou de volume de gaz.

L’intérêt c’est d’économiser l’espace, tout en conservant à la fois la finesse de mesure à court terme, et l’historisation à long terme.

C’est très facile à programmer, je le fais dans mes bases SQL.
Mais avec les ressources limitées de l’EcoDevice je ne sais pas si c’est facilement envisageable… l’idée étant d’avoir un process qui tourne chaque nuit pour faire la génération d’historique et la rotation (purge) des données obsolètes.

3 « J'aime »

Personnellement je collecte les infos de toutes les 5 mn via N8N dans une base TimescaleDB et j’ai des tableaux de bord Grafana, donc je n’utilise pas la conservation dans le device.

Bonjour,
des données toutes les 15 minutes me semble très bien, ce serait bien qu’en parallèle les pics soient également historisés par intervalles de temps.
Pour l’enregistrement des données je pratique en général comme @mcc37 avec 3 tables de données :

  • courbe sur une semaine ou 1 mois glissant avec des données brutes à fréquence relativement élevée (5 à 10 minutes max) , cela permet d’analyser des phénomènes précis ou d’avoir la représentation d’une semaine type (ou mois type). C’est cette courbe qui sera analysée pour le réglage fin de la mise en route des appareils selon les diverses contraintes (heures pleines, heures creuses, conso max instantanée, …)
  • courbe avec toutes les données moyennées et index sur périodes , rétention longue (plusieurs années) et fréquence plus réduite (15 à 30 minutes par exemple).
  • tableau des maximums bruts et minimums bruts par tranche horaire (en phase avec la fréquence précédente soit 15 ou 30 minutes)

bonne journée

1 « J'aime »

Bonjour à tous, merci pour ce retour très complet.

N’oubliez pas qu’on fait de l’embarqué et que la manipulation de donnée c’est gourmand en ressources et en temps de dev.

Du coup on log toutes les 15mn et idéalement pendant 5 ans.

Ceux qui veulent plus de finesse devrons utiliser un service externe (box, cloud etc…) l’objectif est quand même d’avoir un appareil autonome. Il ne faut pas ’oublier que tous le monde n’est pas forcément un expert en php ou de grafana.

Ok pour les min/max de la puissance instantanée… c’était de toute façon dans notre cdc…je vais calculer l’impact mémoire sur un mois glissant.

euh, un fichier texte suffit, pas forcément besoin de grapheur autre qu’un tableur de base pour analyser les données :slight_smile:
à partir du moment où les données sont dispo, chacun, expert ou pas, pourra analyser avec l’outil de son choix :slight_smile:

L’enregistrement sur une journée ou une semaine à fréquence courte (2 données seulement : conso totale, prod totale), serait un vrai plus pour l’analyse

1 « J'aime »

Bonjour @fgtoul

C’est les données de conso/prod instantanée min/max ou les index en wh ?
Fréquence courte ? toutes les minutes ?

sur période courte, les index (par différence) suffisent.

reste à voir les besoins des autres :slight_smile:

1 « J'aime »

Du coup ce qui ressort souvent c’est l’idée d’avoir 2 intervalles différents.

1 sur les premiers jours avec des intervalles courts pour avoir une bonne précision.
1 avec des intervalles plus long pour la sauvegarde…

Du coup je propose 5mn durant 31 jours glissant puis 15mn sur 5 ans :slight_smile: Qu’en pensez vous ?
On peut faire aussi toutes les minutes pendant 30 jours puis 1 log / heure pendant 5 ans…

3 « J'aime »

personnellement je préfère la 1ère solution, je ne pense pas qu’il y ait besoin d’une trace à la minute.
Pour une sauvegarde longue durée toutes les 15 minutes, c’est très bien et même mieux que la plupart des fournisseurs.
Par contre, tu prévois une sauvegarde par poste ?

je laisse la communauté s’exprimer sur les besoins.

Oui, je souhaite tout sauvegarder… les index, tarif, min/max
Comme ça on peut faire ce qu’on veut et c’est évolutif…

2 « J'aime »

Je viens de refaire quelques calculs:

On pourrait imaginer un log toutes les 5mn sur 1 année complete puis archiver l’année avec seulement 1 log toute les 30mn…

3 « J'aime »

et si c’était paramétrable pour que chacun puisse y trouver son compte ?

l’

1 « J'aime »

C’est plus compliqué…