Changement export de données Enedis

[Mathrey]

Bonjour,

Il s'avèrerait qu'Enedis ait changé le format d'export de ses données (le fichier est désormais est .xlsx au lieu d'un .csv), le contenu a l'air d'avoir drastiquement changé ce qui fait que l'utilitaire n'arrive plus à extraire les données de consommation. De plus, le lien du site permettant d'accéder à la page d'Enedis pour les télécharger renvoie un 404 (https://mon-compte-particulier.enedis.fr/mes-telechargements-mesures).

Bon courage pour le correctif si vous avez le temps de le faire !

[Mathrey]

Je me permets d'ajouter mon export Enedis pour vous éviter d'avoir à en générer un de votre côté.

xxxxxxxxxxxxxx_Export_energie_Consommation_01122023-04022025.xlsx

[baprx]

Pour ceux que ça intéresse il est aussi possible d'utiliser l'API https://conso.boris.sh en attendant que leur système d'export soit de nouveau fonctionnel.

#!/usr/bin/env python3
# ./enedis.py >/tmp/Enedis_Conso_Heure_20240101_20241231_PDL.csv

from datetime import datetime, timedelta
import requests
import pytz
from time import sleep

API_TOKEN = ""
API_URL = "https://conso.boris.sh/api/consumption_load_curve"
ENEDIS_PDL = ""
FROM_DATE = ""
TO_DATE = ""


def print_header(from_date: str, to_date: str):
    print(
        "Identifiant PRM;Type de donnees;Date de debut;Date de fin;Grandeur physique;Grandeur metier;Etape metier;Unite;Pas en minutes"
    )
    print(
        f"PDL;Courbe de charge;{from_date};{to_date};Energie active;Consommation;Comptage Brut;W;30"
    )
    print("Horodate;Valeur")


def print_csv(data: list):
    for timeslot in data:
        dt = datetime.strptime(timeslot["date"], "%Y-%m-%d %H:%M:%S")
        date = pytz.timezone("Europe/Paris").localize(dt).isoformat()
        print(f"{date};{timeslot['value']}")


def get_data(from_date: str, to_date: str, retry: int = 0):
    params = {
        "prm": ENEDIS_PDL,
        "start": from_date,
        "end": to_date,
    }
    response = requests.get(
        API_URL, headers={"Authorization": f"Bearer {API_TOKEN}"}, params=params
    )
    if response.status_code == 200:
        return response.json()
    else:
        if retry < 3:
            print(f"Warning: Error {response.status_code}, retrying in 10 seconds")
            sleep(10)
            return get_data(from_date, to_date, retry + 1)
        else:
            print(f"Error: {response.status_code}")
            return None


def main():
    global FROM_DATE, TO_DATE
    dt_start = datetime.strptime(FROM_DATE, "%Y-%m-%d")
    dt_end = datetime.strptime(TO_DATE, "%Y-%m-%d")
    print_header(dt_start.strftime("%d/%m/%Y"), dt_end.strftime("%d/%m/%Y"))
    while dt_start < dt_end:
        from_date = dt_start.strftime("%Y-%m-%d")
        to_date_dt = dt_start + timedelta(days=7)
        if to_date_dt > datetime.now():
            to_date_dt = datetime.now()
        to_date = to_date_dt.strftime("%Y-%m-%d")
        data = get_data(from_date, to_date)
        if data:
            print_csv(data["interval_reading"])
        else:
            print(f"Failed to get data for period {from_date} to {to_date}")
        dt_start += timedelta(days=7)
        sleep(5)


if __name__ == "__main__":
    if not all([API_TOKEN, ENEDIS_PDL, FROM_DATE, TO_DATE]):
        raise ValueError("API_TOKEN, ENEDIS_PDL, FROM_DATE and TO_DATE must be set")
    main()

[JC144]

Top j'essaye de regarder ça rapidement.

[jleroy]

À noter que depuis la mise à jour de l’espace client Enedis, s’il y a bien toujours 2 ans d’historique disponnible, il n’est plus possible de télécharger plus de 7 jours de consommation horaire.
Du coup le parser Enedis est inutilisable en l’état.

[uncle-buzz]

Attention quand même à la fréquence d'utilisation !

Afin que Conso API puisse rester gratuit et accessible à tous, assurez-vous de l'utiliser de façon raisonnable et responsable !

Ne faites aucun appel inutile, et évitez à tout prix les boucles de requêtes. Lisez le paragraphe "bon à savoir" pour plus d'informations.

Tout abus pourra conduire à un blocage de votre adresse IP sans aucun avertissement préalable.

Limites d'appels
Les quotas suivants sont fixés par Enedis. Ils sont partagés par tous les utilisateurs du service Conso API.

Maximum de 5 requêtes par seconde
Maximum de 10 000 requêtes par heure
Même si ces quotas peuvent sembler élevés, le serveur de Conso API est limité en ressources, et ne pourra rester gratuit que si tous les utilisateurs se comportent raisonnablement.

[baprx]

Attention quand même à la fréquence d'utilisation !

Afin que Conso API puisse rester gratuit et accessible à tous, assurez-vous de l'utiliser de façon raisonnable et responsable !
Ne faites aucun appel inutile, et évitez à tout prix les boucles de requêtes. Lisez le paragraphe "bon à savoir" pour plus d'informations.
Tout abus pourra conduire à un blocage de votre adresse IP sans aucun avertissement préalable.

Limites d'appels
Les quotas suivants sont fixés par Enedis. Ils sont partagés par tous les utilisateurs du service Conso API.
Maximum de 5 requêtes par seconde
Maximum de 10 000 requêtes par heure
Même si ces quotas peuvent sembler élevés, le serveur de Conso API est limité en ressources, et ne pourra rester gratuit que si tous les utilisateurs se comportent raisonnablement.

Pour récupérer 1 an d'historique ça fait une 50aine d'appels API espacés de 0.5s ça ne me semble pas abusé mais libre à chacun de modifier.

[uncle-buzz]

Attention que ces limites sont mutualisées entre tous les utilisateurs car côté Enedis vis à vis de l'API, et non d'un utilisateur vis à vis de l'API

Les quotas suivants sont fixés par Enedis. Ils sont partagés par tous les utilisateurs du service Conso API.

Pas sûr qu'on soit des 100aines à l'utiliser en même temps, mais il y a des limites pour l'ensemble des utilisateurs, je ne faisais que les rappeler.

[uncle-buzz]

Par contre j'ai complètement oublié la 1ère des choses, c'était de te remercier pour le script !
Merci pour le partage

[baprx]

Attention que ces limites sont mutualisées entre tous les utilisateurs car côté Enedis vis à vis de l'API, et non d'un utilisateur vis à vis de l'API

Les quotas suivants sont fixés par Enedis. Ils sont partagés par tous les utilisateurs du service Conso API.

Pas sûr qu'on soit des 100aines à l'utiliser en même temps, mais il y a des limites pour l'ensemble des utilisateurs, je ne faisais que les rappeler.

Tu as bien fait, pas sûr que tout le monde aille lire les conditions d'utilisation de l'API 😁, je mets à jour mon exemple pour augmenter le délai.

[mdarse]

Attention, en l’état, en cas d’erreur persistante, le script Python de @baprx vas retenter la requête à l’infini sur https://conso.boris.sh (en pratique jusqu’à RecursionError: maximum recursion depth exceeded).
Autrement dit c’est l’assurance de se faire bloquer l’accès à l’API.

[baprx]

Attention, en l’état, en cas d’erreur persistante, le script Python de @BapRx vas retenter la requête à l’infini sur conso.boris.sh (en pratique jusqu’à RecursionError: maximum recursion depth exceeded). Autrement dit c’est l’assurance de se faire bloquer l’accès à l’API.

Arf bien vu, j'ai mis à jour le snippet.