question sur la variable temps pour les données au sol.

[HarryTutle]

Bonjour, petite question un peu bête les données datetime sont en heure UT ou temps "classique" (UT+1 ou +2 l'été) ? Pour savoir si je dois faire une correction en couplant ce jeu de données avec un autre en heure normale. Merci beaucoup !

[LBerth]

Bonjour, toutes les données de MeteoNet sont fournies en heure UTC, et pas à l'heure "française classique". :)

[HarryTutle]

merci !

[HarryTutle]

Bonjour, merci beaucoup grâce à vos données et celles d'eco2mix j'ai fabriqué une station météo qui enregistre et prédit la météo dans les 24h avec du deep learning. Elle fonctionne depuis huit mois, sur des modèles pour le moment entrainés juste avec les données traitées de Meteonet, mais par la suite ils seront agrémentés par les données enregistrées locales (pour à terme avoir si possible une prédiction locale plus fine). Si ça vous intéresse je met mon lien git:

https://github.com/HarryTutle

[LBerth]

Bonjour, waouh beau travail ! Par curiosité, est ce que vous avez pu comparer vos données prévues avec celles réellement observées par la station ? et est ce que vous utiliser les prévisions de Arome ou Arpège en entrée de votre modèle prédictif ?

[HarryTutle]

Bonjour, non pas encore mais pour le test des modeles sur les données de MeteoNet on arrive à des scores de 70% pour la direction du vent, 74% pour la force du vent (en passant ces variables en catégories sinon c'est compliqué), 80% pour l'humidité, 92% pour la température et la luminosité 78% mais il y a une erreur d'heure à corriger pour cette dernière (avec RNN, séquentiel et foret aléatoires). Pour la luminosité je dois corriger une erreur (les données eco2mix sont en heure locale, donc il y a un décalage d'une heure dans la prévision, sinon c'est cohérent). Là je vais pouvoir commencer à comparer avec les données de la station j'ai huit mois de données. Non mais ça m'intéresse je vais essayer, Arpège et Arome contiennent des données agencées un peu comme météonet mais pour d'autres années ?

[LBerth]

Arome et Arpège sont les deux modèles de prévision météorologique de Météo-France, leurs données sur 3 ans sont présentes dans MétéoNet, dans les dossiers "weather_models". D'après des tests que j'ai fais par ailleurs sur les précipitations, donner Arome ou Arpège en entrée d'un modèle de machine learning devrait grandement améliorer les sorties du modèles. Comme il s'agit de données publiques, vous pourrez les utiliser en entrée de votre modèle temps-réel. Par contre je ne sais pas bien à quel endroit les récupérer, ni s'il est possible d'avoir une plus longue archive.

[HarryTutle]

Ok super merci pour l'info je vais regarder ça . Après mon pc est un peu limite niveau puissance de calcul (au début j'ai voulu l'entrainer sur toutes les stations de MeteoNet, et finalement je n'ai pu prendre en compte que le Nord Ouest, ou alors je vais devoir lancer des entrainements dans le cloud mais ça je sais pas faire, mais bon ce serait l'occasion d'apprendre), et le projet c'est plutôt de faire une station météo autonome qui au fur et à mesure via ses données enregistrées affine la prévision locale, donc rester sur des informations captées par la station dans son environnement. J'ai commencé la comparaison entre les prédictions faites par les modèles entrainés sur meteonet et les données locales, pour la température, luminosité et humidité c'est pas mal, pour la force du vent ça prévoit un peu trop à la baisse et la direction ça marche pas mal pour les secteurs ouest et sud, pas terrible pour les autres(quand j'aurai fini proprement je mettrai l'analyse sur mon github). C'est peut-être dû à l'emplacement il y a des arbres autour qui peuvent perturber les directions du vent et la force. J'ai hâte de tester des modèles entrainés sur les données locales de la station pour voir, ça devrait être mieux(j'espère :)).

[HarryTutle]

Bonjour, j'ai eu le temps de tester un peu les résultats de la station, et aussi de voir les résultats avec des modèles entrainés seulement sur les données de la station, sans meteonet (même agencement des données, j'ai utilisé juste des forets aléatoires pour le moment). Pour la station concernant la direction du vent le score est à 13% avec une mae de 90, et force du vent c'est mieux avec accuracy à 60% et mae de 0.8. Donc pas top mais dû je pense aux effets de site. Pour le reste c'est mieux pour les mae (humidité à 10, température à 3, luminosité à 140 sauf la luminosité mais à cause de l'erreur heure réelle et heure utc. Par contre , sans surprise pour les modèles entrainés juste sur du local, ça marche mieux avec une accuracy à 26% pour la direction, 64% pour la force, et score à 91% pour luminosité, 45% pour humidité, 59% pour température. En traçant les courbes données réelles, meteonet+eco2mix et modèle local ça donne ça:

Après pour le moment j'ai pas trop d'échantillons (moins de 5000) donc à voir pour la suite. Hâte de voir ce que ça donne avec en plus les photos traitées du ciel en variables!