SD card logging extension (Datenspeicherung auf SD Karte)

[SpaceInCat]

Hi,
I'd like to present my SD card logging solution for the OpenDTU.
I wanted to have an OpenDTU standalone solution to be able to log the data without having a separate Raspberry Pi or other data storage/database/visualization backends running.
In the past, several users have requested such a feature, so maybe this solution here is still interesting for some of you.

If anyone is interested in this extended/customized firmware, please let me know and I will provide the firmware and write instructions.

Features

• Logging yield data on an hourly / daily / monthly basis
• Data storage on SD card in sqlite database
• Data visualization via diagrams for hourly / daily / monthly yields

Data visualization

Data is visualized on a separate html page (url: "IP adress/db/ui").
The reason for this solution was to have as less impact on the original OpenDTU code as possible to maintain the code and upgrade to new versions easily.

Currently there is no "nice" design for this solar data history cockpit, but it serves its purpose...
It shows:

• Live data: Total yield, Total yield day, Total Power (update frequency: 10 s)
• Diagram for hourly yield (update frequency: 60 s)
• Diagram for daily yield
• Diagram for monthly yield

The data is currently visualized via the Javascript charting library Highcharts. This might be an issue/drawback for some of you, as it is loaded externally from the highcharts server. But this is currently one of the simplest and best solutions for data visualization, without a great amount of programming.
However, you are not forced to use this visualization feature. You can log the data without using it. For data evaluation, you can copy the sqlite database from the sd card to your computer, read the data with some sqlite software (e.g. "DB Browser for SQLite") and do statistics with Excel or similar.
Unfortunately, I have not yet had time to program a feature for direct export to csv.

Hardware

I am using a ESP32 WROOM 32D with:

• nrf24l01+ (via SPI)
• OLED display (via I2C)
• MicroSD card adapter (via SPI) - example from aliexpress: https://aliexpress.com/item/1005003490452455.html

Additional infos

• OpenDTU with SD storage running stable for >50 days so far
• Current OpenDTU firmware version: v24.3.31
• Heap usage stays usually at ~50 %

Issues

• All MQTT features are deactivated to have enough sketch memory available

References to other discussions

• [Request] Add a production curve #809
• Added database feature. #935
• Statistik von yieldtoday für einen längeren Zeitraum ! #11
• Offline logging #176
• Tagesertragsdaten speichern? #954
• Daten visualisieren #168
• Port to Arduino and enable SD-Card logging #749
• SD Karten slot #485

Looking forward to your feedback!

Regards

[Fokker-1]

Thaks a lot!

That´s just what I´m very interested in: just having the data on an USB-Stick to work with them independently from the DTU.

But I dont´t have knowledge to implement the additional SW in the DTU needed.

Regards Werner

[joshix42]

Nice - could you give me link to your codebase? I want to test it :)

[Fokker-1]

Many thanks!

I use a Fusion OpenDTU connected to 2 inverters:

• HMS-1000 (868 MHz)
• HM-800 (2,4 GHz).

Here a copy from the delivery-document:

Code is used from GitHub, see attached file.

The OpenDTU looks:

Thanks an best regards
Werner

config-files.zip

[patdarrieulat]

Bonjour,
Bravo pour votre idée et sa réalisation puis je avoir votre firmiware svp, merci

[jblond4711]

Hi,

morgen wird hoffentlich der sd-card Reader geliefert. Gibt es schon eine aktuellere Version bzw. durfte schon jemand von euch testen?
Ich hätte auch großes Interesse die Firmware zu testen, eine Anschlussbelegung für den Reader könnte ich auch gebrauchen, vermutlich ist am Reader aber alles gekennzeichnet.

[SpaceInCat]

Hello,
thank you for your feedback and sorry for my late reply!
I created a fork of the official openDTU to make the version with SD storage available.
Since I have not worked with github before, I hope everyting is correct and it is working fine.
You can find the firmware here: https://github.com/SpaceInCat/OpenDTU_SDstorage

Instructions

In the platformio_override.ini you have to add a new library, which is used for the sqlite database.
Here is an example:

[env:generic_esp32]
board = esp32dev
build_flags = ${env.build_flags}
    -DHOYMILES_PIN_MISO=19
    -DHOYMILES_PIN_MOSI=23
    -DHOYMILES_PIN_SCLK=18
    -DHOYMILES_PIN_IRQ=0
    -DHOYMILES_PIN_CE=4
    -DHOYMILES_PIN_CS=5
    -w
lib_deps = ${env.lib_deps}
    siara-cc/Sqlite3Esp32 @ ^2.4

For the SD card reader I am using the HSPI, therefore the pins on the ESP32 side are currently defined as follows:

#define SD_SCK  GPIO_NUM_14
#define SD_MISO GPIO_NUM_33
#define SD_MOSI GPIO_NUM_13
#define SD_SS   GPIO_NUM_15

You can either use the same pin assignment or change it in the file "SdStorage.h".
Currently, there is no option to define the pins via settings or platformio_override.ini.

To make it work, you also have to copy the two files from the folder "SD_files" to the root folder of your SD card. The file "solarData.db" is the sqlite database. And "database.html" is the webpage to view your statistics / data visualization.

I also updated the openDTU version to the latest release: v.24.8.1

@jblond4711 normalerweise sollte die Pinbelegung auf dem SD card reader definiert sein.

@Fokker-1 Ich bin mir nicht ganz sicher, wie ich dir weiterhelfen kann. Hast du bereits einen SD card reader?

Just let me know, if it is working or you need further instructions!

[jblond4711]

Wäre es dir möglich eine v24.6.29 bereitzustellen da es mit der aktuellen v24.8.1 anscheinend Probleme mit dem Wlan gibt. Persönlich bin ich auch betroffen und habe erstmal wieder die v24.6.29 installiert.

[Fokker-1]

Hi,

ich hatte vor 2 Tagen dieses Update gemacht und jetzt ebenfalls erhebliche Probleme im WLAN.

Allein heute konnte ich meine Fusion DTU 3x nicht mehr erreichen und musste sie jedesmal ausschalten.

Die v24.6.29 (bei mir: opendtu-generic_esp32s3_usb.bin) habe ich auch nicht mehr, leider, möchte die aber wieder installieren - suche die also auch aktuell.

Gruß
Werner

[SpaceInCat]

Muss ich mir genauer anschauen. Ich weiß nicht, wie das hier auf github geht, wenn ich bei einem Fork eine ältere Version nutzen möchte.

@Fokker-1 die bin Datei für die vorherige v.24.6.29 von OpenDTU findest du hier unter Assets:
https://github.com/tbnobody/OpenDTU/releases/tag/v24.6.29

[jblond4711]

Es gibt ja jetzt eine v24.8.5 mit der das Wlan wieder funktioniert, könntest du bitte deine Version aktualisieren.
Musst du immer manuell deine Version nachziehen?

Edit: Kannst du eventuell eine aktuell kompilierte Versionen anbieten?

[SpaceInCat]

Ich habe jetzt auch auf v24.8.5 aktualisiert. Der Wlan-Fix ist also integriert und funktioniert auch bei mir. Wie ich github verstehe, muss ich immer manuell synchronisieren und dann prüfen, ob es Konflikte mit meinen Änderungen gibt.

Bezüglich kompilierter Version muss ich mich erstmal informieren. Bisher habe ich die Firmware immer direkt aus Visual Studio auf meinen ESP32 geladen. Wenn du Tipps hast, wie das geht, dann gerne her damit :-)

[jblond4711]

Habe eben mal alles angeschlossen und die kompilierte Firmware auf die OpenDTU per OTA aktualisiert. Soweit läuft erstmal alles.
Das Problem was ich jetzt habe ist das der keine Verbindung zum Hoymiles zustande kommt. Der cmt2300a ist zwar konfiguriert aber der Verbunden Status bleibt rot.
Ich vermute mal es liegt irgendwo ein PIN Konflikt vor. Ich vermute es liegt am PIN 14. Wo könnte ich denn das SCK Signal noch abgreifen ohne Konflikt?

Edit: Leider bekomme ich es nicht hin mit dem cmt2300a. Der angeschlossene Kartenleser ist auch ziemlich heiß geworden.

[SpaceInCat]

Nutzen denn beide Komponenten den PIN 14? An sich lassen sich die Pins im Skript abändern für den SD Kartenleser.

Edit: hier ist noch ein recht hilfreicher Beitrag zur SPI Pin-Belegung beim ESP32
https://randomnerdtutorials.com/esp32-spi-communication-arduino/

Edit2: habe gerade meinen SD Kartenleser geprüft. Er hat Raumtemperatur, keine Erhitzung spürbar.

[jblond4711]

Ich verwende hier eine Platine auf der der nrf24 und der cmt2300a drauf sind.
Könntest du mal bitte deine genaue Pinbelegung schreiben. Wenn ich den Cardreader wie oben in deinem Beispiel 14,33,13,15 anschließe „kocht“ er förmlich.
Heute hatte ich dann mal versucht das andere SD Card Projekt umzusetzen aber das hat auch nicht geklappt. Da wurde zwar die data.cvs geschrieben aber als ich alle Komponenten auf die Platine gebaut hatte war Feierabend bzw. der Cardreader wurde dann auch nicht mehr erkannt.
In der PDF sieht man die Pinbelegung der SD Cardreader und der cmt2300 verwenden gleiche Pins.
OpenDTU.pdf

Edit: Kann es sein das PIN 33 eigentlich PIN 12 sein sollte? Kannst du bitte mal dein Repo aktualisieren.

[SpaceInCat]

Hier ist die Pinbelegung bei mir:

ESP32 --> SD Card reader
15 --> CS
5V --> VCC
13 --> MOSI
33 --> MISO
14 --> SCK

ESP32 --> nrf24
0 --> IRQ
4 --> CE
5 --> CSN
18 --> SCK
19 --> MISO
23 --> MOSI
3V3 --> VCC

ESP32 --> Oled Display
21 --> SDA
22 --> SCK
5V --> VCC

Aus einem bestimmten Grund habe ich Pin 33 statt Pin 12 verwendet, aber den Grund weiß ich nicht mehr...
Du kannst die Belegung aber einfach in der Datei "include/SdStorage.h" in Zeile 16 abändern
#define SD_MISO GPIO_NUM_33

Wenn du einen nrf24 und einen cmt2300a verwendest, dann benutzt ja bereits 2 SPI Intefaces? Mit dem 3. SPI für den SD Card reader wird es dann evtl. schwierig.

Laut deiner pdf Datei verwendest du die gleichen Pins für den cmt2300a und SD card reader. Ist das Absicht?

[jblond4711]

Die gleiche Pinbelegung war ja für das andere Projekt. Jetzt habe ich mal den nrf24 über die pin_mapping.json deaktiviert da ich den nicht verwende.
Dann habe ich mal in der SdStorage.h Zellen 15,16,17 und 18 die Pins geändert und kompiliert.

#define SD_SCK GPIO_NUM_18
#define SD_MISO GPIO_NUM_19
#define SD_MOSI GPIO_NUM_23
#define SD_SS GPIO_NUM_5

Dann habe ich am PC die HTML und die db Datei in das Root der microSD kopiert und in den Reader gesteckt. Was mir aber aufgefallen ist wenn ich die (url: "IP adress/db/ui") aufrufe ist da nur eine leere Seite, sollte ja nicht sein auch wenn noch keine Daten vom Wechselrichter geschrieben wurden, ist ja jetzt dunkel, oder?
Aus Neugier habe ich mal die Cardreader Daten in die pin_mapping.json eingetragen um zu gucken ob der Reader aktiv ist.
Wenn ich jetzt unter Einstellungen-> Hardware gucke werden die SD Kartendaten zwar unter Ausgewählt angezeigt aber das Feld Aktiv ist komplett leer. Die Einstellung habe ich jetzt wieder rausgenommen.
Jetzt sieht es so aus
OpenDTU2.pdf

Da sollte es eigentlich keinen Konflikt geben und der Reader sollte im SPI Modus laufen. Den HSPI kann ich ja nicht nehmen da es dann mit dem cmt2300a kollidiert.

Das mit Pin 33 ist aber Merkwürdig laut Schaltplan liegt dort kein MISO Signal.

[SpaceInCat]

Hast du in der platformio_override.ini die Pinzuweisungen auch angepasst?

build_flags = ${env.build_flags}
    -DHOYMILES_PIN_MISO=19
    -DHOYMILES_PIN_MOSI=23
    -DHOYMILES_PIN_SCLK=18
    -DHOYMILES_PIN_IRQ=0
    -DHOYMILES_PIN_CE=4
    -DHOYMILES_PIN_CS=5
    -w

Bzgl. SPI Pins: es gibt vordefinierte beim ESP32, aber man kann auch softwareseitig die Pins definieren. Daher habe ich MISO auf Pin 33.
Pin 12 kann Probleme beim booten machen: Link1, Link2

Die HTML sollte auf jeden Fall abrufbar sein, auch wenn nachts keine Verbindung zum WR besteht.

Was meinst du mit das "Feld aktiv ist" bei SD Kartendaten? Meine Version sollte das nicht anzeigen können.

Tatsächlich nutze ich in meiner Software den HSPI für den Kartenleser, da der nrf24 am VSPI hängt. Aber theoretisch sollte man mehrere Gerät pro SPI Bus laufen lassen können, so lange der CS Pin unterschiedlich ist.

Ich werde mir das mal genauer anschauen und dir eine angepasste Version zur Verfügung stellen. Allerdings komme ich frühestens am Mittwoch dazu.

[jblond4711]

Eben mal alles zurückgesetzt, klappt aber immer noch nichts. Habe auch deine Verkabelung genutzt. Das UI zeigt nur eine leere Seite und das cmt2300a ist nicht erreichbar.

OpenDTU3.pdf

[SpaceInCat]

Solltest du meine Pinbelegung für den Kartenleser verwendet haben, dann sind Pin 33 und Pin 14 doppelt belegt, für LED bzw. CMT. Aber wie oben geschrieben, schaue ich mir das Thema am Mittwoch genauer an

[Fokker-1]

Hallo,

ich verfolge das hier mit Spannung, da ich an einer solchen Funktion sehr interessiert bin.
Leider kann ich nicht helfen, bin da ziemlich ahnungslos ...

Viel Erfolg - und danke schon mal!

Gruß
Werner4

[SpaceInCat]

Hallo Werner,
danke für dein Interesse! Ich hoffe, das kriegen wir hin

Gruß

[jblond4711]

Hat es denn noch jemand hinbekommen das auf die SD Karte etwas geschrieben wird, SpaceInCat mal ausgenommen?
Ich weiß wirklich nicht wo ich noch suchen soll.
Selbst wenn ich den nur den esp32 und den SD Reader verbinde habe ich keinen Zugriff auf die Micro SD bzw. auf die darauf befindliche database.html.
Mittlerweile habe ich 3 Möglichkeiten von SD Reader versucht und immer keinen Zugriff.

@SpaceInCat
hattest du schon etwas Zeit um dir es nochmal anzuschauen?