Datachecker Meetings

Meetings for Lieb-ib datachecker project. The newest on top (with exception of 27.06.2024).

• Das Projekt wird eingefroren und zuerst wird “rdconverter” mit ca. 90 neuen Bauwerken( ca. 180 neuen Variablen) gemacht
• Nach dem das Projekt wieder “aufgetaut” wird:
  • Klassen GetIsPositiveOutlierStartUDF / GetIsPositiveOutlierEndUDF fertig schreiben
    • sie sind so gut wie fertig. Was falsch ist ist das Berechnen von Slopes. Momentan wird einfach valueDiff / timeDiff gemacht. timeDiff kann man zwar in einer “Matrix” definieren, das ist aber nicht ausreichend. Wir sind mit Benjamin so verblieben, dass ich annehme, dass die Änderung sich auf die letzte Minute bezieht. (Besser ist das auch etwas komplizierter zu berechnen. Z.B. wenn timeDiff > X, dann timeDiff = defaultTimeDiff. Wobei defaultTimeDiff auch noch konfigurierbar ist.)
  • bei jedem Schritt soll nachprüfbar sein, ob er fertig wurde
    • für Hr. Lieb ist das das grobe Übereinstimmen von den Protokollen: dem von Benjamin und “meinem” (d.h. dem was danach rauskommt, wenn die “Konvertierung” gelaufen ist).

• TODO → DONE
  • - Einstau / Überlauf Grenzen beachten
    • ersichtlich in den Protokollen : /home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/
      • z.B. für Calw: /home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/Calw/2023
    • - Calw_wsbe_holz.csv → Calw_wsbe_holz
      • Einstaustatistik für Mai → korrekt
      • + Problem mit 2023-05-24 13:02:28;wsbe_holz;0,45
        • sollte nicht valide sein
          • gelöst mit dem zweiten Lauf
    • - RÜB Porsche wsbe_porsche 2023.csv (Weissach) → Weissach_wsbe_porsche
      • keine Blockausreisser
      • manuell: 2 Einzelausreisser
      • alles andere Blockdistanz
      • ⇒ entschieden:
        • Einzelausreisser schnell anschauen
        • Blockdistanz für später aufheben
      • ⇒ Ergebnisse:
        • SingleOutlierCleaner hat ein Problem mit Punkten, die näher als eine Minute auseinander liegen
          • → FIXED
        • SingleOutlierCleaner braucht auch eine “Matrix” für Steigungen ?
          • ja → braucht aber etwas Zeit (1/2 Tag)
          • nein → immer annehmen, dass es in der letzten Minute passiert ist
    • - RÜB Flacht Süd wsbe_flachtsued 2023.csv (Weissach) → Weissach_wsbe_flachtsued
      • Einstau : > 410,20 mNN / Überlauf (BÜ) : > 411,65 m / Überlauf (KÜ) : > 411,73 m
    • - Calw_wsbe_wimno.csv (Wimberg Nord) → only 1 outlier
      • Einstau : > 0,90 m / Überlauf (KÜ) : > 5,53 m / Überlauf (BÜ) : > 5,78 m
    • - Gomaringen_wsbe_mittel.csv (Mittelbruckgraben)
      • Einstau : > 0,35 m / Überlauf : > 2,69 m
    • - Gomaringen_wsbe_wittel.csv (Wittelsäcker)
      • Einstau : > 0,20 m / Überlauf : > 1,98 m
    • - Leonberg_wszu_rueb26.csv (Gartenstadt Ost)
      • Einstau : > 0,70 m / Überlauf : > 1,40 m
    • - RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv (Freudenstadt)
      • Einstau : > 0,80 m / Überlauf : > 3,10 m / (für 2023: Überlauf : > 3,09 m)

• - Check example data
  • + Calw_wsbe_holz.csv
  • - RÜB Porsche wsbe_porsche 2023.csv
  • - RÜB Flacht Süd wsbe_flachtsued 2023.csv
  • - Calw_wsbe_wimno.csv → only 1 outlier
  • - Gomaringen_wsbe_mittel.csv
  • - Gomaringen_wsbe_wittel.csv
  • - Leonberg_wszu_rueb26.csv
  • - RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv

• QUESTIONS
  • is “matrix” a proper solution?
    • the slope values for big time intervals
      • wsbe_flachtsued has intervals of multiple days:
        • 2023-11-21 06:42:45;wsbe_flachtsued;409,47;409,47
        • 2023-12-09 11:33:31;wsbe_flachtsued;409,71;409,71
    • maybe it would be better to suppose that the event was happened in the last minute?
      • Benjamin ⇒ yes, maybe it would be a better approach

• NEXT
  • Einstaugrenze / Überlaufgrenze beachten
  • write own methods for conditions
    • analysis takes too long
  • isPositiveOutlierEnd
    • mögliches “Abflachen” beachten

• DONE
  • - Statistics about replacements
    • + stats for SingleOutliers
      • number of corrected points
    • + stats for BlockOutliers
      • number of corrected points
  • - Check productive data with Acron
    • - create Acron projects for outliers examples
      • + Calw_wsbe_holz.csv
      • + Calw_wsbe_wimno.csv → only 1 outlier
      • + Gomaringen_wsbe_mittel.csv
      • + Gomaringen_wsbe_wittel.csv
      • + Leonberg_wszu_rueb26.csv
      • + RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
      • + RÜB Flacht Süd wsbe_flachtsued 2023.csv
      • + RÜB Porsche wsbe_porsche 2023.csv
    • - read original data
      • + Calw_wsbe_holz.csv
      • other make no sense at the moment
    • - read corrected data
      • + Calw_wsbe_holz.csv
      • other make no sense at the moment
    • - compare
      • - by myself
      • - with Benjamin
• TODO (for next week)
  • improve the algorithm
    • it seems that slope alone is not enough
      • slope can be too small if diff of timestamps is too big
    • use maxValue?
  • work on block outliers examples
    • alone and with Benjamin
  • find better software for graphs?

• Misc
  • sometimes the resolution too small
    • difference in second decimal place and only after two seconds
      • ⇒ nothing to do?
      • example:

        2023-01-06 06:18:13;wsbe_wittel;0,02
        2023-01-06 06:18:58;wsbe_wittel;0,01
        2023-01-06 06:19:00;wsbe_wittel;0,02

  • it makes no sense to work on single outliers (wg. preis/leistung)
    • no really big win
    • not really many single point outliers in examples
  • Acron is not really good for displaying graphs

• TODO → DONE
  • + Export current docs to S:\
    • S:\Entwicklung\Plausibilitätsprogramm\datacheckerImplementationDoc.md
  • - Correct single ouliers for Freudenstadt 2023
    • + load year data
      • problems with UI (!)
    • + every file should be configured with its own parameters (maxSlope)
    • - using previous value is not always good
      • Benjamin uses sometimes 0
      • currently it is doable only for single outliers
      • ⇒ use “previous valid value” instead of “previous value”
        • Hr.Lieb: at first it should be decided whether it is really relevant
  • - Block outliers
    • + Eliminate false positives
      • + multiple slopes sequentially should not be recognized
        • der Wert wird als IS_POSITIVE_OUTLIER markiert, wenn danach die negative Steigung (Senkung?) vor der positiven Steigung kommt
          • ⇒ gelöst mit “die nächste positive Steigung soll NACH der nächsten negativen Steigung kommen”
    • + other (from Calw_wsbe_holz_202305_both.csv)
      • + find causes
      • + fix
    • + implement correction
    • - fix performance problems (at least with Freudenstadt data)
      • + changeable window buffer size
        • buffer size = 5000 (ca. 3 Tage)
          • ca. 10 Minuten (zu Hause)
      • - better: find out the MAX_WINDOW_BUFFER_SIZE programmatically
        • ⇒ implement it

• TODO for next week
  • - find out the MAX_WINDOW_BUFFER_SIZE
    • started
  • - log statistics about replacements
  • - check all block outliers examples from Benjamin

• Misc
  • Disk full
    • /tmp → 100% of 1,8G
    • / → 70% ⇒ /dev/mapper/lx240409–vg-root 23G 16G 6,5G 70% /
  • SingleOutlierCleaner entdeckt auch Ausreisser, die innerhalb von Blöcken sind
    • ⇒ Optionen:
      • SingleOutliersCleaner zuerst laufen lassen
      • BlockOutliersCleaner so gestalten, dass er auch Einzelausreisser entdeckt
      • andere Optionen ?
  • Vergleich zwischen meiner Implementierung und der händischen Korrektur von Benjamin:
    • wsbe_rueb3
      • meine : über 600 Ersetzungen
      • Benjamin: 11 Ersetzungen

• TODO for next week
  • + Export current docs to S:\
    • S:\Entwicklung\Plausibilitätsprogramm\datacheckerImplementationDoc.md
  • - Correct single ouliers for Freudenstadt 2023
    • + load year data
    • + correct
    • + export
    • - check all files and configure maxSlope properly
  • - Block outliers
    • - Eliminate false positives
      • - multiple slopes sequentially should not be recognized
      • - other
        • - find causes
        • - fix

• TODO for next week
  • + Download of Acron CSV
    • Decimal Point
    • Suffix = “_korr”
    • + implement
      • AcronCsvTransformer class
        • for example see Zeppelin note misc/acronCsvTransformer
  • + Dokumentation zu Einzelausreisser (SinglePointOutliersCleaner)
    • datachecker.md
  • - Block outliers
    • see BlockOutliersCleaner class
    • - implement