Datachecker Spec

This is a specification for datachecker (a Lieb-ib project).

• Based on “Beispiele für Messfehler und Datenlücken.docx”
  • Original document lies under:
    • S:\…\Entwicklung\Plausibilitätsprogramm\Beispiele Messfehler Datenlücken\Beispiele für Messfehler und Datenlücken.docx (→ on Windows at work)
    • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Beispiele für Messfehler und Datenlücken.docx (→ on Linux at work)
  • OR in my Git projects:
    • /v/IdeaProjects/heliumpackages/lieblinechart/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx
    • /v/IdeaProjects/sparktest/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx

• Merkmale
  • schlagartiger Anstieg nach oben / nach unten
  • Auftreten als
    • Einzelwert
    • mehrere Werte / Datenblöcke
• Erkennung
  • Steigung größer als bei “normalen” Ereignissen
    • Achtung:
      • die Werteänderung bzw. Differenzen bei aufeinanderfolgenden Messfehlern nicht zwangsläufig auffällig sein muss
      • ⇒ Steigung muss nicht nur zwischen zwei Werten gemessen werden
        • ⇒ TODO: definieren wie die Steigung gemessen werden soll
          • momentan sird nur die Steigung bei einem Punkt gemessen
            • ? implement slope detection on multiple points

• Korrektur
  • Bei der händischen Korrektur werden die Ausreißer in der Regel durch den letzten korrekten Wert ersetzt; bei Bedarf aber auch mit 0 oder einer Interpolation zwischen zwei korrekten Werten
    • ⇒ 3 Taktiken:
      • letzter korrekter Wert
      • 0
      • Interpolation zwischen dem letzten und dem nächsten korrekten Wert
• Beispiele
  • In folgenden Verzeichnissen:
    • Bilder :
      • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Ganglinien/1-1 Ausreißer
    • Daten :
      • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Datensätze/1-1 Ausreißer
  • Blockausreisser
    • Calw RÜB KA Holzbronn WS Becken 2023.png → Calw_wsbe_holz.csv bzw. Calw_wsbe_holz korrigiert.csv
      • zwischen 15.05 und 25.05
    • Freudenstadt RÜB 04 2022-03-31.png
      • 01.04 zwischen ca. 10:00 und 15:00
    • Leonberg RÜB 26 WS Zulauf 2023.png
      • zwischen 25.05 und 27.05
    • Weissach RÜB Flacht Süd WS Becken 2023.png
      • zwischen 25.03 und 27.03