User Tools

Site Tools


datachecker_spec

Datachecker Spec

This is a specification for datachecker (a Lieb-ib project).

  • Based on “Beispiele für Messfehler und Datenlücken.docx”
    • Original document lies under:
      • S:\…\Entwicklung\Plausibilitätsprogramm\Beispiele Messfehler Datenlücken\Beispiele für Messfehler und Datenlücken.docx (→ on Windows at work)
      • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Beispiele für Messfehler und Datenlücken.docx (→ on Linux at work)
    • OR in my Git projects:
      • /v/IdeaProjects/heliumpackages/lieblinechart/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx
      • /v/IdeaProjects/sparktest/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx

1 Messfehler

1.1 Einfache Ausreißer

  • Merkmale
    • schlagartiger Anstieg nach oben / nach unten
    • Auftreten als
      • Einzelwert
      • mehrere Werte / Datenblöcke
  • Erkennung
    • Steigung größer als bei “normalen” Ereignissen
      • Achtung:
        • die Werteänderung bzw. Differenzen bei aufeinanderfolgenden Messfehlern nicht zwangsläufig auffällig sein muss
        • ⇒ Steigung muss nicht nur zwischen zwei Werten gemessen werden
          • ⇒ TODO: definieren wie die Steigung gemessen werden soll
            • momentan sird nur die Steigung bei einem Punkt gemessen
              • ? implement slope detection on multiple points
  • Korrektur
    • Bei der händischen Korrektur werden die Ausreißer in der Regel durch den letzten korrekten Wert ersetzt; bei Bedarf aber auch mit 0 oder einer Interpolation zwischen zwei korrekten Werten
      • ⇒ 3 Taktiken:
        • letzter korrekter Wert
        • 0
        • Interpolation zwischen dem letzten und dem nächsten korrekten Wert
  • Beispiele
    • In folgenden Verzeichnissen:
      • Bilder :
        • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Ganglinien/1-1 Ausreißer
      • Daten :
        • /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Datensätze/1-1 Ausreißer
    • Blockausreisser
      • Calw RÜB KA Holzbronn WS Becken 2023.png → Calw_wsbe_holz.csv bzw. Calw_wsbe_holz korrigiert.csv
        • zwischen 15.05 und 25.05
      • Freudenstadt RÜB 04 2022-03-31.png
        • 01.04 zwischen ca. 10:00 und 15:00
      • Leonberg RÜB 26 WS Zulauf 2023.png
        • zwischen 25.05 und 27.05
      • Weissach RÜB Flacht Süd WS Becken 2023.png
        • zwischen 25.03 und 27.03
datachecker_spec.txt · Last modified: by kalaschnikow