====== Datachecker Spec ======

This is a specification for [[datachecker]] (a [[Lieb-ib]] project).

  * Based on "Beispiele für Messfehler und Datenlücken.docx" 
    * Original document lies under:
      * ''S:\...\Entwicklung\Plausibilitätsprogramm\Beispiele Messfehler Datenlücken\Beispiele für Messfehler und Datenlücken.docx'' (-> on Windows at work)
      * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Beispiele für Messfehler und Datenlücken.docx'' (-> on Linux at work)
    * OR in my Git projects:
      * ''/v/IdeaProjects/heliumpackages/lieblinechart/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx'' 
      * ''/v/IdeaProjects/sparktest/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx''


===== 1 Messfehler =====

==== 1.1 Einfache Ausreißer ====

  * **Merkmale**
    * schlagartiger Anstieg nach oben / nach unten
    * Auftreten als
      * Einzelwert
      * mehrere Werte / Datenblöcke
  * **Erkennung**
    * Steigung größer als bei "normalen" Ereignissen
      * Achtung: 
        * die Werteänderung bzw. Differenzen bei aufeinanderfolgenden Messfehlern nicht zwangsläufig auffällig sein muss
        * => Steigung muss nicht nur zwischen zwei Werten gemessen werden
          * => TODO: definieren wie die Steigung gemessen werden soll
            * momentan sird nur die Steigung bei einem Punkt gemessen
              * **?** implement slope detection on multiple points

  * **Korrektur**
    * Bei der händischen Korrektur werden die Ausreißer in der Regel durch den letzten korrekten Wert ersetzt; bei Bedarf aber auch mit 0 oder einer Interpolation zwischen zwei korrekten Werten
      * => 3 Taktiken:
        * letzter korrekter Wert
        * 0
        * Interpolation zwischen dem letzten und dem nächsten korrekten Wert
  * **Beispiele**
    * In folgenden Verzeichnissen:
      * Bilder : 
        * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Ganglinien/1-1 Ausreißer'' 
      * Daten : 
        * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Datensätze/1-1 Ausreißer'' 
    * **Blockausreisser**
      * ''Calw RÜB KA Holzbronn WS Becken 2023.png'' -> ''Calw_wsbe_holz.csv'' bzw. ''Calw_wsbe_holz korrigiert.csv''
        * zwischen 15.05 und 25.05
      * ''Freudenstadt RÜB 04 2022-03-31.png''
        * 01.04 zwischen ca. 10:00 und 15:00
      * ''Leonberg RÜB 26 WS Zulauf 2023.png''
        * zwischen 25.05 und 27.05
      * ''Weissach RÜB Flacht Süd WS Becken 2023.png''
        * zwischen 25.03 und 27.03