Differences

This shows you the differences between two versions of the page.

--- datachecker_spec [2024/05/27 15:54] – [1.1 Einfache Ausreißer] kalaschnikow
+++ datachecker_spec [2024/06/17 15:57] (current) – kalaschnikow
@@ Line 1: / Line 1: @@
+====== Datachecker Spec ======
+This is a specification for [[datachecker]] (a [[Lieb-ib]] project).
+  * Based on "Beispiele für Messfehler und Datenlücken.docx"
+    * Original document lies under:
+      * ''S:\...\Entwicklung\Plausibilitätsprogramm\Beispiele Messfehler Datenlücken\Beispiele für Messfehler und Datenlücken.docx'' (-> on Windows at work)
+      * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Beispiele für Messfehler und Datenlücken.docx'' (-> on Linux at work)
+    * OR in my Git projects:
+      * ''/v/IdeaProjects/heliumpackages/lieblinechart/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx''
+      * ''/v/IdeaProjects/sparktest/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx''
+===== 1 Messfehler =====
+==== 1.1 Einfache Ausreißer ====
+  * **Merkmale**
+    * schlagartiger Anstieg nach oben / nach unten
+    * Auftreten als
+      * Einzelwert
+      * mehrere Werte / Datenblöcke
+  * **Erkennung**
+    * Steigung größer als bei "normalen" Ereignissen
+      * Achtung:
+        * die Werteänderung bzw. Differenzen bei aufeinanderfolgenden Messfehlern nicht zwangsläufig auffällig sein muss
+        * => Steigung muss nicht nur zwischen zwei Werten gemessen werden
+          * => TODO: definieren wie die Steigung gemessen werden soll
+            * momentan sird nur die Steigung bei einem Punkt gemessen
+              * **?** implement slope detection on multiple points
+  * **Korrektur**
+    * Bei der händischen Korrektur werden die Ausreißer in der Regel durch den letzten korrekten Wert ersetzt; bei Bedarf aber auch mit 0 oder einer Interpolation zwischen zwei korrekten Werten
+      * => 3 Taktiken:
+        * letzter korrekter Wert
+        * 0
+        * Interpolation zwischen dem letzten und dem nächsten korrekten Wert
+  * **Beispiele**
+    * In folgenden Verzeichnissen:
+      * Bilder :
+        * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Ganglinien/1-1 Ausreißer''
+      * Daten :
+        * ''/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Datensätze/1-1 Ausreißer''
+    * **Blockausreisser**
+      * ''Calw RÜB KA Holzbronn WS Becken 2023.png'' -> ''Calw_wsbe_holz.csv'' bzw. ''Calw_wsbe_holz korrigiert.csv''
+        * zwischen 15.05 und 25.05
+      * ''Freudenstadt RÜB 04 2022-03-31.png''
+        * 01.04 zwischen ca. 10:00 und 15:00
+      * ''Leonberg RÜB 26 WS Zulauf 2023.png''
+        * zwischen 25.05 und 27.05
+      * ''Weissach RÜB Flacht Süd WS Becken 2023.png''
+        * zwischen 25.03 und 27.03