datachecker_spec
Table of Contents
Datachecker Spec
This is a specification for datachecker (a Lieb-ib project).
- Based on “Beispiele für Messfehler und Datenlücken.docx”
- Original document lies under:
S:\…\Entwicklung\Plausibilitätsprogramm\Beispiele Messfehler Datenlücken\Beispiele für Messfehler und Datenlücken.docx(→ on Windows at work)/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Beispiele für Messfehler und Datenlücken.docx(→ on Linux at work)
- OR in my Git projects:
/v/IdeaProjects/heliumpackages/lieblinechart/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx/v/IdeaProjects/sparktest/src/main/resources/docs/Beispiele für Messfehler und Datenlücken.docx
1 Messfehler
1.1 Einfache Ausreißer
- Merkmale
- schlagartiger Anstieg nach oben / nach unten
- Auftreten als
- Einzelwert
- mehrere Werte / Datenblöcke
- Erkennung
- Steigung größer als bei “normalen” Ereignissen
- Achtung:
- die Werteänderung bzw. Differenzen bei aufeinanderfolgenden Messfehlern nicht zwangsläufig auffällig sein muss
- ⇒ Steigung muss nicht nur zwischen zwei Werten gemessen werden
- ⇒ TODO: definieren wie die Steigung gemessen werden soll
- momentan sird nur die Steigung bei einem Punkt gemessen
- ? implement slope detection on multiple points
- Korrektur
- Bei der händischen Korrektur werden die Ausreißer in der Regel durch den letzten korrekten Wert ersetzt; bei Bedarf aber auch mit 0 oder einer Interpolation zwischen zwei korrekten Werten
- ⇒ 3 Taktiken:
- letzter korrekter Wert
- 0
- Interpolation zwischen dem letzten und dem nächsten korrekten Wert
- Beispiele
- In folgenden Verzeichnissen:
- Bilder :
/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Ganglinien/1-1 Ausreißer
- Daten :
/home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken/Datensätze/1-1 Ausreißer
- Blockausreisser
Calw RÜB KA Holzbronn WS Becken 2023.png→Calw_wsbe_holz.csvbzw.Calw_wsbe_holz korrigiert.csv- zwischen 15.05 und 25.05
Freudenstadt RÜB 04 2022-03-31.png- 01.04 zwischen ca. 10:00 und 15:00
Leonberg RÜB 26 WS Zulauf 2023.png- zwischen 25.05 und 27.05
Weissach RÜB Flacht Süd WS Becken 2023.png- zwischen 25.03 und 27.03
datachecker_spec.txt · Last modified: by kalaschnikow
