User Tools

Site Tools


10.07.2024

<html> <div style=“font-size:xx-large; font-weight: 900;”>10.07.2024 Mittwoch</div> </html>

Kalender, Juli, KW28

Appointments

  • None

Health

  • - Exercises
    • - Rücken
      • - Morgens
      • - Abends
    • - Augen
      • - Morgens
      • - Abends
    • - Zunge
      • - Morgens
      • - Abends
    • - Pr
      • - Morgens
      • - Abends

Tasks for the day

    • - create / change following projects because of new vars / new PLS
      • - Stuttgart
        • + Ditzingen (15 vars)
        • - FeuerbachBotnang (58 vars)
          • - move output to S:
        • - HedelfingenWangen (52 vars)
          • - move output to S:
        • - Moehringen (37 vars)
          • - move output to S:
        • - OberUntertuerkheim (21 vars)
          • + #RUEB_PW_Hafenbahnstrasse_1
            • + S94589CF600=wsbue_hafen1_pls
            • + S94589CL100=wsbe_hafen1_pls
            • + S94589CL110=wspusu_hafen1_pls
          • + #RUEB_PW_Hafenbahnstrasse_2
            • + S94590CF600=wsbue_hafen2_pls
            • + S94590CL100=wsbe_hafen2_pls
            • + S94590CL110=wspusu_hafen2_pls
          • + #RUEB_Martin-Schrenk-Weg
            • + S94633CL101=wsrueb1_martin_pls
            • + S94633CL102=wsrueb2_martin_pls
            • + S94633CL170=wsak_martin_pls
            • + S94633CF621=wehr1_martin_pls
            • + S94633CF622=wehr2_martin_pls
            • + S94633AA100=reg_martin_pls
              • only 0 values!
          • + #RUEB_Uhlbacher_Platz
            • + S94670CF601=wsbue_uhl_pls
            • + S94670CF602=wsbue1_uhl_pls
            • + S94670CL100=wsbe_uhl_pls
            • + S94670CL170=wsak_uhl_pls
          • + #RUEK_Wuerttembergstrasse
            • + S94684CF101=df_wuert
            • + S94684CF610=ent_wuert
            • + S94684CL100=wsbe_wuert
            • + S94684CL170=wsak_wuert
            • + S94684CL171=wsdr_wuert
          • - move output to S:
        • - OberhalbSchwanenplatz (25 vars)
        • - OberhalbZazenhausen (8 vars)
        • - Plieningen (52 vars)
        • - VaihingenKaltental (20 vars)
        • - VorHKWMuehlhausen (51 vars)
        • - VorZuckerbergstollenLinksN (33 vars)
        • - VorZuckerbergstollenRechtsN (13 vars)
        • - MobileSonden (4 vars)
      • + Baden-Baden
      • - Freudenstadt
        • create new project, because “freudenstadtDornstetten” is something different
        • PLS: Schraml AQUASYS
        • 21 vars:
          • + Betriebsmeldungen
            • + pu1_zwiesel→ D - 800002 - Betrieb Doppelanlage PU1→ B
            • + pu2_zwiesel→ D - 800003 - Betrieb Doppeltanlage PU2→ D
            • + pu3_zwiesel→ D - 800004 - Betrieb Einzelpumpe→ F
            • + pu1_rueb6→ D - 1000002 - RUEB 6 Betrieb Pumpe 1→ H
            • + pu2_rueb6→ D - 1000003 - RUEB 6 Betrieb Pumpe 2→ J
            • + rech1_rueb5→ D - 1100003 - RUEB 5 Feinsiebmodul 1 Betrieb→ N
            • + rech2_rueb5→ D - 1100004 - RUEB 5 Feinsiebmodul 2 Betrieb→ P
            • + pu1_lauter→ D - 1400002 - PW RUEB 1 Betrieb Pumpe 1→ R
            • + pu2_lauter→ D - 1400003 - PW RUEB 1 Betrieb Pumpe 2→ T
          • + RUEB_Oberer_Zwieselberg
            • + wsbe_zwiesel→ A - 800001 - Niveau alte KA→ B
            • + wsbe_uzwiesel→ A - 900001 - Niveau→ D
          • + RUEB1_Lauterbad
            • + wsbe_lauter→ A - 1400001 - PW RUEB 1 Niveau→ B
            • + druck_lauter→ A - 1400002 - PW RUEB 1 Druck Lauterbad→ D
          • - RUEB3_unterhalb_Manbachsiedlung
            • - wsbe_rueb3→ A - 1200001 - RUEB 3 Niveau→ B
          • - RUEB4_Glashuettenweg
            • - wsbe_rueb4→ A - 1100001 - RUEB 4 BUE→ B
          • - RUEB5_Erlenweg
            • - wsbe_rueb5→ A - 1100003 - RUEB 5 BUE5 vor Rechen→ B
            • - wssk_rueb5→ A - 1300002 - RUEB 5 Pumpenschacht Niveau→ D
          • - RUEB6_Gaswerk
            • - wsbe_rueb6→ A - 1000001 - RUEB 6 Niveau→ B
            • - wstb_rueb6→ A - 1000004 - RUEB 6 Niveau Trennbauwerk→ D
          • - RUEB11_Alte_KA
            • - wsbe_rueb11→ A - 1200003 - RUEB 11 Niveau→ B
          • - Zulauf_KA
            • - zulauf_ka→ A - 6 - ZL1MF01 Zulaufmessung→ B
      • - Friedrichshafen (Pannach)
        • 11 vars
      • - Nürtingen (nur Acron)
        • 81 vars
        • PLS: Acron?
      • - Winnenden
        • 76 vars
        • Daten nur aus dem Ordner “Protokolle” nehmen
  • - write a “User Guide” for rdconverter
  • - make a small “Project Developer Guide”
  • - Clean up
    • - nuertingen
      • - use “data/in” as input directory
      • - use “vars” directory for configs
    • - nagold
      • - use “data/in” as input directory (make use of recursion!)
      • - check what can be done additionally
  • - extend documentation
    • - CsvPreprocessor
    • - implement Einstaugrenze
      • - Weissach_wsbe_flachtsued_both.csv
        • - add a check for “Einstaugrenze” during calculation of “isPositiveOutlier”
          • - implement isPositiveOutlierStart
            • + implement isFirstPointWithNegativeSlope
          • - implement isPositiveOutlierEnd
            • + implement isLastPointWithNegativeSlope
    • - export single point outlier correction for Freudenstadt project
      • - check corrected data month per month (full year will not work because of small memory)
        • whether valueKorr == value_korr or not
        • - wsbe_rueb3
        • - wsbe_rueb4
        • - wsbe_rueb5
        • - wsbe_rueb6
          • 1 diff:
            • my correction:
              • 2022-06-25 15:40:00;wsbe_rueb6;3,3
            • manual correction:
              • 2022-06-25 15:40:00;wsbe_rueb6;0
        • - wsbe_rueb11
        • - wsbe_zwiesel
    • - check outliers examples
      • - RÜB Flacht Süd wsbe_flachtsued 2023.csv
      • - Gomaringen_wsbe_wittel.csv
      • - Calw_wsbe_wimno.csv → only 1 outlier
      • - Gomaringen_wsbe_mittel.csv
      • - Leonberg_wszu_rueb26.csv
      • - RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
    • - calculate different maxAllowedSlope for different time intervals in GetSlopeFromOneRowUDF
      • - try to make a “matrix” instead of “only minimums”
    • - try to configure Spark interpreter memory for Freudenstadt project
      • -Xmx16g worked, but: “Output is truncated to 64048000 bytes. Learn more about ZEPPELIN_INTERPRETER_OUTPUT_LIMIT”
        • ⇒ change zeppelin.interpreter.output.limit value in zeppelin-site.xml
    • - refactor GetSlopeFromOneRowUDF
      • - move maxAllowedSlope member to MarkSlopeFromOneRowUDF class
    • - make a Transformer for “Blockdistanz” (see “1.2 Blockdistanz / Einstau Sonde”)
      • - implement HadSlopeMarkerTransformer
        • - check in current implementation
        • - implement MarkAsBetweenNegativeSlopeStartAndPositiveSlopeEndUDF
          • - test
            • - test with data of one year
            • - tests with real data
        • - clean up in HadSlopeMarkerTransformer and in all UDFs used there
          • - simplify getting/marking slopes using only
            • SLOPE_TO_PREVIOUS_COLUMN_NAME_DEFAULT
              • ⇒ getSlopeToPrevious using GetSlopeFromOneRowUDF()
            • SLOPE_TO_NEXT_COLUMN_NAME_DEFAULT
              • ⇒ getSlopeToNext using GetSlopeFromOneRowUDF()
      • - implement SlopeBasedBlankingDistanceDataTransformer
        • - implement ReplaceValuesWithinEntlastungEventUDF properly
          • ??? use gradient (as first solution) ⇒ GradientBasedBlankingDistanceDataTransformer
            • (⇒ it should be not necessary because it is already calculated in HadSlopeMarkerTransformer.BETWEEN_NEGATIVE_SLOPE_START_AND_POSITIVE_SLOPE_END_MARKER_COLUMN_NAME_DEFAULT)
            • ??? check how gradient can be calculated
              • proposal 1:
                • if (start point is near of the maxValue)
                  • if(t2-t1 < X min)
                    • if(slope > 0 && slope > maxSlope)
                      • ⇒ mark as “probableBlockingDistance”
              • proposal 2 (older?):
                • if (start point is near of the maxValue)
                  • if(there was a slope with “speed” ⇐ maxSpeed)
      • - define scenarios
        • Scenario 1. (simple)
          • runter und nach einer Weile wieder hoch
            • Beispiel: Bild 1, zweite Lücke
        • Scenario 2.
          • runter, dann hoch, aber nicht bis zum Anschlag, dann ein paar mal hoch und runter, aber jedes Mal nicht bis zum Anschlag und nur ziemlich später wieder hoch bis zum Anschlag
            • Beispiel: Bild 1, erste Lücke
        • Scenario 3
          • runter, dann relativ stabil, dann aber noch stark nach unten
            • Besipel: Bild 3
        • Scenario 4
          • ask Benjamin
            • letztes Bild im Abschnitt 1.2, letzte Lücke
              • es ist unklar wie die rechte Seite von der Lücke korrigiert wurde
      • - test all defined scenarios
    • - optimize building
      • set jar to “target” of sparktest
    • - create a new project for transformers
    • - test “1.1. Einfache Ausreißer”
      • test data is in /home/vkalaschnikow/Desktop/buero/Entwicklung/Plausibilitätsprogramm/Beispiele Messfehler Datenlücken
    • - implement a graph for our data
      • - find out which graph libs exist
      • - decide how to handle “big data problem”
        • - find out which solutions exist
        • - implement 2-3 options
    • - “data gaps analysis” → SparkTester.getStatsAboutMultipleIntervals()
      • - check statistics possibilities
      • - check reporting possibilities
  • - Anleitung für neue Mitarbeiter
  • - Acron kennenlernen
    • - Acron-Anleitung.docx
    • - Beschreibung Datentransfer.docx
    • Projekte zur Einarbeitung
      • SES
      • Sindelfingen Q3 2023
      • Aalen Q3 2023
  • …
  • …
  • …
    • - Entry Part 5 into my wiki
    • - Summarize Part 6

Task pool

  • - make a plan for Avril
    • - development
    • - sales and marketing

Goals for the week

10.07.2024.txt · Last modified: by kalaschnikow