Pipes and Filters
Sven Kästle & Nicolas Walk
2021
HPI SWA
---
# Pipes and Filters
## Motivation
Wann braucht man "pipes and filter" ?
* großer Prozess
* in einzelne Schritte unterteilbar
* schritte können gleichzeitig ausgeführt werden
Die outputdaten von schritt X sind die inputDaten von Schritt y
Ein Schritt ist ein Filter welcher die Daten inkrementell verarbeitet.
## Einordnung als Architekturpattern/-muster
* als Alternative zu Layer, Broker, MVC
"Pipes and Filters" ist ein Architekturpattern
alternativ zu z.B Layer, Broker und MVC
---
# Pipeline
{#emptyPipeline}
* Pipeline wird schritt für schritt aufgebaut mit allen Bestandteilen
---
## Datasource
{#dataSource}
Eine Datasource stellt die zu verarbeitenden Datachunks zur Verfügung
+ Datachunks sind die Verarbeitungseinheiten im System
typische Beispiele für eine Datasource sind:
### log stream
2021-06-27 15:20:37.224881+0200 0x14d Default 0x0 0 0 kernel: (AirPortBrcmNIC) ARPT: 97029.211335: DequeueTime: 0xaaaaaaaa
2021-06-27 15:20:37.224885+0200 0x14d Default 0x0 0 0 kernel: (AirPortBrcmNIC) LastTxTime: 0x7a69c6b8
2021-06-27 15:20:37.224888+0200 0x14d Default 0x0 0 0 kernel: (AirPortBrcmNIC) PHYTxErr: 0x0000
2021-06-27 15:20:37.224892+0200 0x14d Default 0x0 0 0 kernel: (AirPortBrcmNIC) PHYTxErr: 0x0000
> Datachunks sind die logeinträge
### textfile
Lorem ipsum dolor sit amet, consetetur sadipscing elitr,
sed diam nonumy eirmod tempor
invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita
kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
> Datachunks sind die einzelnen Wörter
### Objekte/Datensätze/Whatever/Chunk (Beispiel; JSON)
[
{"name": "Apfel", "amount": 2, "category": "fruit"},
{"name": "Mehl", "amount": 2, "category": "mehl"},
{"name": "Hefe", "amount": 1, "category": "hefe"},
{"name": "Birne", "amount": 5, "category": "fruit"},
{"name": "Zucker", "amount": 300, "category": "somehtingElse"},
{"name": "Milch", "amount": 1, "category": "notFruit"},
{"name": "Bier", "amount": 11, "category": "neitherFruit"},
{"name": "Bananen", "amount": 4, "category": "fruit"}
]
>Datachunks sind die Listeneinträge
{#dataChunks}
>Eine geometrische Figur symbolisiert einen data chunk
---
## Pipe
Pipes sind die Verbindungsstücke zwischen
+ Datasource und Filter
+ Filter und Datasink
+ Filter und Filter
Verbindet eine Pipe zwei aktive Filter synchronisiert er diese
Mittels eines First in First out (FiFo) Buffers
{#pipe}
---
## Filter
Filter sind die Verarbeitungseinheiten des Systems.
In einem Filter werden die Daten
+ reduziert
+ bereichert
+ transformiert
Filter können aktiviert werden durch
+ die vorhergehende Pipe (passive Filter)
+ die nachfolgende Pipe (passive Filter)
+ den Filter selbst (active Filter)
{#filter}
* Austauschbar
---
## Datasink
In den Datasink werden die daten aus der letzten Filterkomponente im System gepipet
Datasinks sind beispielsweise
+ Dateien
+ Terminal
+ Animation
{#complete}
---
# Bekannte Anwendung
## Compiler
>Pipes and Filter Architektur wird im Compiler Aufbau genutzt
Datasource: source programm z.B. test.java
Pipes: Streams
Filter: z.B Scanner, Parser, Target Code Generator
Datasink: ByteCode z.B. test.class
___
## grep
textfile.txt | grep "someText" | wc
textfile: dataSource
|: stdout piped into
grep: filter Wörter == "someText"
wc: wordcount filter zählt Wörte
stdout terminal: datasink = Anzahl aller "someText" in textfile.txt
* powershell vs bash
---
## screenshot/gif beispiele
log stream | grep "bluetooth" | sed 's/bluetoothd/AUSGETAUSCHT/' | awk '{print NF}'
>Datachunks sind die Logeinträge die gestreamt
>werden und nicht beispielsweise einzelne Wörter
---
# Szenarien
---
## Active Filter - passive pipe
{#pipeline1}
* Filter pullt die Daten aus der Pipe
---
## Active Pipe - passive filter
{#pipeline2}
---
## 2 Filter
{#pipeline4}
---
## Filter austauschbar
{#pipeline3}
* Filter wird im System durch anderen ersetzt --> System funktioniert noch
---
## T-Filter
{#pipeline5}
---
# Challenges
* was ist es nicht z.B Tee-and-join-Pipeline-System
* Objekte sind nicht ganz so cool bei Pipes-And-Filters. Was passiert, wenn ich Attribute änder, das Objekt aber gleich bleibt (nur ein Beispiel). Wo gibt es sowas in der Praxis ?-> PowerShell schiebt da irgendwelche "Windows-Objekte" durch. Ganz strange das ganze.
---
## Pros
+ Austauschbarkeit der Komponenten
+ einfache Wartbarkeit
+ parallel ausführbarkeit der Filter
* Gibt es Nachteile im Vergleich zu ?
## Cons
- Performance jede Komponent ist mögliches Bottleneck
- Filter können nicht "zusammenarbeiten"
---
# Diskussion