Become a Creator today!Start creating today - Share your story with the world!
Start for free
00:00:00
00:00:01
Secrets Not Included: Warum Kubernetes-Projekte scheitern – obwohl Kubernetes nicht schuld ist
1 Playsin 4 hours
Kubernetes klingt nach Skalierung, Automatisierung und Cloud-Native-Magie. In der Praxis scheitern Projekte aber oft nicht an Kubernetes selbst, sondern an fehlenden Prozessen, falscher Architektur, zu wenig Team-Erfahrung und einer ordentlichen Portion Overengineering. Ole und Daniel sprechen über Managed Kubernetes, State, GitOps, Readiness-Probes, kaputte Deployments, schlaflose Nächte – und darüber, wann Docker Compose vielleicht die bessere Entscheidung ist.
Recommended
Transcript
Einleitung mit Ole und Daniel
00:00:00
Kai Ole Hartwig
Willkommen zu Secret.
00:00:02
Kai Ole Hartwig
Secrets not included, verdammte Axt.
00:00:06
Kai Ole Hartwig
Diese Woche wieder mit dem Ole, der nicht sprechen kann und dem Daniel, der sich einen abgrenzt darüber, dass er die Einleitung nie spricht.
00:00:11
Daniel Langemann
Ich muss mich immer noch davon drücken, das zu sagen.
00:00:12
Daniel Langemann
Hm.
Warum scheitern Kubernetes Projekte?
00:00:15
Kai Ole Hartwig
Es wird aber eine wunderbare Folge Secrets not included und wir wollten ein bisschen mit euch über Kubernetes-Projekte sprechen, die scheitern und obwohl es gar nicht an Kubernetes liegt.
00:00:27
Kai Ole Hartwig
Ich finde, ein bisschen provokantes Thema, Daniel.
00:00:30
Kai Ole Hartwig
Nach unserer letzten Folge, die chaotisch war, zu Security-Zertifizierungen, jetzt sagen wir Kubernetes ist voll super.
ECS vs. Kubernetes – Eine Präferenzdiskussion
00:00:40
Daniel Langemann
Ich als Fanboy, AWS-Fanboy würde das nie sagen.
00:00:42
Daniel Langemann
Ja, ECS, ja.
00:00:43
Daniel Langemann
Ach nee, EKS gibt es auch, genau.
00:00:43
Kai Ole Hartwig
Ach so, okay.
00:00:43
Daniel Langemann
Also für mich ist ECS das bessere Kubernetes.
00:00:44
Daniel Langemann
Wir wollten provokanter sein.
00:00:45
Kai Ole Hartwig
Du würdest sagen, wie heißt es bei AWS nochmal?
00:00:48
Kai Ole Hartwig
EKS-Zertifizierungen?
00:00:52
Kai Ole Hartwig
Der ECS ist doch die Container-Plattform, die komplett selbstverwaltend ist und wo du dich auch nicht um gar nichts kümmerst, außer dass du da einen Container hinschmeißt.
00:01:05
Kai Ole Hartwig
Oha!
00:01:06
Kai Ole Hartwig
Und EKS ist ja das Managed Kubernetes von AWS.
00:01:11
Kai Ole Hartwig
Jetzt können wir noch AKS nennen, das ist das managte Kubernetes in Azure.
00:01:18
Kai Ole Hartwig
Und GKE ist es, glaube ich, bei Google Cloud, wenn ich mich richtig erinnere, als Managed-Produkt.
00:01:23
Daniel Langemann
Ja, gut, habe ich noch nicht gehabt, aber ja, kann sein.
00:01:25
Kai Ole Hartwig
Ja, ich habe mit allen schon gespielt.
Cloudfleet und automatische Cluster-Verwaltung
00:01:28
Daniel Langemann
Ich muss ja noch Cloudfleet in den Raum werfen.
00:01:29
Kai Ole Hartwig
Plus OpenShift.
00:01:31
Kai Ole Hartwig
So.
00:01:33
Daniel Langemann
Hast du damit mal zu tun gehabt?
00:01:35
Kai Ole Hartwig
Nee, tut mir leid.
00:01:36
Kai Ole Hartwig
Mit den Förmchen habe ich noch nicht gespielt.
00:01:38
Kai Ole Hartwig
Was ist das?
00:01:38
Kai Ole Hartwig
Ich kenne es gar nicht, tatsächlich, Daniel.
00:01:39
Daniel Langemann
Also es ist halb gemanagt, Kubernetes, du hast also Managed Master,
00:01:48
Daniel Langemann
Du kannst den so konfigurieren mit Credentials, mit allem drum und dran, dass der automatisch bei Hetzner oder anderen Dienstleistern VPS-Server startet und ihn in den Cluster mit einbindet.
00:01:57
Daniel Langemann
automatisch.
00:02:00
Daniel Langemann
Das habe ich letztens in einem Setup, das ist sehr sexy.
00:02:06
Daniel Langemann
Für mich als AWS-Fanboy mag ich doch ein bisschen Kubernetes.
00:02:06
Kai Ole Hartwig
Okay.
00:02:14
Daniel Langemann
Damit auch wirklich alle triggern jetzt.
Komplexität und Auslöser in Kubernetes-Setups
00:02:16
Kai Ole Hartwig
Ich meine, wenn du ECS nutzt, was liegt da drunter?
00:02:21
Daniel Langemann
Ja, aber ich muss mich nicht anziehen.
00:02:22
Kai Ole Hartwig
Also ich weiß es tatsächlich gar nicht, ob es ein Kubernetes ist, was drunter gebaut ist oder ob es was Eigenes ist.
00:02:23
Daniel Langemann
Angeblich die kürzeste Folge ever.
00:02:28
Kai Ole Hartwig
Ähm...
00:02:30
Kai Ole Hartwig
Okay.
00:02:31
Kai Ole Hartwig
Immerhin hast du nicht gesagt, dass du Azure-Fanboy bist, dann hätten wir nämlich die Folge beenden müssen.
00:02:41
Kai Ole Hartwig
Ja, dann wäre ich weg gewesen.
00:02:43
Kai Ole Hartwig
Mit AWS-Fanboy kann ich leben, ne?
00:02:45
Kai Ole Hartwig
Du weißt ja selber.
00:02:49
Kai Ole Hartwig
Wie hieß es?
00:02:50
Kai Ole Hartwig
Cloud-Tier?
00:02:52
Daniel Langemann
Cloud-Fleet, also Sponsoring.
00:02:53
Kai Ole Hartwig
Ja, Cloud-Fleet.
00:02:57
Kai Ole Hartwig
So, also wie kann ich mir das vorstellen?
00:03:01
Kai Ole Hartwig
Ich habe da eine Plattform, ich logge mich ein und sage, hier, mach mal bei Hetzner mir die VPS hin und dann startet ihr das?
00:03:08
Daniel Langemann
Also du loggst dich da ein, erstellst, sagen wir mal, in der Web-Oberfläche deinen ersten Cluster und hast dann alles, was du kennst, dein Managed.
00:03:09
Kai Ole Hartwig
Ja, ja, gut.
00:03:17
Daniel Langemann
Also das ist halt einfach eine Masternode aus deinem Kubernetes.
00:03:22
Daniel Langemann
Nichts muss sich nur nicht drum kümmern, die kümmern sich darum, dass das funktioniert.
00:03:27
Daniel Langemann
Dann gibt es halt die Möglichkeit, da, sagen wir mal, Token von Hetzner oder anderen allen Cloud-Diensten, sagen wir mal, zu hinterlegen, sodass das Ding auf deinen, also das Cloud-Fleet Zugriff auf deinen Account hat und dann kann Cloud-Fleet, also das kannst du bei Hetzner automatisch auch über die CLI oder wie bei AWS auch,
00:03:47
Daniel Langemann
Einfach dann Nodes spawnen, die automatisch in einem Netzwerk laufen, also nicht mehr öffentlich verfügbar sind, sondern auch abgeschlossen
Auto-Scaling und DSGVO-Konformität
00:03:57
Kai Ole Hartwig
Ja, gut.
00:03:57
Daniel Langemann
sind nach außen hin.
00:03:59
Daniel Langemann
Die laufen dann im Netzwerk und werden automatisch gestartet.
00:04:01
Daniel Langemann
Wenn du immer mehr Pots startest, die Ressourcen reservieren, die aber nicht vorhanden sind, weil du sagst, ich brauche zwei CPU dafür, dann geht der einfach hin und startet den nächsten, der auch darauf passt.
00:04:12
Daniel Langemann
Hast du dann irgendwas Großes und dann auch passend von der Größe her skaliert er.
00:04:18
Daniel Langemann
wenn du deployst.
00:04:19
Daniel Langemann
Also mich macht man damit glücklich als AWS.
00:04:21
Kai Ole Hartwig
Ja.
00:04:21
Kai Ole Hartwig
Das klingt jetzt so nach dem, was ich eigentlich erwarten würde.
00:04:23
Kai Ole Hartwig
Ist auch
00:04:27
Kai Ole Hartwig
Ja, ja, und ich sage so, okay, das ist das bare Minimum, was ich beim Managed-Koog-Mannitis irgendwie erwarte, dass es Managed ist.
00:04:37
Kai Ole Hartwig
Aber wo liegt, also die Masternode, Controlplane, sowas liegt dann halt nicht bei Hetzner oder deinem Anbieter oder... Okay.
00:04:46
Daniel Langemann
Genau, das ist Cloudfleet.
00:04:48
Daniel Langemann
Die haben da die Hoheit drüber, das ist das, was die anbieten.
00:04:51
Daniel Langemann
Die haben einen Free Account mit einer Uptime, glaube ich, von 95 Prozent und dann natürlich auch Paid mit, also wenn du es professionell oder produktiv nutzen willst, hast du natürlich ein Paid mit 99,99 oder so waren, also genug.
00:05:09
Daniel Langemann
Und das ist dann halt managed.
00:05:09
Kai Ole Hartwig
Okay, aber an deinem Kubernetes scheitern ja meistens die Projekte
Zuverlässigkeit und Souveränitätsbedenken bei Kubernetes
00:05:14
Kai Ole Hartwig
auch nicht.
00:05:14
Kai Ole Hartwig
Also Managed-Produkte ist jetzt ja nichts Neues.
00:05:16
Kai Ole Hartwig
Ich finde, das ist ein cooles Produkt.
00:05:18
Daniel Langemann
Mhm.
00:05:19
Kai Ole Hartwig
Ich würde es noch mehr feiern, wenn ich ehrlich bin, wenn die Masternode dann quasi auch bei dem Anbieter liegt oder bei einem der Anbieter, die ich auswähle, wenn ich ehrlich bin.
00:05:31
Kai Ole Hartwig
ja, da kommt wieder so dieses Souveränitätsding bei mir durch, wo ich sage, okay, ich bin AWS-Fanboy für viele Dinge und, aber wenn ich es
00:05:39
Daniel Langemann
Das ist DSGVO-konform.
00:05:40
Daniel Langemann
Die liegen, also die hosten in Deutschland und ich meine, irgendwo gelesen zu haben, dass die auch unter der Haube auch bei Hetzner und anderen hosten in Deutschland.
00:05:49
Daniel Langemann
Also DSGVO-konform.
00:05:49
Kai Ole Hartwig
Spannend.
00:05:50
Kai Ole Hartwig
Das ist ja gerade der Punkt halt mit der Souveränität.
00:05:54
Kai Ole Hartwig
Wenn ich jetzt sage, okay, mein Rechenzentrum ist in Frankfurt, aber es wird halt vom US-Unternehmen betrieben, dann bin ich halt immer noch nicht richtig souverän.
00:06:01
Kai Ole Hartwig
Dann liegt es halt nur auf dem Server, der in Deutschland steht.
00:06:04
Daniel Langemann
Das ist eine GmbH.
00:06:04
Kai Ole Hartwig
Das hilft mir aber nicht.
00:06:05
Kai Ole Hartwig
Hm?
00:06:07
Daniel Langemann
Das ist eine deutsche GmbH, glaube ich, sogar dahinter.
00:06:08
Kai Ole Hartwig
Ja, das heißt ja nicht, dass du nicht trotzdem unter den Cloud Act fällst.
00:06:13
Kai Ole Hartwig
Das ist ja das Absurde.
00:06:15
Daniel Langemann
Die haben ein Zertifikat, das hatten wir in der letzten Folge, dem glaube ich.
00:06:19
Daniel Langemann
Nee, Nee, also die sind DSGVO-konform genug für mich, dass ich mich dazu entschieden habe.
00:06:23
Kai Ole Hartwig
Zertifikat.
00:06:34
Kai Ole Hartwig
Aber es ist mir auch DSGVO-Kon... Also, um das mal zu sagen, um jetzt auch den Hater auf mich zu ziehen.
00:06:34
Daniel Langemann
Als AWS-Fillen-Bäumer auch was anderes auszuprobieren.
00:06:42
Kai Ole Hartwig
Ähm...
00:06:44
Kai Ole Hartwig
Für viele unserer Kunden und auch für mich ist AWS oder Azure, das sind eher die Kunden, also es ist das DSG.
00:06:54
Kai Ole Hartwig
VO-konform genug.
00:06:56
Kai Ole Hartwig
Ja, da müssen wir uns gar nichts vormachen.
00:06:58
Kai Ole Hartwig
Es gibt diese Souveränitätsbeschränkung, jetzt reichen wir wieder vom Thema ab.
00:07:01
Kai Ole Hartwig
Anyway, es gibt diese Souveränitätsdiskussion,
00:07:07
Kai Ole Hartwig
Wenn wir aber in die reale Wirtschaft reinschauen, müssen wir ehrlicherweise sagen, dass US-Hyperscaler bei vielen der Standard sind aus guten Gründen und die man auch nicht mal eben abgelöst bekommt.
00:07:19
Daniel Langemann
Ich brauche so ein AWS-Fähnchen.
00:07:20
Daniel Langemann
Dafür würde ich sogar tanzen.
00:07:20
Kai Ole Hartwig
Ja, und das scheitert halt nicht am Produkt des Managed Kubernetes.
00:07:20
Daniel Langemann
Nee, aber wir wollten eigentlich über Kubernetes reden.
00:07:27
Kai Ole Hartwig
Ja, vielleicht können wir aber erstens auch sponsern.
00:07:29
Kai Ole Hartwig
Ich würde auch Credits nehmen.
00:07:33
Kai Ole Hartwig
Oh, nee, das nicht.
00:07:35
Kai Ole Hartwig
Also tanzen ist jetzt eine völlig andere Kategorie.
00:07:38
Kai Ole Hartwig
Also, nee.
00:07:40
Kai Ole Hartwig
Sorry, not sorry.
00:07:41
Kai Ole Hartwig
Da bin ich.
00:07:42
Kai Ole Hartwig
Ja, genau.
00:07:48
Kai Ole Hartwig
Aber eigentlich scheitert der Kubernetes bei vielen Stellen schon, wo man ehrlich sagen muss, eigentlich brauchst du gar kein Kubernetes.
Herausforderungen und Gefahren in Kubernetes-Projekten
00:07:58
Kai Ole Hartwig
Oder du hast gar nicht die Prozesse dafür.
00:08:00
Kai Ole Hartwig
Oder
00:08:02
Kai Ole Hartwig
gar nicht die passende Teamgröße auch um managed oder self-hosted das Ganze zu machen.
00:08:08
Daniel Langemann
Self-hosted, also Respekt, wer das alleine die ganze Zeit macht, da geht viel Zeit für drauf.
00:08:15
Daniel Langemann
Also es ist nicht unmöglich, aber das kostet Zeit, also so ein Cluster am Laufen zu halten, zu aktualisieren, alle Notes und so.
00:08:23
Kai Ole Hartwig
Hier ist es halt Arbeit, kann man automatisieren.
00:08:30
Kai Ole Hartwig
Also, wir haben tatsächlich Tests dafür laufen, das automatisiert selber zu betreiben.
00:08:38
Kai Ole Hartwig
So, mehr möchte dazu nicht sagen.
00:08:41
Daniel Langemann
Aha, gibt es da Betriebsgeheimnisse?
00:08:42
Kai Ole Hartwig
Aha.
00:08:44
Kai Ole Hartwig
Na, es gibt einfach...
00:08:48
Kai Ole Hartwig
was heißt Betriebsgeheimnis, ich verrate gerne alle Geheimnisse, ich habe da gar keinen Stress mit, aber das ist natürlich in der Qualität, in der ich das haben möchte, bekomme ich es noch nicht automatisiert.
00:08:52
Daniel Langemann
Hm.
00:09:01
Kai Ole Hartwig
Das ist jetzt aber vielleicht ein ohne Problem.
00:09:04
Kai Ole Hartwig
Ich habe so eine Allergie dagegen, nachts aufzustehen, wenn so ein Ding abstürzt.
00:09:09
Kai Ole Hartwig
Das nimmt dir natürlich so ein Managed Service komplett ab, weil da steht jemand anderes für dich auf.
00:09:12
Daniel Langemann
Ja, aber genau das ist das Problem.
00:09:14
Kai Ole Hartwig
Voll cool.
00:09:18
Kai Ole Hartwig
außer du hast natürlich Probleme, dass du das allgemein nicht hinbekommst mit den Containern oder so oder mit GitOps oder deinen Prozessen, CI, CD's, Secret-Verwaltung.
00:09:28
Kai Ole Hartwig
Ja.
00:09:29
Daniel Langemann
Also so gerne, wie ich auch Kubernetes mache, zum Beispiel mein Problem ist, ich bin, oder ich lasse mich gerne, oder ich verzettel mich gerne.
00:09:38
Daniel Langemann
Du kannst ja so viel damit machen und eigentlich alles damit machen.
00:09:43
Daniel Langemann
Und das ist mein großes Problem.
00:09:43
Kai Ole Hartwig
Klasse, das ist Overengineering, ne?
00:09:45
Kai Ole Hartwig
Ja, perfekt.
00:09:45
Daniel Langemann
Ja klar, natürlich.
00:09:47
Daniel Langemann
Du kannst alles und tausend Sachen machen und
00:09:52
Daniel Langemann
Du kannst dich da komplett verlieren in dem Setup.
00:09:54
Daniel Langemann
Da musst du schon, wenn du alleine bist oder mit ein, zwei Entwicklern nur unterwegs bist und du hast Managed Kubernetes, wo du nicht nachts aufstehen musst, musst du dich trotzdem zusammenreißen, dass du das nicht übertreibst, dass du nicht zu viele Sachen da reinklatscht, dass du guckst, dass du den State da raushältst und du kannst so viele Sachen machen.
00:10:13
Daniel Langemann
Du liest immer ganz viele Sachen und dann willst du hier noch was ausprobieren, da noch was ausprobieren.
00:10:19
Kai Ole Hartwig
Mit State der Großhälzer ist das natürlich ein total interessanter Punkt.
00:10:24
Kai Ole Hartwig
Was machst du mit der Datenbank?
Probleme mit zustandsbehafteten Apps in Kubernetes
00:10:26
Daniel Langemann
Ja, die ist managed woanders.
00:10:27
Daniel Langemann
Das ist ja fies.
00:10:31
Kai Ole Hartwig
Wunderbar, ist auch meine Standardantwort.
00:10:33
Kai Ole Hartwig
Ich kenne aber Menschen,
00:10:35
Kai Ole Hartwig
die im Kubernetes ihre Datenbank betreiben.
00:10:37
Kai Ole Hartwig
Und leider muss ich auch zugestehen, wenn man Typo3 in Kubernetes als Typo3-Cluster betreibt, also im Kubernetes-Cluster, ein geklasterter Typo3, hat man auch das Problem, dass Typo3 zum Teil stateful ist oder halt zumindest nervige Dateien geshared haben muss.
00:10:57
Kai Ole Hartwig
Du kannst viel in Walkie, Redis oder so auslagern, alles voll geschenkt, aber du hast halt so einen nervigen File Cache, der auch noch leider total ätzend ist in hinsichtlich der Skalierbarkeit.
00:11:02
Daniel Langemann
Mhm.
00:11:15
Kai Ole Hartwig
Also du kannst jetzt nicht sagen, na ja, scheiß drauf, auf jedem Note wird das halt geschrieben.
00:11:20
Kai Ole Hartwig
Das Verzeichnen ist halt schreibbar, dann ist das halt nicht 100% Read Only.
00:11:26
Kai Ole Hartwig
Macht er aber nicht, weil er dann feststellt, ah, die Datei fehlt, die ich erwarten würde, schreibt die zwar neu, vergibt aber einen neuen Hash und dann hast du halt für jede Note, ständig wird der Cache neu geschrieben.
00:11:37
Kai Ole Hartwig
Total Banane.
00:11:39
Daniel Langemann
Ja.
00:11:40
Kai Ole Hartwig
So, aber das sind jetzt ja echte Probleme, die aus der Applikationsebene kommen.
00:11:46
Kai Ole Hartwig
Dafür gibt es auch in Kubernetes Lösungen.
00:11:49
Kai Ole Hartwig
Man kann auch entsprechend Sachen sharen oder über File-System Lösungen machen, alles nicht sexy.
00:11:57
Kai Ole Hartwig
Funktioniert aber sehr erfolgreich.
00:11:59
Kai Ole Hartwig
Ich glaube, wir sind mit die Ersten gewesen, die Typo3-Cluster in Kubernetes betrieben haben, wo es Millionen Zugriffe im Monat oder auch zum Teil bei guten Werbekampagnen am Tag gab.
00:12:12
Kai Ole Hartwig
Das war nicht so das Thema.
00:12:14
Daniel Langemann
Mm.
00:12:14
Daniel Langemann
Mm.
00:12:15
Kai Ole Hartwig
Aber da lernt man halt auch, wenn man sowas mal gemacht hat,
00:12:19
Kai Ole Hartwig
Wo brauchst du denn wirklich Kubernetes und wo kannst du eigentlich noch den ganzen Shit mit Docker Swarm abarbeiten, ohne dass du Kubernetes mit allem Overhead brauchst?
00:12:31
Kai Ole Hartwig
Weil wir hatten nämlich am Anfang einfach einen Docker Swarm da laufen, bis der dann aufgegeben hat und man nicht mehr deployen sollte, weil das Ops Team Angst hatte, dass alles zusammenbricht.
00:12:42
Kai Ole Hartwig
Und wir dann innerhalb von vier Wochen auf Kubernetes migrieren mussten.
00:12:48
Daniel Langemann
Oh, ihr habt echt mit Anlauf alle Probleme mitgenommen.
00:12:48
Kai Ole Hartwig
wo es dann auch interessante Architekturprobleme gab.
00:12:58
Kai Ole Hartwig
Ja, natürlich.
00:12:58
Daniel Langemann
Mhm.
00:12:59
Kai Ole Hartwig
Also wir hatten natürlich dann so etwas wie die Datenbank fürs CMS, das ist nur die Startseite und Content-Seiten und so und dann hing da noch ein Shop dran und so.
00:13:09
Kai Ole Hartwig
Also komplex.
00:13:11
Kai Ole Hartwig
Wir hatten dann halt so Probleme wie, dass jemand auf die Idee gekommen ist, wir benutzen
00:13:17
Kai Ole Hartwig
Datenbanken mit Public IPs, also sprich unser Traffic läuft aus dem Cluster raus, einmal rum zur Datenbank über das öffentliche Internet.
Caching-Lösungen und Performance-Optimierung
00:13:30
Daniel Langemann
Das ist cool.
00:13:30
Daniel Langemann
Das guckt mir nichts an.
00:13:31
Kai Ole Hartwig
Ist cool.
00:13:33
Kai Ole Hartwig
Ist halt total scheiße, weil halt so der rausgehende Traffic irgendwie limitiert ist.
00:13:40
Kai Ole Hartwig
Und auch irgendwie die Datenbank dann zeitweise nicht erreichbar war und halt voll abgeschmiert ist das ganze System, weil halt die Datenbank nicht erreichbar war.
00:13:47
Kai Ole Hartwig
Die Datenbank hat aber gesagt, nö, ist alles in Ordnung.
00:13:49
Kai Ole Hartwig
Also eigentlich eitel ich hier nur rum.
00:13:51
Kai Ole Hartwig
Ja, weil das nicht das Problem war, logischerweise.
00:13:54
Kai Ole Hartwig
Das war halt das Architekturproblem, sobald die Datenbank
00:13:58
Kai Ole Hartwig
intern verfügbar war über das private IP-Netz, alles total easy.
00:14:03
Kai Ole Hartwig
Aber natürlich gibt es auch kleine und feine Unterschiede zwischen Docker Swarm und Kubernetes, die dir dann bei so Hau-Ruck-Aktionen voll auf die Füße fallen.
00:14:13
Daniel Langemann
Was mehr?
00:14:14
Daniel Langemann
Also erzähl mehr, ich bin neugierig.
00:14:16
Daniel Langemann
Was ist noch passiert?
00:14:17
Kai Ole Hartwig
Was möchtest du mehr wissen?
00:14:18
Daniel Langemann
Alles.
00:14:19
Daniel Langemann
Also generell, also was wir gerade hatten, war State.
00:14:23
Daniel Langemann
Also wenn du es einfach haben willst, hältst du den State aus Kubernetes raus.
00:14:28
Daniel Langemann
Egal ob es Redis, also Datenbanken ist, Redis vielleicht noch, da ist es egal, wenn der gekehlt wird.
00:14:33
Kai Ole Hartwig
Ja, Redis kannst du doch gut, also Redis, wenn du das rein fürs Caching benutzt, ist das ja nicht stateful.
00:14:41
Kai Ole Hartwig
So, also kein Thema, also kannst du drinnen haben.
00:14:44
Kai Ole Hartwig
Datenbanken geht auch.
00:14:46
Kai Ole Hartwig
Das haben wir woanders gemacht, in einem anderen Projekt, ein bisschen ein kleineres Setup, wo das dann auch noch OpenShift hatte und so Sachen, also noch mehr Herausforderungen, was Sicherheitsarchitektur angeht.
00:15:00
Kai Ole Hartwig
Und, ähm,
00:15:03
Kai Ole Hartwig
Du kannst halt entsprechende Volume für Cache-Dateien auch sharen, das geht.
00:15:08
Kai Ole Hartwig
Dann hast du eventuell Bandbreitenprobleme,
00:15:13
Kai Ole Hartwig
Da musst du halt mit Hardware, mit Power arbeiten, damit das halt kein Problem gibt.
00:15:16
Daniel Langemann
Nope.
00:15:19
Kai Ole Hartwig
Da gibt es keine elegante Lösung für.
00:15:20
Kai Ole Hartwig
Du kannst natürlich dir auch irgendwelche Sync-Prozesse bauen, die dann diese Cache-Dateien hin und her synken.
00:15:26
Kai Ole Hartwig
Da gibt es auch, ich glaube, Flyway oder ähnliches als File-System.
00:15:30
Kai Ole Hartwig
Nimmt dir auch Sachen ab, das kannst du auch machen.
00:15:33
Kai Ole Hartwig
Oder du sagst halt einfach, ja komm, diese Cache-Dateien, das ist jetzt auch nicht so viel Stuff.
00:15:38
Kai Ole Hartwig
Wir haben eh viel RAM.
00:15:40
Kai Ole Hartwig
Da war RAM noch billiger als heute.
00:15:45
Kai Ole Hartwig
Ja, genau, wir schmeißen diese gecacheden, das mounten wir quasi in den RAM und sind glücklich damit.
00:15:52
Kai Ole Hartwig
Dann ist es schnell, dann haben wir kein Problem, fuck it.
00:15:55
Kai Ole Hartwig
Also scheiß auf, was da passiert.
00:15:58
Kai Ole Hartwig
Im Hintergrund ist es schnell, es zieht die Zeit nicht runter und natürlich kannst du und solltest du auch immer so Sachen machen wie vernünftiges Caching als Full-Page-Cache vor das System setzen.
00:16:11
Daniel Langemann
Also redest von dem Warnisch zum Beispiel.
00:16:13
Kai Ole Hartwig
Ja.
00:16:15
Kai Ole Hartwig
Bein schwer auch das Produkt meiner Wahl.
00:16:17
Kai Ole Hartwig
Es gibt aber Alternativen, die nicht so schön funktionieren oder die auch schön funktionieren.
00:16:21
Kai Ole Hartwig
Also mittlerweile in kleinen Setups bin ich auch ein sehr großer Freund von Caddy fürs Caching geworden.
00:16:28
Daniel Langemann
Mit Caddy?
00:16:28
Daniel Langemann
Okay.
00:16:29
Kai Ole Hartwig
Ja, das macht das nämlich auch hervorragend.
00:16:31
Daniel Langemann
Habe ich noch nicht im Einsatz.
00:16:32
Daniel Langemann
Okay.
00:16:34
Daniel Langemann
Finde ich interessant.
00:16:35
Kai Ole Hartwig
Ja, also wenn du jetzt halt Ja, genau.
00:16:36
Daniel Langemann
Also Reverse Proxy davor, oder?
00:16:41
Kai Ole Hartwig
So, damit lädtest du natürlich schön, dass wenn dein dahinterliegendes System, egal ob Shop oder CMS, ist ja völlig Latte, aber wenn das halt mal gerade neu lädt, kannst du halt sehr viele Seiten und Sachen einfach gern für den Moment ausliefern.
00:16:41
Daniel Langemann
Oder...
00:16:56
Kai Ole Hartwig
Ich glaube, beim Shop ist tatsächlich panisch einfach geiler in jedem Fall.
00:17:01
Kai Ole Hartwig
Wenn ich so drüber nachdenke, weil du flexibler bist, das hat mehr Möglichkeiten für so reine Content-Sachen, kannst du aber das halt wunderbar auch mit der Kette abbilden.
00:17:09
Daniel Langemann
Ja, ja.
00:17:10
Kai Ole Hartwig
oder NGX geht auch als Reverse-Proxy, ne?
00:17:15
Kai Ole Hartwig
Den mag ich jetzt an der Stelle nicht so hundertprozentig, weil der immer irgendwie einfach keine richtig geile Erfahrung mitgemacht hat, aber hat sich, aber ich weiß, es geht, wir haben das auch gemacht, das ist halt, manchmal nehme ich halt Dinge, weil sie sich für mich besser anfühlen, ne?
00:17:33
Kai Ole Hartwig
So, und weil die Ergebnisse für sich sprechen, ja?
00:17:35
Kai Ole Hartwig
Wenn die Geschwindigkeit in der Auslieferung gleich ist, was soll ich mir Gedanken darüber machen?
00:17:40
Daniel Langemann
Wenn du schnell bist, die letzten 5% optimieren, kannst du viel Lebenszeit mit verschwenden.
00:17:42
Kai Ole Hartwig
Ja, so.
00:17:45
Daniel Langemann
Das Das ist in Ordnung.
00:17:47
Kai Ole Hartwig
Ja, was will ich, also Time to First Byte bei 8 Millisekunden, ne, damit.
00:17:52
Kai Ole Hartwig
Wenn es schlecht ist, 15 Millisekunden.
00:17:55
Kai Ole Hartwig
Also, sorry, da gibt es Systeme, die ich kenne, die haben mehr Probleme.
00:18:02
Kai Ole Hartwig
Ja, so.
00:18:02
Kai Ole Hartwig
Also, ähm,
00:18:05
Daniel Langemann
Und wenn, dann hat man andere bei den Zeiten.
00:18:11
Daniel Langemann
Ja, aber wir waren ja dabei, das Date, also sagen wir mal, entweder das Date rauszuhalten oder halt, wenn das, vernünftig umzusetzen.
00:18:11
Kai Ole Hartwig
Das sind genau.
00:18:20
Daniel Langemann
Und also ich bin auch nicht, dass ich sage, so ne, State überhaupt nicht da rein.
00:18:23
Daniel Langemann
Das ist für mich einfach so die nächste Stufe, weil dann musst du schon wirklich Ahnung haben von Datenbank, dann fängst du an vielleicht sogar mit Master Slaves und Replikation und allem.
00:18:32
Daniel Langemann
Dann bist du schon wieder auf der nächsten Stufe, wo du wieder mehr Know-how einfach von dem ganzen Thema haben musst und wieder so eine Baustelle mehr hast, gerade wenn du alleine bist.
00:18:39
Kai Ole Hartwig
Genau, dann hast du auch das Thema HA-Proxy wahrscheinlich und solche Sachen noch davor und auch beim Amaradis oder Wall-Key halt das Ganze geklustert zu machen, da gibt es ja auch zwei Varianten für mit Sentinel oder als Cluster.
00:18:57
Kai Ole Hartwig
Und ja, dann musst du tiefere Ahnung haben.
00:19:00
Kai Ole Hartwig
Aber genau das ist halt die Herausforderung, in die viele Teams dann ja halt reinlaufen einfach, wenn sie sagen, ah, wir gehen jetzt auf Kubernetes und wir wollen jetzt mit Clustern arbeiten, dass du halt sehr viel, sehr tiefes Wissen brauchst.
00:19:19
Daniel Langemann
Extrem tief.
00:19:19
Daniel Langemann
Also es war wie...
00:19:21
Kai Ole Hartwig
Und zum Teil gehen die Probleme dann auch runter auf die fucking CPU-Architektur.
00:19:28
Daniel Langemann
Mhm.
00:19:29
Kai Ole Hartwig
wir haben auch einen Fehler gehabt, ich bekomme ihn gerade nicht mehr aus dem Kopf so ganz zusammen, aber wo wir dann halt am Tagesende festgestellt haben, weil das Problem auch nirgendwo so richtig reproduzierbar war und nur ein Produktivsystem aufgetreten ist.
00:19:46
Kai Ole Hartwig
Total ätzend.
00:19:48
Kai Ole Hartwig
Was wir dabei gelernt haben ist aber, wir hatten dann Staging und Testsystem, also sogar noch zwei Systeme davor,
00:19:57
Kai Ole Hartwig
dass im Produktivsystem tatsächlich in den Nodes eine andere CPU lief, ein anderer CPU-Typ.
00:20:06
Kai Ole Hartwig
Und da es irgendwelche Probleme gab, ich bekomme es leider nicht mehr ganz zusammen, aber es war crazy shit.
00:20:17
Kai Ole Hartwig
Wir haben das auch gefixt bekommen und das ist gar kein Thema, wenn man weiß, wo es herkommt, dann kann man immer...
00:20:21
Daniel Langemann
Hat uns nur fünf Personentage gekostet, zwei Entwickler, Rande vom Burnout, aber wir haben es geschafft.
00:20:27
Kai Ole Hartwig
Es war mehr.
00:20:30
Daniel Langemann
Ja, aber genau das ist ja das.
00:20:31
Kai Ole Hartwig
Aber also, weil ja auch Reproduzierbarkeit war halt wirklich scheiße.
00:20:36
Kai Ole Hartwig
Ja, wenn du nur auf dem Produktivsystem das reproduzieren kannst und dann halt erstmal tief reingraben musst, noch mit anderen Teams sprechen musst, um dann rauszufinden, ah, da ist dann halt doch so ein Mikro-Unterschied irgendwo in diesem ganzen Shit drin.
00:20:47
Daniel Langemann
Wenn der sich dann auch noch auswirkt, außer dann
00:20:49
Kai Ole Hartwig
Genau, so.
00:20:51
Kai Ole Hartwig
Das ist aber auch wieder kein Kubernetes-Problem.
00:20:53
Kai Ole Hartwig
Das sind natürlich Architekturentscheidungen, die da vorgetroffen werden, wo man sagt, ja, okay, irgendwie das Staging-System, wir sparen jetzt doch mal eine Mark 50 in der Stunde.
00:21:03
Daniel Langemann
Aber solche Sachen hast du immer.
00:21:03
Daniel Langemann
Ja.
00:21:03
Daniel Langemann
Ja.
00:21:05
Kai Ole Hartwig
So, und es ist ja auch verrückt, also du musst ja auch erst mal auf diese Traffic-Größen kommen, dass du solche Probleme hast, mit denen du dich beschäftigen musst.
Die Komplexität von Kubernetes für hohes Verkehrsaufkommen
00:21:16
Kai Ole Hartwig
Die meisten, und das ist halt das Krasse, setzen Kubernetes ein, wo sie es einfach nicht brauchen.
00:21:21
Kai Ole Hartwig
Die bauen für die eine Million Besucher, die mal eben kurz nach der Fernsehwerbung kommen.
00:21:27
Kai Ole Hartwig
Sie haben aber fünf.
00:21:31
Kai Ole Hartwig
So, wir haben an vielen Stellen, muss man halt sagen, Kubernetes ist total nett, aber für Kubernetes brauchst du viel Wissen, viel Erfahrung, tiefes Wissen und gute Prozesse.
00:21:43
Kai Ole Hartwig
davor, also vor diesem ganzen Ding mit ICD, mit Secrets, mit GitOps, mit Security Policies, im Plattform Engineering und hast eine riesige Komplexität da am Tagesende stehen und musst die ja bedient bekommen mit Leuten und mit Wissen.
00:22:05
Kai Ole Hartwig
Deswegen sage ich auch, ey, wenn wir das irgendwie hier automatisiert machen mit dem Kubernetes,
00:22:12
Kai Ole Hartwig
dann muss das aber auch echt gut laufen.
00:22:14
Kai Ole Hartwig
Deswegen machen wir auch erstmal Tests, deswegen mit Raspberry Pis erstmal so ein Cluster gebaut und mal schauen, wie zuverlässig bekommen wir das Ding hin, bevor wir irgendwo anders das hinschmeißen.
00:22:24
Kai Ole Hartwig
Das Wissen ist gar nicht so das Problem.
00:22:26
Kai Ole Hartwig
Man muss sich halt bewusst sein, das Ding ist komplex.
00:22:30
Daniel Langemann
Ich finde das auch zum Beispiel, also genau, da wollte ich gerade sagen, also wir reden jetzt so ein bisschen von den Unmanaged-Sachen, beziehungsweise was ich auch immer wieder mal, also so groß wie du hatte ich es noch nie im Einsatz, aber was ich bis jetzt immer hatte, ist so, dann betreibst du es eine Zeit lang und die Config ändert sich.
00:22:30
Kai Ole Hartwig
Egal ob managed oder unmanaged.
00:22:39
Kai Ole Hartwig
Ja, weil, also
00:22:46
Daniel Langemann
Du musst ja alleine schon, wenn du alleine bist, immer wieder hinterherarbeiten, sagen, guck mal jetzt,
00:22:49
Kai Ole Hartwig
Mhm.
00:22:52
Daniel Langemann
willst irgendwie Config Appline oder mit einem Helm-Chart arbeitest du oder so und dann kommt eine Fehlermeldung, ach guck mal, dieser Parameter passt nicht mehr.
00:22:59
Daniel Langemann
Dann googelst du, ah, guck mal, Version hat sich geändert, das muss ich jetzt alles umbauen.
00:23:03
Daniel Langemann
Okay, dann fängst du an, Kies hin und her zu schubsen, während das System gerade aber am Abrauchen ist, weil du bist ja nur darauf aufmerksam geworden, weil irgendein Alerting gerade angegangen ist.
00:23:13
Kai Ole Hartwig
Naja, gut, du brauchst immer zwei Cluster, ne?
00:23:15
Kai Ole Hartwig
Also du darfst nicht nur mit einem Cluster arbeiten, du brauchst genauso einen Testcluster, wie sonst du ein Testsystem brauchst.
00:23:22
Daniel Langemann
Ja, aber das Problem ist ja, du baust das einmal, alles schick.
00:23:25
Daniel Langemann
Also das einmal aufbauen und aufsetzen, da bist du recht schnell.
00:23:29
Daniel Langemann
Gerade mit KI hast du ja super schnell Sachen generiert.
00:23:32
Daniel Langemann
Und dann steht ein Cluster da und läuft.
00:23:34
Daniel Langemann
Aber du musst ja regelmäßig Zeit reinbuttern, sag ich mal, um Config-Up aktuell zu halten, wenn sich Sachen ändern.
00:23:41
Daniel Langemann
Da war doch jetzt auch das, hier was rausfliegt hier, der Nginx-Kanal.
00:23:47
Kai Ole Hartwig
Ja, der NGX ist ja schon lange raus.
00:23:49
Daniel Langemann
Oder ist schon lange raus, so geil bin ich.
00:23:50
Kai Ole Hartwig
Als Ingress, ja, so, also NGX Ingress ist, glaube ich, Anfang des Jahres rausgeflogen, wenn ich es richtig im Kopf habe von der Timeline.
00:23:50
Daniel Langemann
Ja, vollkommen.
00:23:51
Daniel Langemann
Ja.
00:23:58
Kai Ole Hartwig
Also, es war ja auch angekündigt.
00:24:01
Kai Ole Hartwig
Also, das ist jetzt nicht so die richtige Überraschung.
00:24:04
Kai Ole Hartwig
Das
00:24:05
Kai Ole Hartwig
aber es ist halt eine wirkliche Disziplin, wo du jeden Tag dran arbeiten musst, ja, das ist halt nicht hinstellen und glücklich sein, auch bei Managed Kubernetes nicht, aber auch diese ganzen Sachen, die Probleme, die ich jetzt derzeit habe, ne, das waren auch zum Teil Managed Kubernetes, ja, also, das ist gar nicht mal so, dass es jetzt ein Unmanaged Service wäre, der OpenShift war Unmanaged, aber da waren auch ganz andere Themen noch, genau, so, also, das, das ist halt so dieser Punkt, ähm,
00:24:26
Daniel Langemann
Bleiben noch genug Probleme für dich übrig, auch wenn der managet ist.
00:24:29
Daniel Langemann
Was ist denn die Ursache?
00:24:29
Daniel Langemann
Ja.
00:24:38
Kai Ole Hartwig
Ursache.
Erfolgsfaktoren und menschliche Fehler in Kubernetes
00:24:44
Kai Ole Hartwig
Immer Menschen.
00:24:50
Kai Ole Hartwig
Aber schau mal, es ist doch so, entweder du hast ein Team, das einfach nicht das notwendige Wissen hat.
00:24:56
Kai Ole Hartwig
Das kannst du relativ gut lösen, indem mehr Wissen aufgebaut wird oder du andere Leute dazu holst oder, oder, oder.
00:25:06
Kai Ole Hartwig
Deine Prozesse müssen sauber sein, deine Applikationen müssen das auch ganz halt unterstützen.
00:25:12
Kai Ole Hartwig
Du brauchst GitOps, du brauchst Standards, also echte sichere Standards, du brauchst Security Policies, du brauchst echtes Plattform Engineering.
00:25:22
Kai Ole Hartwig
Was habe ich denn vergessen?
00:25:25
Kai Ole Hartwig
Also das Einführen der erste Tag in Kubernetes ist nicht das Problem.
00:25:32
Daniel Langemann
Ja, und das ist glaube ich auch die Falle.
00:25:34
Daniel Langemann
Du bist sehr schnell da, hast schnell was aufgesetzt, siehst was Schönes, skalieren Sachen, Lämmchen blinken gefühlt und alles ist hübsch.
00:25:43
Kai Ole Hartwig
Ja, skalieren, nächstes Thema, horizontal oder vertikal skalieren oder beides gleichzeitig.
00:25:49
Daniel Langemann
Ja.
00:25:50
Daniel Langemann
Ja.
00:25:50
Kai Ole Hartwig
So, ja, und vertikal skalieren macht ganz andere Probleme als horizontal skalieren, weil horizontal horizontal ist halt einfach mehr Ressourcen, wenn ich es gerade richtig im Kopf habe.
00:26:01
Kai Ole Hartwig
Vertikal heißt, wir bauen immer weiter daneben.
00:26:03
Kai Ole Hartwig
Daneben bauen kann aber halt zum Beispiel deine TCP-Connection-Budgets aufbrauchen und solche Sachen.
00:26:04
Daniel Langemann
Hm.
00:26:04
Daniel Langemann
Hm.
00:26:21
Kai Ole Hartwig
aufbauen.
00:26:24
Kai Ole Hartwig
Wenn jetzt deine Datenbank halt nicht hochskaliert, während deine Applikation hochskaliert, hast du vielleicht nachher einfach keine freien Verbindungen mehr zur Datenbank.
00:26:33
Daniel Langemann
Aber du hast Glück, Container, die warten darauf.
00:26:35
Daniel Langemann
Oh ja.
00:26:37
Kai Ole Hartwig
Ja, und dann hast du Round Robin aktiviert als Verteilungstaktik und dann landet halt auf einmal die Hälfte des Traffics auf Nodes, die gar nicht ready sind, weil du vergessen hast, da eine vernünftige Readiness-Probe und Liveness-Probe reinzubauen, weil du halt vorher zum Beispiel auf normalen Docker-Setups oder Docker-Compose, Docker-Swarm, etc., was dann nie sauber gearbeitet hast und das einfach nicht eingebaut hast.
00:27:04
Daniel Langemann
Kennst du auch von einem Freund die Geschichte, ne?
00:27:05
Daniel Langemann
Ja.
00:27:05
Daniel Langemann
Ja.
00:27:05
Daniel Langemann
Ja.
00:27:07
Kai Ole Hartwig
Vielleicht.
00:27:08
Kai Ole Hartwig
Natürlich.
00:27:09
Kai Ole Hartwig
Also wir haben solche Fehler niemals gemacht.
00:27:12
Kai Ole Hartwig
Wir haben natürlich perfekt angefangen und immer das perfekt implementiert gehabt und sind nie in solche Themen gegangen.
00:27:19
Kai Ole Hartwig
Das sind ja nur Geschichten, die ich mal gehört habe, in dunklen Ecken des Internets.
00:27:25
Kai Ole Hartwig
Ja, das ist kein Lernen durch Schmerzen, weil... Ja, so.
00:27:34
Kai Ole Hartwig
Also, Daniel, du weißt, ich mache niemals Fehler.
00:27:38
Daniel Langemann
Ja, ich auch nicht.
00:27:38
Daniel Langemann
Doch, selbst da im Traum.
00:27:39
Daniel Langemann
Ja.
00:27:39
Kai Ole Hartwig
während ich schlafe.
00:27:45
Kai Ole Hartwig
Was?
00:27:46
Kai Ole Hartwig
Du kennst meine Träume doch gar nicht.
00:27:49
Kai Ole Hartwig
Also ich träume nachts nicht von Kubernetes-Clustern, das kann ich dir verraten.
00:27:54
Kai Ole Hartwig
Zumindest sofern ich mich daran erinnere nicht.
00:27:59
Kai Ole Hartwig
Träumst du von Kubernetes-Clustern?
00:28:02
Daniel Langemann
Also mich haben schon mal ein paar Sachen echt in den Schlaf verfolgt.
00:28:05
Daniel Langemann
Genau solche Sachen, wo du so davor sitzt und sagst, boah, ich verstehe nicht, warum es nicht funktioniert.
00:28:10
Daniel Langemann
Ich kriege es nicht reproduziert und es tritt die ganze Zeit auf und du kommst nicht hinterher.
00:28:14
Daniel Langemann
Und das ist einfach so Sachen,
00:28:16
Daniel Langemann
habe ich so ein paar Mal mitgenommen.
00:28:18
Daniel Langemann
Also unfreiwillig, hat auch nicht Spaß gemacht, das waren keine schönen Träume.
00:28:25
Kai Ole Hartwig
Ich sage mal ein
00:28:25
Daniel Langemann
Aber das sind so die Momente und das ist ja auch das, wo du sagst, also wo ich sage, ich habe damit angefangen, habe schnell Erfolge gehabt, habe dann einen eigenen Cluster da betrieben, habe mich voll toll gefunden und dann kommen so mit der Zeit die Probleme.
Häufige Fallen beim Kubernetes-Management
00:28:40
Daniel Langemann
Du musst dir Konfig hinterher,
00:28:42
Daniel Langemann
Flicken und dann hast du da noch ein bisschen Zeit verschwendet, wo du eigentlich was anderes bauen wolltest.
00:28:47
Daniel Langemann
Dann hast du Probleme, genauso wie du sagst, was mir auch nie passiert ist, diese Readiness-Probes und solche Sachen, dass das einfach nicht funktioniert hat, Sachen nicht ausgerollt sind oder nicht ausgerollt wurden.
00:28:59
Daniel Langemann
Dann stehst du da und sagst, mein Gott, ich habe das doch deployed.
00:29:02
Daniel Langemann
Ach nee, doch nicht.
00:29:04
Daniel Langemann
ich meine, das mit der CPU, so tief bin ich nie drin gewesen.
00:29:07
Daniel Langemann
Ich weiß nicht, ob zum Glück oder leider.
00:29:13
Daniel Langemann
Aber genauso wie, dann hast du, also genau das gleiche, den State im Kubernetes.
00:29:19
Daniel Langemann
Dann versuchst du irgendwann mal eine Datenbank da zu replicieren und dann bist du mit Master Slaves unterwegs, dann hast du da irgendwie eine Volumes, die du mountest, querlustig und Sachen abschießt und die kommen nicht zurück.
00:29:29
Daniel Langemann
Du hast, also es war alles ein Testsystem, aber dann
00:29:34
Daniel Langemann
Recoveren sich die Volumes nicht, die Daten sind weg, du hast kein Backup, super, wegschmeißen, von vorne anfangen.
00:29:40
Daniel Langemann
Ja.
00:29:42
Kai Ole Hartwig
ist?
00:29:45
Kai Ole Hartwig
Wenn du ja eigentlich mit Pipelines deployst, aber auch lokal auf den Kontext Zugriff hast, aus Versehen deployst in den Produktiv-Cluster und alles nicht mehr funktioniert und kein Mensch weiß warum,
00:30:05
Kai Ole Hartwig
dann sind deine Volumes nämlich auch magisch nicht mehr verknüpft zum Beispiel.
00:30:10
Daniel Langemann
Scheiße.
00:30:12
Kai Ole Hartwig
Ja, dann ist quasi, du siehst nicht warum, aber auf einmal ist dieser Cluster quasi nicht mehr funktionell.
00:30:21
Kai Ole Hartwig
Also Kinders, wichtig ist Learning.
00:30:24
Kai Ole Hartwig
Ihr solltet niemals, nie nicht, wirklich niemals von lokal in den Kontext für eure Cluster kommen, die da irgendwo hinstehen und Container da hinschieben können.
00:30:37
Daniel Langemann
Ich bin gerade überlegen, also dein Freund, dem das passiert ist.
00:30:41
Kai Ole Hartwig
Das ist tatsächlich nicht mir persönlich passiert.
00:30:44
Daniel Langemann
Also für den Freund aus Minecraft.
00:30:44
Kai Ole Hartwig
Ich bin die... Aber ich habe es miterlebt.
00:30:55
Daniel Langemann
Also der eine Freund in Minecraft, der macht echt viel, also wenn ich so überlege.
00:30:58
Daniel Langemann
Und der muss auch einiges wissen.
00:31:00
Daniel Langemann
Mhm.
00:31:02
Kai Ole Hartwig
Also Unfälle passieren halt.
00:31:05
Kai Ole Hartwig
Das ist ja nicht, dass jemand eine böse Absicht hat und sagt, oh ja, ich bin jetzt in dem Kontext und ich deploy jetzt mal hier eben, weil ich das testen muss, diese Container.
00:31:14
Kai Ole Hartwig
Das sollte in einen ganz anderen Kontext gehen.
00:31:16
Kai Ole Hartwig
Das sollte in den lokalen Kontext gehen eigentlich.
00:31:18
Kai Ole Hartwig
So, nicht aufgepasst.
00:31:20
Kai Ole Hartwig
Schade Marmelade.
00:31:24
Kai Ole Hartwig
So, und dann funktionieren natürlich Dinge auf einmal nicht und dann hast du halt dieses Thema mit, da ist auf einmal der Cluster weg.
00:31:35
Kai Ole Hartwig
Oder vielmehr die Nodes funktionieren nicht mehr, weil da eine Container-Version ist, die keine Volume, oder die Nodes haben keine Volume-Verknüpfung mehr, der Pod und so weiter.
00:31:44
Kai Ole Hartwig
Alles ist auf einmal komisch.
00:31:46
Kai Ole Hartwig
So, das, das, das,
00:31:50
Kai Ole Hartwig
Ja, so, dann hast du auch ein Ops-Team oder ein Plattform-Team da auf einmal sitzen, das halt auch sagt, scheiße, wir wissen jetzt gar nicht, was geht denn hier ab.
00:31:50
Daniel Langemann
Mhm.
00:31:57
Kai Ole Hartwig
So.
00:32:01
Kai Ole Hartwig
Und dann hast du natürlich auf einmal echt alle Alarmglocken an.
00:32:08
Kai Ole Hartwig
Deswegen sage ich, schaut mal.
00:32:12
Kai Ole Hartwig
wer denn da eigentlich so wohin schreiben darf und minimiert mal, dass irgendjemand in diese Produktiv- und Staging-Cluster überhaupt reinschreiben kann von außen, außer eure CICD, also außer die GitOps-Prozesse.
00:32:22
Kai Ole Hartwig
Ja, weil, ja.
00:32:23
Daniel Langemann
Mhm.
00:32:27
Daniel Langemann
Ja, ist halt sehr verführerisch.
00:32:28
Daniel Langemann
Also zumindest habe ich das so am Anfang, sage ich mal, von der Containerisierung für mich gemerkt.
00:32:35
Daniel Langemann
Dieser Übergang war extrem schwer.
00:32:36
Daniel Langemann
Man war es gewohnt per SSH aufs Produktivsystem, aufs Testsystem.
00:32:40
Daniel Langemann
Du konntest da in die Logs gucken.
00:32:42
Daniel Langemann
Du konntest Commands ausführen, die dann irgendwie eine Migration angestoßen haben.
00:32:46
Daniel Langemann
Du konntest Cronejobs sehen.
00:32:48
Daniel Langemann
Und auf einmal, also bei AWS hat es sogar echt wehgetan am Anfang, dieses, ich deploye etwas und ich komme da irgendwie nicht mehr dran.
00:32:57
Daniel Langemann
Also per default erstmal nicht.
00:32:57
Kai Ole Hartwig
naja, du kommst ja schon dran, ne?
00:32:58
Kai Ole Hartwig
Also wenn man ehrlich ist, es gibt Wege,
00:33:01
Daniel Langemann
Du musst rückwärts wieder Wege machen, also du musst Wege finden,
00:33:06
Daniel Langemann
Und das fand ich auch ganz gut, dass das erstmal so war, dass ich nicht drangekommen bin und dass es schmerzhaft war.
00:33:10
Daniel Langemann
Dass du sagen musst, okay, wie komme ich jetzt an die Logs?
00:33:11
Daniel Langemann
Wo sind die Logs?
00:33:13
Daniel Langemann
Wie kann ich jetzt Commands ausführen und, und, und.
00:33:16
Daniel Langemann
Und bei Kubernetes ist es ja eigentlich auch so, dass das Setup so sein sollte, dass du da nicht drankommst.
00:33:20
Daniel Langemann
Und ich kann verstehen, dass daher auch dieses kommt mit, ab und zu möchte ich mich doch mal so in den Pott reinschalten und gucken, was da ist, ein bisschen debuggen.
00:33:30
Daniel Langemann
Also ist sehr verlockend, ne?
00:33:32
Kai Ole Hartwig
Ja, also ich halte es immer für gut und notwendig, wenn es so einen Breaking-Glass-Prozess gibt, dass man noch wo rankommt im
Log-Management und Debugging-Herausforderungen
00:33:41
Kai Ole Hartwig
Notfall.
00:33:41
Daniel Langemann
Mmh.
00:33:41
Daniel Langemann
Mmh.
00:33:42
Kai Ole Hartwig
wenn Dinge schieflaufen, aber du musst ja natürlich genau um diese Log Aggregation und so weiter, musst du dir vorher Gedanken machen.
00:33:51
Kai Ole Hartwig
Das ist halt ein geplanter Prozess.
00:33:53
Kai Ole Hartwig
Du kannst nicht einfach den Container da reinschmeißen und sagen, so, jetzt läuft er da und du wirst in Probleme laufen, wenn du das machst.
00:33:59
Kai Ole Hartwig
Und dann wirst du den Reflex haben und sagst,
00:34:05
Kai Ole Hartwig
Ich möchte jetzt aber da mal eben drauf und schauen, was da los ist.
00:34:07
Kai Ole Hartwig
Und genau da fängt halt das Problem an, weil dann ist die Planung und die Prozesse vorher nicht gelaufen.
00:34:16
Kai Ole Hartwig
Du musst dir halt Gedanken machen, machen, wie bekomme ich denn diese Informationen, die ich brauche, aus diesen Logs und wie kann ich denn auch diese Menge an Logs von diesen ganzen Services, die da laufen,
00:34:29
Kai Ole Hartwig
dann lesen und nachvollziehen und wie verfolge ich das denn eigentlich, wenn wir denn jetzt das Thema haben, dass der Nutzer auch noch auf unterschiedlichen Pods landet.
00:34:42
Daniel Langemann
Mhm.
00:34:42
Daniel Langemann
Mhm.
00:34:43
Kai Ole Hartwig
Ja, und dann reden wir halt noch nicht davon, dass irgendwie ein Istio oder so mitläuft und du auch noch
00:34:52
Kai Ole Hartwig
mtls hast und sidecar container und so weiter und so fort ja das kommt dann ja auch noch alles oben drauf dann hast du dann zwei container mit der applikation import laufen aber dann laufen da noch drei sidecar container kurz rum was für secrets was für mtls was für keine ahnung was noch der auf die idee kommt was brauchst und dann hast du eine ganz andere komplexität als wenn du das in einem docker compose setup passt als wenn du das auf einer normalen vps laufen hast und
00:35:13
Daniel Langemann
Vielen Dank.
00:35:20
Kai Ole Hartwig
Und du hast halt sehr, sehr viele, sehr komplexe Themen, mit denen du auf einmal als Team oder als Einzelkämpfer, als Einzelkämpfer ja fast unmöglich, aber als Team konfrontiert bist, die du handhaben musst.
00:35:38
Kai Ole Hartwig
Und wo du auf einmal feststellst, okay, deine Containerisierung und deine Plattformstrategie, das passt alles nicht so richtig zu dem, was du da gerade machen möchtest.
00:35:49
Kai Ole Hartwig
Du rennst auf einmal gegen so einen Berg, gegen so eine Steilküste, stehst du, das Wasser wird immer höher,
00:35:57
Kai Ole Hartwig
Und musst du das auf einmal managen.
00:36:00
Kai Ole Hartwig
Und das ist halt etwas und stellst halt fest, okay, du brauchst eigentlich gerade sehr viele, sehr gute Leute mit sehr viel Wissen, die durch die Gegend rennen und das ganze Ding mit dir zusammen machen.
00:36:14
Daniel Langemann
Und spätestens nach dem ersten Inzident, wenn der Shop offline ist, der Puls bei 180 ist, der PO, alle fünf Minuten anruft und fragt, ob man schon was sehen kann, wird man dazu übergehen, das dann zu optimieren?
00:36:23
Kai Ole Hartwig
Ja, den PO kann man ja ruhig stellen, einfach das Telefon aus der Wand reißen.
00:36:27
Daniel Langemann
Ein Vorteil von Remote-Arbeit.
00:36:28
Kai Ole Hartwig
Teams abschalten.
00:36:30
Daniel Langemann
Das dauert, bis der die 50 Kilometer überwunden hat.
00:36:34
Kai Ole Hartwig
Ja, genau.
00:36:34
Kai Ole Hartwig
So, also, ähm, aber, ja, natürlich, sobald du den ersten Inzident hast und alle darstellen und sagen, was denn jetzt passiert, ähm,
00:36:46
Kai Ole Hartwig
denkst du auf einmal auch noch ganz andere Dinge nach.
00:36:48
Kai Ole Hartwig
Das sind ja ganz viele Learnings aus ganz viel Erfahrung, aus ganz viel dumme Fehler machen, aus ganz viel in den ganzen Teams, die daran beteiligt waren, wusste es niemand besser.
00:36:53
Daniel Langemann
Mhm.
00:36:53
Daniel Langemann
Mhm.
00:37:01
Kai Ole Hartwig
Und dann kommst du in neue Teams und musst das immer wieder predigen, beibringen, weiter multiplizieren.
00:37:07
Kai Ole Hartwig
Das Wissen, die Systeme entwickeln sich weiter.
00:37:09
Kai Ole Hartwig
Es gibt andere Möglichkeiten.
00:37:10
Kai Ole Hartwig
Es gibt neue Stolpersteine, neue Möglichkeiten, sich das Knie aufzuschlagen.
00:37:15
Kai Ole Hartwig
Das ist ja nicht so, dass die Systeme stehen bleiben und so bleiben, wie sie sind, sondern jeden Tag kommen neue Security-Sachen, jeden Tag kommen...
Lernbedarf in Kubernetes-Projekten
00:37:25
Kai Ole Hartwig
oder jede Woche kommen Änderungen, jeden Monat gibt es Sachen, die eingespielt werden, die Sachen verändern.
00:37:31
Kai Ole Hartwig
Also das heißt, du begibst dich damit definitiv auf einen kontinuierlichen Weg der Weiterentwicklung mit vielen blutigen Knien.
00:37:44
Daniel Langemann
Ja, hört sich gut an.
00:37:44
Daniel Langemann
Definitiv.
00:37:45
Kai Ole Hartwig
So, also es macht Spaß, also ich liebe diese geklasterten Systeme, ich liebe die Möglichkeiten von Kubernetes.
00:37:56
Kai Ole Hartwig
Ich mag das, wenn Systeme einfach skalieren und schnell sind und funktionieren, aber da gehört verdammt viel Wissen und Erfahrung dazu, auch um zu sagen, man macht jetzt nicht dieses pure Over-Engineering.
00:38:13
Kai Ole Hartwig
Ja, mal zu wissen, wo man einfach sagen muss, so ein Docker Compose auf einem normalen VPS mit ein bisschen fancy
00:38:25
Kai Ole Hartwig
Readiness Probe, Lifeness Probe und vernünftigen Restart Policies und vielleicht starten wir auch mal mehr als eins oder so, wenn wir ganz crazy unterwegs sein wollen.
00:38:39
Kai Ole Hartwig
Ist manchmal geiler und stabiler, als sich zu sagen, wir stellen einen Cluster ein.
00:38:45
Daniel Langemann
Ja, diese Fähigkeit nicht zu übertreiben.
00:38:46
Kai Ole Hartwig
Aber die Lebenserfahrung brauchst du ja auch, ne?
00:38:50
Daniel Langemann
Also zumindest, wenn es um Produktivsysteme geht.
00:38:52
Daniel Langemann
Also bei meinen Spielprojekten habe ich immer übertrieben.
00:38:55
Daniel Langemann
Ja, ja.
00:38:55
Daniel Langemann
Ja.
00:38:56
Kai Ole Hartwig
Ja, dafür sind ja Spielprojekte auch da.
00:38:57
Kai Ole Hartwig
Ehrlicherweise, man braucht ja Projekte auch zum Lernen.
00:39:01
Kai Ole Hartwig
Und es gibt ja wenig Projekte, in denen du wachsen und lernen kannst.
00:39:09
Kai Ole Hartwig
Ja, die werden ja leider wieder immer weniger.
00:39:11
Kai Ole Hartwig
Wir hatten eine Zeit, da sind die mehr geworden.
00:39:14
Kai Ole Hartwig
Da konnte man sich auch in Projekten mit so etwas entwickeln und Ideen ausprobieren, auch mit entsprechenden Teams.
00:39:22
Kai Ole Hartwig
Und da hat man das auch als entsprechende Möglichkeiten gesehen.
00:39:25
Kai Ole Hartwig
Aber gerade sind die sehr ragesät.
00:39:31
Kai Ole Hartwig
So.
00:39:32
Kai Ole Hartwig
Na, und ich glaube, gerade ist es ganz gut, wenn man halt diesen wilden Mix mal mitgemacht hat, ein AKS, ein GKE, äh, wer heißt der gleich, ECS und so weiter, EKS und noch OpenShift.
00:39:46
Kai Ole Hartwig
So, also, und Docker Swarm und so weiter und so fort.
00:39:51
Kai Ole Hartwig
Ja, dann hast du halt ein Wissen, Wissen, wo viele Leute nicht rankommen oder nicht haben.
00:39:58
Daniel Langemann
Ja.
00:39:58
Kai Ole Hartwig
wo man halt auch gut sagen kann, es ist halt einfach eine dumme Idee, was man hier gerade macht.
00:40:04
Kai Ole Hartwig
Ohne das auch wirklich, und das kommt dann ja, wenn ich sowas sage, manche Menschen nehmen mir das ja so extrem übel, wenn ich sage, nee, das ist alles dumm, was hier jetzt gerade passiert und dumme Ideen.
00:40:15
Kai Ole Hartwig
Aber das ist einfach gelernt aus Schmerzen, liebe Freunde der Nacht.
00:40:20
Kai Ole Hartwig
das ist jetzt nicht, weil ich sage, ich kann das alles so viel besser und ich habe nie diese Fehler gemacht.
00:40:25
Kai Ole Hartwig
Nein, ich war an dieser Stelle, ich habe diese Fehler gemacht oder ich habe vorher erkannt, dass es eine dumme Idee ist und habe diesen Fehler nicht gemacht, weil ich die Dokumentation gelesen habe und dann vielleicht zwei, drei Tage darüber nachgedacht habe, ob das wirklich jetzt der richtige Weg ist und zu dem Entschluss gekommen bin, nee, das ist eine dumme Idee.
00:40:34
Daniel Langemann
angemacht.
00:40:51
Kai Ole Hartwig
Und daraus kommt das dann, dass ich dann halt manchmal sage, nee, Freunde, nee, bitte nicht.
00:40:56
Kai Ole Hartwig
Wir gehen einen anderen Weg.
00:40:58
Daniel Langemann
Ja, definitiv.
00:40:59
Daniel Langemann
Also Kubernetes löst nicht alle Probleme und wenn du in deinem Team... Genau, genau.
00:41:02
Kai Ole Hartwig
Nein, aber es bringt dir ein Bannschneuer Probleme mit, wenn du die haben möchtest.
00:41:06
Daniel Langemann
Das bringt einige mit.
00:41:07
Kai Ole Hartwig
Wenn du halt nicht das Team hast, nicht die Erfahrung hast, dann bringt es dir halt Probleme mit.
00:41:07
Daniel Langemann
Gleich hier.
00:41:12
Kai Ole Hartwig
Die zeigen aber halt meistens einfach sind das Symptome dafür, dass du einfach noch nicht bereit bist, das zu machen, weil dein ganzer Stack davor noch nicht bereit ist.
00:41:23
Kai Ole Hartwig
Und weil dein Team auch nicht bereit ist.
00:41:27
Daniel Langemann
Das ist halt ein Thema von Geschwindigkeit.
00:41:31
Daniel Langemann
Also wenn nur ein Teil deiner Prozesse beschleunigt wird, die anderen aber langsam bleiben, gewinnst du nichts, dann bewegst du nur schneller Artefakte von A nach B, aber der Rest passiert nicht oder umgekehrt.
00:41:42
Daniel Langemann
Du kommst gar nicht hinterher mit dem Artefakte bauen und deine Applikation langweilt sich, weil da nichts vornherum kommt.
00:41:49
Daniel Langemann
Und das ist...
00:41:49
Kai Ole Hartwig
Naja gut, aber also Kubernetes ist jetzt ja keine Beschleunigung für Sachen.
00:41:53
Kai Ole Hartwig
Also mehr Komplexität macht die Dinge in der Regel nicht schneller.
00:41:58
Kai Ole Hartwig
Du kannst damit, also du brauchst ja auch eine gewisse Kategorie an echten Herausforderungen.
Kubernetes' Relevanz bei dynamischen Verkehrsmustern
00:42:05
Kai Ole Hartwig
wovor ein Kubernetes Sinn macht.
00:42:07
Kai Ole Hartwig
Wenn du halt nicht diesen krassen Traffic hast und dann bei einem Hyperscaler bist, sondern einfach nur eh deine festen Ressourcen hast und nicht dynamischen Traffic, ja, dann ist es auch völlig egal.
00:42:17
Daniel Langemann
Mhm.
00:42:17
Daniel Langemann
Mhm.
00:42:21
Kai Ole Hartwig
Ja, auch wenn du eh sagst, okay, das ist so vorhersagbar, in welchem Rahmen sich mein Traffic bewegt.
00:42:28
Kai Ole Hartwig
Wenn ich deine VPS kaufe in der richtigen Größe, dann bist du wahrscheinlich meistens billiger, als wenn du Skalierung mit Kubernetes machst.
00:42:36
Kai Ole Hartwig
bei der Kubernetes wird immer mehr Ressourcen nach oben drauf packen.
00:42:39
Kai Ole Hartwig
Also, bis sich ein Kubernetes lohnt, musst du schon sehr starke Wellenbewegungen haben.
00:42:44
Kai Ole Hartwig
Also, wenn du sagst, okay, ich merke die Mittagspause in Deutschland um 12 jeden Tag, also jeden Arbeitstag, und ab 18 Uhr merke ich das auch immer, dann geht es ganz krass nach oben und dazwischen brauche ich einfach viel weniger Ressourcen.
00:42:58
Kai Ole Hartwig
Ich sage jetzt mal, normal, also von von Mitternacht bis
00:43:06
Kai Ole Hartwig
12 Uhr brauchst du zwei bis drei Pots, um Schlag 12 musst du hoch auf fünf bis sechs und dann um 14 Uhr wieder runter und dann ab 18 Uhr wieder hoch bis Mitternacht, dann hast du vielleicht dieses Thema.
00:43:20
Kai Ole Hartwig
Und dann hast du noch Fernsehwerbung, dann möchtest du nochmal höher gehen.
00:43:23
Daniel Langemann
Friday.
00:43:23
Daniel Langemann
Okay.
00:43:24
Kai Ole Hartwig
Oder dann hast du ein sonniges Wochenende,
00:43:27
Kai Ole Hartwig
Und dann ist dein Traffic auf einmal zehnmal so hoch, wie wenn es regnet.
00:43:31
Kai Ole Hartwig
Das erste Frühlingswochenende macht dir sonst die Server platt.
00:43:35
Kai Ole Hartwig
Dann reden wir über Kubernetes.
00:43:38
Kai Ole Hartwig
Oder du hast halt, es wird etwas bekannt gegeben und auf einmal greifen eine Million Leute drauf zu auf deine Seite und sonst sind es fünf.
00:43:48
Kai Ole Hartwig
Das sind so Szenarien, wo Kubernetes Sinn macht.
00:43:50
Kai Ole Hartwig
Und dann in der Kombination, wenn du dann eh Hardware da stehen hast, dann macht das vielleicht auch Sinn,
00:43:55
Kai Ole Hartwig
zu sagen, okay, wir haben hier ganz viele kleine Systeme auch im Kubernetes-Cluster stehen, da schwankt auch der Traffic immer so ein bisschen, für die lohnt sich das nicht, aber für die, die Hyperscaling machen müssen, da brauche ich ja auch die Hardware und dann ist sie wenigstens nicht ungenutzt, ne, das sind auch Nutzungsszenarien.
00:44:13
Daniel Langemann
oder wenn du größere oder mehr Teams hast und zum Beispiel da die Arbeitsweise anpassen willst und sagen, also wenn du mehr so in DevOps-Richtung gehen willst, dass die Leute selber Sachen deployen können, Preview-Umgebungen deployen können.
00:44:27
Kai Ole Hartwig
Ja, das kannst du aber auch in Dockers Form, ne?
00:44:30
Daniel Langemann
Ja, aber du bist, also in größeren Unternehmen ist das leichter umzusetzen, als wenn jeder da irgendwie so seine VPS sich holt und daher irgendwo Sachen hin deployt und wegräumt und
00:44:40
Kai Ole Hartwig
Genau, also du brauchst halt realistische Anwendungsszenarien für das ganze Ding.
00:44:40
Daniel Langemann
weil du das dann zentralisieren kannst.
00:44:46
Daniel Langemann
Aber dann reden wir mal wieder darüber, dass du da dediziert Leute hast, die den Kubernetes-Cluster betreuen oder den Managed-Cluster betreuen und sich darum kümmern, dass das Ding funktioniert.
00:44:57
Kai Ole Hartwig
Ja, so.
00:44:59
Kai Ole Hartwig
Weil halt automatisiert immer noch nicht so richtig funktioniert.
Automatisierung in der Kubernetes-Verwaltung
00:45:04
Kai Ole Hartwig
Gib mir mal noch ein paar Monate.
00:45:11
Kai Ole Hartwig
Ja, komm, was soll das denn?
00:45:12
Kai Ole Hartwig
Bisschen größer und wahnsinnig muss man nicht mal was sagen.
00:45:15
Daniel Langemann
Finde ich gut.
00:45:15
Daniel Langemann
Ich war der Erste, der dich kennt.
00:45:16
Daniel Langemann
Shotgun.
00:45:16
Daniel Langemann
Ich mochte dich schon, bevor du reich warst.
00:45:17
Daniel Langemann
Statistisch steigt die Wahrscheinlichkeit.
00:45:29
Kai Ole Hartwig
Falls ich denn reich werde von solchen verrückten Ideen.
00:45:31
Kai Ole Hartwig
Bisher hat er ja keine meiner verrückten Ideen zu Reichtum geführt.
00:45:39
Kai Ole Hartwig
Ja, vielleicht ist die Idee ausreichend verrückt.
00:45:41
Kai Ole Hartwig
Ach
Abschlussbemerkungen und Vorschau auf die nächste Folge
00:45:45
Daniel Langemann
Verrückt machen wir im nächsten Thema, äh, in der nächsten Woche nochmal.
00:45:48
Kai Ole Hartwig
so.
00:45:50
Daniel Langemann
Ne, wir sagen am Ende immer so, ja, das Thema machen wir in der nächsten Woche, dann weiter.
00:45:54
Daniel Langemann
Wir haben gerade kein Thema für die nächste Woche.
00:45:57
Daniel Langemann
Ne.
00:45:57
Daniel Langemann
Waren los.
00:45:57
Kai Ole Hartwig
Ja, haben wir da jetzt eins?
00:45:57
Daniel Langemann
Ja.
00:45:57
Daniel Langemann
Irgendwas.
00:45:57
Daniel Langemann
Verrückt und Security.
00:46:00
Kai Ole Hartwig
Okay, dann sehen wir uns nächste Woche mit einem Thema, was wir noch rausfinden, was auch mit verrückten Menschen zu tun hat.
00:46:10
Kai Ole Hartwig
Richtig?
00:46:11
Kai Ole Hartwig
Perfekt.
00:46:14
Kai Ole Hartwig
Verrückt und Security.
00:46:15
Kai Ole Hartwig
Ach so, okay.
00:46:17
Kai Ole Hartwig
Verrückt und Security.
00:46:19
Kai Ole Hartwig
Gut, dann sehen wir uns nächste Woche mit Verrückt und Security bei Secrets Not Included.
00:46:28
Kai Ole Hartwig
Macht's gut und bis dahin.
00:46:28
Kai Ole Hartwig
Ciao, ciao.
00:46:29
Daniel Langemann
Bis dann.