Become a Creator today!Start creating today - Share your story with the world!
Start for free
00:00:00
00:00:01
#010 KI Teil 1: Was KI alles sammelt und wie du den Spieß umdrehst
114 Plays15 hours ago
Hier sprechen wir über das Thema künstliche Intelligenz. Sie erhält immer mehr Einzug in unser Leben, ob wir es wollen oder nicht. Doch nicht nur die Gefahren rund um deine Privatsphäre sind wichtig zu verstehen, sondern auch, welche positiven Aspekte du für dich nutzen kannst. KI ist nicht gleich KI, weshalb wir zwischen 5 verschiedenen Privacy-Stufen unterscheiden.
Am Ende weißt du, wann du welche KI-Umgebung nutzen kannst und welche konkreten Anbieter dir helfen, deine Privatsphäre zu schützen. Viel Spaß!
Werde Club Member und stelle deine Fragen in Live-Konferenzen: https://privatopia.de/member
Tritt unserer kostenlosen Signal-Gruppe bei: https://privatopia.de/signal
Abonniere den Newsletter und erhalte Zusammenfassungen der Epiisoden: https://privatopia.de/newsletter
Stufe 1: Jan.ai Dienst für private lokale KI Nutzung: https://www.jan.ai
Stufe 2: Proxy-Server mit TEE und E2EE: https://nano-gpt.com und https://venice.ai
Gutes (Englisches) Video zum Thema KI privat nutzen: https://www.youtube.com/watch?v=_Wn31SGjiPs
Recommended
Transcript
Einführung in den Privacy Podcast
00:00:10
Speaker
Hallo und willkommen zu der Privacy Podcast, deine Quelle für Sicherheit, Privatsphäre und Anonymität mit Timo und Nino.
00:00:18
Speaker
Super!
Schwerpunkt der Episode: Künstliche Intelligenz
00:00:19
Speaker
Timo, heute ist die Folge, auf die alle gewartet haben, nämlich die Folge, in der Nino größtenteils den Mund hält und dich reden lässt.
00:00:26
Speaker
Und es geht außerdem um KI.
00:00:28
Speaker
Was haben wir uns hier vorgenommen?
00:00:30
Speaker
Genau, also heute möchten wir einfach mal alle Themenpunkte besprechen, die irgendwas mit KI zu tun haben.
00:00:35
Speaker
Also was für Arten von der KI gibt es?
00:00:38
Speaker
Welche Vertreter gibt es?
00:00:39
Speaker
Was sind da die größten Modelle oder die besten Modelle?
00:00:43
Speaker
Dann, wo es überhaupt zurzeit KI gibt, also zum Beispiel KI wird jetzt integriert in Windows, KI wird integriert in Google Smartphones, das heißt, es wird auch immer mehr und mehr integriert.
Möglichkeiten der privaten Nutzung von KI
00:00:53
Speaker
Da wollen wir auch kurz einmal eingehen, was da die Vor- und Nachteile sind.
00:00:56
Speaker
Und dann gehen wir zum spannendsten Teil meiner Meinung nach dieser Folge, das ist KI privat benutzen.
00:01:02
Speaker
Und da gibt es wirklich viele verschiedene Möglichkeiten, wie man das machen kann, alle auch mit ihren Vor- und Nachteilen.
00:01:07
Speaker
Und die möchte ich einmal alle auch dann erklären, was es da gibt und auf was man da achten soll.
00:01:13
Speaker
Danach noch ein paar kleine Tipps, auch wie man zum Beispiel Anfragen anonymisieren kann und wie man halt eben die vorhin dann beschriebenen Möglichkeiten, KI privat zu benutzen, wie man die gut auch zusammen benutzen kann.
00:01:24
Speaker
Weil man muss sich jetzt nicht nur für eine Möglichkeit entscheiden, sondern man kann auch die verschiedenen zusammenpacken.
Arten von KI und ihre Funktionen
00:01:30
Speaker
Aber um anzufangen, erstmal, was gibt es denn für Arten von der KI, Nino?
00:01:35
Speaker
Gleich wieder an den zurück, der es hauptsächlich theoretisch kennt.
00:01:38
Speaker
Ich mache es ganz kurz, also einfach um es einzuordnen und da werden wir uns auch dran langhangeln, ist einmal die prädiktive, dann die generative und dann die agentische KI.
00:01:47
Speaker
Prädiktiv ist das, was wir seit fünf Jahren etwa kennen, der Chatbot, wir geben etwas ein und was dann die KI in Anführungszeichen, ich finde den Namen eigentlich doof, das ist ja keine wirkliche Intelligenz, sondern einfach eine Rate-Maschine, wenn man so möchte,
00:02:00
Speaker
Die errät dann auf Basis von ganz, ganz, ganz arg vielen Daten und stochastischen Modellen, was denn das logische nächste Wort wäre, wie sie dir antwortet.
00:02:08
Speaker
Und dadurch kommt da oft eine sehr plausible Antwort raus und immer mehr und mehr stimmen die dann auch.
00:02:13
Speaker
Früher war das noch eine Herausforderung, dass wenn ihr was eingegeben habt,
00:02:17
Speaker
dass die KI dann halluziniert hat und sich irgendwas ausgedacht hat, aber das sehr überzeugend versucht hat, euch zu erklären, dass das doch richtig sei.
00:02:24
Speaker
Mittlerweile wird die da immer besser, wie in allen Bereichen.
00:02:28
Speaker
Und es ist für viele beängstigend, für viele aber auch eine Riesenchance.
00:02:32
Speaker
Die generative KI ist dann die Fortsetzung davon, dass etwas erschaffen wird aus dem Nichts, wenn man so möchte, wobei da ja auch ganz viele Daten hinterlegt werden, aber da werden meistens mit die Bildgeneratoren verbunden, die wir ja auch nutzen hier für unsere Podcast-Episoden.
00:02:44
Speaker
Gebe ich einfach immer prompt ein in einen ChatGPD-Proxy und der gibt mir dann ein Bild raus und da muss ich dann noch ein bisschen an den Namen doktoren, aber die Basis kommt von KI.
00:02:55
Speaker
Und zu guter Letzt die agentische KI, das sind dann komplexe Aufgabengebiete, kann man sich vorstellen wie einen Butler oder einen Assistent.
00:03:02
Speaker
Wenn ich dann sage, ich möchte dieses Ziel erreichen, dann lasse ich diesen Butler arbeiten und lasse ihm da auch Zugriff auf alle möglichen Verantwortungsbereiche, gebe ihm die Tools, die er braucht, damit er dieses Ziel erreicht und ich möchte eigentlich nur das Ergebnis wissen und lasse den erstmal arbeiten.
00:03:17
Speaker
Ja, das sind so die drei Arten.
00:03:18
Speaker
Lass uns doch mal anfangen, ganz am Anfang, Timo.
Anwendung von KI in verschiedenen Bereichen
00:03:21
Speaker
Wie nutzt du KI mittlerweile und was wollen wir heute lernen?
00:03:26
Speaker
Genau, also ich benutze wirklich KI in sehr vielen Bereichen.
00:03:28
Speaker
Also zum Beispiel ich programmiere auch mit KI.
00:03:30
Speaker
Ich benutze KI-Agenten und also wirklich für viele verschiedene Bereiche verwende ich das.
00:03:34
Speaker
Deswegen kann ich da auch wirklich viel dazu sagen und auch viele verschiedene Möglichkeiten, wie man es dann auch privat benutzen kann.
00:03:40
Speaker
Deswegen, da gehen wir gleich ein.
00:03:41
Speaker
Aber erstmal, was sind denn die wichtigsten Vertreter?
KI-Modelle von OpenAI, Google und China
00:03:45
Speaker
Also ganz am Anfang gab es ja OpenAI mit ChatGPT.
00:03:49
Speaker
Und auch vor allem Cloud mit eben Cloud Opus Modellen.
00:03:55
Speaker
Und die zwei waren am Anfang ziemlich gut mit dabei.
00:03:58
Speaker
Und jetzt gibt es halt auch deutlich mehr Anbieter.
00:04:01
Speaker
Also Google ist zum Beispiel auch jetzt sehr gut mit dabei.
00:04:03
Speaker
Und auch, was interessant ist, vor allem die Open Source Modelle aus China.
00:04:08
Speaker
Das heißt, China hat jetzt auch angefangen, Modelle rauszubringen.
00:04:12
Speaker
Und der Unterschied ist, Amerika, die meisten Modelle dort sind proprietär.
00:04:16
Speaker
Das heißt, die sind komplett geschlossen.
00:04:18
Speaker
Das hatten wir auch schon in der Folge zu Open Source.
00:04:20
Speaker
Man weiß nicht, was im Hintergrund läuft.
00:04:22
Speaker
Man weiß nicht, welche Daten verwendet worden sind, um die zu trainieren.
00:04:26
Speaker
Man weiß nicht, wie sie technisch aufgebaut sind, also wie viele Parameter die zum Beispiel haben.
00:04:31
Speaker
Also alles ist komplett geschlossen.
00:04:33
Speaker
Aber dafür sind diese Modelle zurzeit noch die allerbesten.
00:04:37
Speaker
Also Open Source kommt jetzt auch langsam hinterher den proprietären Modellen.
00:04:42
Speaker
Jetzt auch kürzlich, aber da gehen wir später nochmal drauf ein.
00:04:45
Speaker
Aber allgemein kann man sagen, Proprietär ist zurzeit deutlich besser.
00:04:49
Speaker
Und China hat dann angefangen, auch an KI zu recherchieren und Modelle rauszubringen.
00:04:54
Speaker
Und das Problem bei China ist, dass die ein Vertrauensproblem haben, vor allem von der westlichen Welt.
00:05:00
Speaker
Und deswegen können die nicht wirklich proprietäre Modelle rausbringen, weil man von außen gerne überprüfen würde, was die Modelle machen und wie die auch aufgebaut sind.
00:05:09
Speaker
Und deswegen hat sich China hauptsächlich entschieden, Open Source-Modelle rauszubringen.
00:05:13
Speaker
Und ich glaube, es gibt kein proprietärs Modell aus eben diesem Raum, das irgendwie ansatzweise mit den anderen konkurrieren kann.
00:05:20
Speaker
Das heißt, das ist ziemlich interessant zu sehen, dass China halt eben nur auf Open Source setzt.
00:05:25
Speaker
Und da war einer der größten Durchbrüche das DeepSig-Modell.
00:05:30
Speaker
Das war ein Modell, das wirklich die Technologie auch revolutioniert hat.
00:05:34
Speaker
Das geht eher in die Technik jetzt, wieso, aber auf jeden Fall hat DeepSig dann verschiedene Aufgabenbereiche getrennt in der KI, ganz einfach gesagt, und konnte dadurch deutlich bessere Modelle herstellen und auch deutlich günstigere Modelle herstellen.
00:05:48
Speaker
Und über die Zeit sind halt deutlich mehr Unternehmen auch aufgesprungen in das Research von Open-Source-Modellen in China.
00:05:56
Speaker
Und jetzt letztens, das war glaube ich vor ein paar Tagen, gab es das Modell GLM 5.2 von Z.AI.
00:06:04
Speaker
Und dieses Modell war jetzt auch wirklich fast genauso gut wie die besten Modelle aus dem amerikanischen
Vorteile von Open-Source-Modellen für die Privatsphäre
00:06:11
Speaker
Raum.
00:06:11
Speaker
Also die konnten konkurrieren mit GPT 5.5, mit Cloud Opus 4.8.
00:06:17
Speaker
Das heißt, was wir sehen, ist, dass diese Open-Source-Modelle halt wirklich deutlich besser werden.
00:06:22
Speaker
Und das ist auch gut für uns, für die Privatsphäre, weil mit Open-Source-Modellen kann man, wenn man es richtig macht, eine ziemlich gute Privatsphäre auch erzählen, obwohl die auch dann genauso gut sind.
00:06:33
Speaker
Aber jetzt erstmal noch, wo wird überhaupt KI überhaupt verwendet?
Integration von KI in Alltagstechnologien und Datenschutzbedenken
00:06:37
Speaker
Also vorhin hat Nino ja schon erwähnt, man kann KI agentisch verwenden, dass die KI verschiedene Aufgaben auslöst.
00:06:43
Speaker
Und das wird auch von vielen Unternehmen jetzt in ihre Serviceleistungen eingeführt.
00:06:47
Speaker
Also zum Beispiel KI in dem Browser, KI auf dem Smartphone oder halt ganz separate KI-Agenten.
00:06:54
Speaker
Nino, was gibt es denn da alles?
00:06:58
Speaker
Um Himmels Willen.
00:06:59
Speaker
Also ich werde nicht alles nennen können, was es da gibt.
00:07:01
Speaker
Ich kann aber sagen, was ich bisher gemacht habe und auch wo ich theoretisch was recherchiert habe.
00:07:07
Speaker
Grundsätzlich, du hast es ja schon genannt, es gibt OpenAI mit ChatGPT, es gibt Google mit Gemini und Anthropic ist hinter Klort.
00:07:15
Speaker
Und dann gibt es noch Meta, also Facebook, die Firma, die macht ihre KI X, die Elon Musk Firma, die hat auch eine eigene KI X.
00:07:23
Speaker
In Europa gibt es eigentlich nur noch Mistral und das hängt hinterher.
00:07:26
Speaker
Das ist ein bisschen schade.
00:07:27
Speaker
Und dann Diebsiege aus China oder auch viele andere kleinere Namen, die dann aus China kommen oder aus Amerika.
00:07:33
Speaker
Das sind so die Haupt-KI-Zentren auf der Welt, wo wir etwas bekommen können.
00:07:37
Speaker
Europa ist da einfach leider schon wieder, wie so oft bei Technologie, abgehängt in letzter Zeit.
00:07:42
Speaker
Was kann man damit jetzt machen?
00:07:43
Speaker
Also die meisten, die mit KI zu tun haben, nutzen das entweder ohne es zu wissen oder weil es ihnen reingedrückt wird.
00:07:50
Speaker
Zum Beispiel nutzen wir KI, wenn wir unser Betriebssystem starten und das ist dann Windows oder wir haben bei macOS schon Siri aktiviert, dann ist da auf einmal KI im Hintergrund am werkeln und macht uns jederlei Vorschläge, die wir vielleicht auch gar nicht haben wollen, weil wir wollen diese Datensammlung nicht haben.
00:08:05
Speaker
Und dann gibt es für uns beide, Timo, im Podcast bei Zencaster, was wir dafür nutzen, auch die Funktion, die automatisch an ist, mit Clips erstellen, die dann per KI ausgesucht wird aus unseren Episoden.
00:08:16
Speaker
Funktioniert mehr schlecht als recht, deshalb nutzen wir das kaum, aber das ist halt auch da.
00:08:20
Speaker
Und selbst Proton mittlerweile, die Firma, die wir ja oft empfohlen haben, als so zweite Wahl oder wenn man alles unter einem Dach haben will für VPN oder E-Mail oder Online-Speicher, auch die haben mittlerweile eine eigene KI und sie nutzen KI in ihren Apps, um deine Benutzererfahrung zu verbessern, achten natürlich aber auch aufgrund ihres Rufs darauf, dass das alles möglichst privat bleibt.
00:08:41
Speaker
Also KI ist überall und lässt sich kaum vermeiden, wenn man nicht aktiv dagegen vorgeht.
00:08:47
Speaker
Ich weiß jetzt nicht, ob du das als Antwort haben wolltest, Timo, aber das wäre so meine Einleitung darüber.
00:08:52
Speaker
Du hattest aber auch schon angemerkt, wir könnten ja mal über die ganzen Themen reden, wie man KI benutzen kann, wenn wir sie privat nutzen wollen.
00:09:02
Speaker
Und vielleicht würde ich sagen vorher, warum ist denn KI gefährlich oder wo liegen die Privatsphäre und Sicherheitsgefahren bei KI, die wir vielleicht noch nicht so
00:09:11
Speaker
klar haben.
00:09:12
Speaker
Ja, das Problem ist hauptsächlich, wenn eben verschiedene Unternehmen KI einfach in ihr Produkt einarbeiten und nicht die Möglichkeit geben, das irgendwie auszuschalten.
00:09:21
Speaker
Also zum Beispiel bei Microsoft mit Copilot oder zum Beispiel in Gmail bei Google, da sucht die KI durch die ganzen Postfächer und versucht einem so das Leben zu erleichtern.
00:09:33
Speaker
Aber natürlich kommen dann wirklich große und auch private Datenmengen,
00:09:37
Speaker
zu dem KI-Unternehmen.
00:09:38
Speaker
Und das ist natürlich nicht optimal, wenn einem Privatsphäre wichtig ist.
00:09:43
Speaker
Ich glaube, das ist den Zuhörern dieses Podcast.
00:09:46
Speaker
Diese KI kann dann diese Daten benutzen, um die auszuwerten und noch genauere Profile über uns zu erstellen.
00:09:53
Speaker
Und diese Profile können dann wieder geleakt werden, gehackt werden und so weiter.
00:09:56
Speaker
Das heißt, das Hauptproblem ist, dass viele KI sehr viel benutzen, egal ob es aktiv ist oder passiv, ohne das überhaupt zu wissen.
00:10:04
Speaker
Und es dadurch halt wirklich große Datenmengen an diese Unternehmen kommen.
00:10:08
Speaker
Und das ist ein Hauptproblem, vor allem wenn man jetzt zum Beispiel Chat-GPT verwendet, um über die Finanzen zu reden, über irgendwelche psychologischen Probleme oder irgendwelche anderen privaten Informationen.
00:10:20
Speaker
Wenn das halt benutzt wird und zum Namen kommt,
00:10:23
Speaker
verbunden wird, also die Identität mit eben diesen Anfragen verbunden wird, ist es nicht unbedingt optimal, weil das kann dann alles im Internet draußen landen.
00:10:30
Speaker
Und deswegen gibt es viele verschiedene Möglichkeiten, KI privat zu benutzen.
00:10:35
Speaker
Und dann hat man diese Vorteile von der KI, dass sie die Arbeit einem deutlich einfacher machen kann, verschiedene Sachen generieren kann, auch einem helfen kann in verschiedenen Lebensbereichen.
00:10:44
Speaker
Die kann man dann mitnehmen, ohne dass man die Nachteile hat von einer schlechten Privatsphäre.
Fünf Schritte zur privaten Nutzung von KI
00:10:50
Speaker
Ich würde kurz noch was dazu ergänzen wollen, weil bevor du jetzt in die tollen Möglichkeiten kommst und wie man KI privat nutzt, vielleicht auch noch zu Gefahren, sind mir zwei Sachen eingefallen.
00:10:59
Speaker
Nämlich einmal, dass diese riesen Datenbank, die KI ja auch braucht, um sich zu trainieren, um besser zu werden, die wird weitergefüttert mit unseren Eingaben.
00:11:08
Speaker
Die Daten, die Fragen, alles, was ich reinspeise, wird alleine zum Training von dem Modell nochmal weiterverwendet.
00:11:14
Speaker
Und das hat nicht nur die Folge, dass diese Daten dann auch schön sortiert, mir zugeordnet und auch weiterverkauft werden können, was alles in den AGBs, in den Datenschutzerklärungen auch drinsteht, das wird alles gesammelt und mit Drittparteien geteilt, sondern auch eine private Person, die mir schaden möchte, könnte das rückwirkend rausfinden, wenn sie sich damit ganz gut auskennt und mit den richtigen Prompts rauskennen.
00:11:35
Speaker
reingeht, weil jetzt sind meine Daten, meine Anfragen irgendwo in diesen neuen Trainingsmodellen, also aus der Vergangenheit meine ganzen Anfragen und Daten über mich und die kann man auch wieder rückwirkend raus extrahieren mit den richtigen Befehlen und das können wir mit unserem Gehirn vielleicht gar nicht so begreifen, weil KI da sehr komplex und anders funktioniert, als wir vielleicht denken mit unseren logischen, aufeinanderbauenden Gedankengängen.
00:11:56
Speaker
Und die zweite Gefahr ist, da geht es vor allem um Smartphone.
00:11:59
Speaker
Ein modernes Smartphone, ob das jetzt von Apple kommt, Google oder irgendwem anders, hat die Fähigkeiten und auch die Apps tief integriert im System standardmäßig, um KI zu nutzen, weil das ja heiße Schrei ist und weil man damit coole Sachen machen kann oder denken kann, ich bin jetzt hier viel effizienter, wenn ich sagen kann, lieber Assistent, mach mir doch mal einen Termin auf Basis von dem, was wir besprochen haben in der letzten E-Mail zu dem Konzert und kauf mir gleich noch die Tickets dazu.
00:12:24
Speaker
Solche Sachen sollen ja möglich sein oder in Zukunft möglich sein.
00:12:28
Speaker
Und wenn man sich dann überlegt, worauf diese KI-Wahl zugreifen muss, dann habe ich da ein bisschen Bauchschmerzen.
00:12:34
Speaker
Zumal, das hatten wir in der letzten Folge besprochen, die dann ja auch alles Mögliche auslesen kann, was ich vielleicht gar nicht möchte, dass sie es ausliest.
00:12:40
Speaker
Meine privaten Nachrichten, meinen Kontostand vielleicht auch, meine intimen Details.
00:12:46
Speaker
Und da muss ich sagen, gehe ich aktiv sogar gegen vor.
00:12:50
Speaker
So, jetzt habe ich aber wieder genug geredet, Timo.
00:12:51
Speaker
Du wolltest jetzt mal Lösungen anbieten oder wie kann ich denn KI privat nutzen?
00:12:56
Speaker
Worauf sollte ich da achten?
00:12:58
Speaker
Ja, ich würde es einmal an fünf verschiedenen Schritten aufzeigen.
00:13:01
Speaker
Der erste Schritt, das ist das allerprivateste, aber ist auch das anstrengendste oder da hat man die schlechtesten Modelle.
00:13:07
Speaker
Und dann der fünfte Schritt ist das, was am schlechtesten für die Privatsphäre ist, aber die besten Modelle.
00:13:11
Speaker
Das heißt, das tue ich jetzt einmal aufzeigen und dann kann man halt die verschiedenen Schritte auch miteinander kombinieren, um das beste Gesamtpaket zu bekommen.
00:13:19
Speaker
Also der allererste Schritt, das wirklich allerprivateste, ist die KI lokal laufen zu lassen.
00:13:25
Speaker
Das heißt, was man da macht, man nimmt wie vorhin gesagt ein Open-Source-Modell, also ein Modell, das komplett frei zur Verfügung steht, lädt es selber sich herunter auf seine eigenen Hardware
00:13:36
Speaker
und lässt das dann komplett lokal laufen.
00:13:38
Speaker
Das heißt, es gibt nie eine Verbindung zu einem Internet.
00:13:40
Speaker
Man kann das auf einem kompletten Offline-Computer machen.
00:13:43
Speaker
Und die Anfragen, die kommen eben nie ins Internet, werden nicht verwendet, um diese KI zu trainieren.
00:13:48
Speaker
Das heißt, da hat man die hundertprozentige Privatsphäre bei der KI.
00:13:53
Speaker
Das Problem hier ist aber, dass die Hardware von den meisten oder eigentlich von allen sehr, sehr schlecht ist im Vergleich zu dem, was jetzt zum Beispiel OpenAI mit JetGPT zur Verfügung stellt.
00:14:05
Speaker
Das heißt, wenn man jetzt nur einen einfachen Laptop hat, einen einfachen Computer oder sogar nur auf dem Handy das versucht zu machen, kann man wirklich nur Modelle laufen, die sehr klein sind und deswegen auch sehr, sehr schlecht, weil man kann ganz einfach sagen, desto größer das Modell, desto mehr Parameter hat, desto mehr Gigabyte es hat
00:14:21
Speaker
desto mehr Wissen hat das Modell und kann auch besser einem antworten.
00:14:26
Speaker
Wenn man jetzt aber was ganz Kleines hat, was auch auf einem Laptop laufen lassen kann, ist es halt so, dass die Antworten dann fast nie übereinstimmen oder wirklich das Erlebnis ist sehr, sehr schlecht damit.
00:14:39
Speaker
Aber man hat diese sehr hohe Privatsphäre.
00:14:42
Speaker
Und was ich da für ein Tool empfehlen kann, das nennt sich jan.ai.
00:14:46
Speaker
Also jan.ai.
00:14:49
Speaker
Aber das verlinken wir alles auch nochmal in den Shownotes.
00:14:51
Speaker
Das heißt, das müsst ihr jetzt nicht mitschreiben, sondern könnt euch später nochmal im Detail anschauen.
00:14:55
Speaker
Das ist einfach eine Software, die ihr euch runterladet.
00:14:58
Speaker
Und diese Software überprüft einmal, was für ein System ihr habt, also was für eine Hardware ihr habt, wie viel RAM ihr habt, was für einen Prozessor ihr habt und so weiter.
00:15:06
Speaker
Und schlägt euch dann verschiedene Modelle vor, die auf eurer Hardware ihr laufen lassen könnt.
00:15:11
Speaker
Das heißt, dann könnt ihr das Modell herunterladen, könnt einmal damit das bisschen ausprobieren und eben schauen, ob euch dieses Modell gefällt.
00:15:19
Speaker
Aber ich kann euch von Anfang an sagen,
00:15:21
Speaker
Dieses Modell ist wirklich deutlich schlechter als das, was ihr gewohnt seid von den ganz großen Unternehmen wie Emporatopik oder OpenAI.
00:15:29
Speaker
Also das wäre die allererste Variante, wirklich komplett lokal.
00:15:32
Speaker
Dann sind die Chats nur auf dem Computer gespeichert und kommen nie ins Internet.
00:15:38
Speaker
Was Timo jetzt rausgelassen hat, was ich aber wichtig finde zu erwähnen, ist, Jan.ai ist Open Source, ist sehr Privatsphäre orientiert und gibt euch eben diese Möglichkeit, das sehr simpel zu machen.
00:15:49
Speaker
Klar, viele nutzen auch noch andere Lösungen oder bauen sich da ihre eigenen Lösungen mit Docker und Open Web UI und einem Lama-Modell, was sie sich runterladen oder so.
00:15:58
Speaker
Kann man alles machen, aber für den Beginner, der sagt, ich möchte FKI mal lokal laufen lassen, ist das tatsächlich
00:16:03
Speaker
Echt ein tolles Konzept, eine tolle Sammlung an Tools auch, die es dir sehr leicht macht, das richtige Modell zu finden und dann bei dir auf dem Rechner laufen zu lassen.
00:16:11
Speaker
Genau, vielleicht für fortgeschrittenen Nutzer, die können OLAMA verwenden.
00:16:15
Speaker
Das passiert dann nur übers Terminal, aber dann sind die Modelle auch ein wenig schneller dadurch.
00:16:20
Speaker
Man hat aber keine schöne Benutzeroberfläche, aber man kann das dann halt auch mit externen Diensten verbinden.
00:16:25
Speaker
Also das ist ja die zweite Möglichkeit, aber grundsätzlich, wenn ihr es anfängt und einmal eine lokale KI ausprobieren wollt, ist jan.ai die Empfehlung.
00:16:35
Speaker
Was man auch machen kann, ist sich zum Beispiel, das kommt auch in die erste Kategorie, ist aber wirklich sehr fortgeschritten, ist, dass man sich eine eigene Grafikkarte im Internet mietet oder sogar mehrere Grafikkarten.
00:16:46
Speaker
Und dadurch hat man halt dann eine Hardware, die gut genug ist, auch sehr gute Open-Source-Modelle laufen zu lassen.
00:16:53
Speaker
Aber das ist wirklich mit enorm viel Aufwand verbunden.
00:16:55
Speaker
Man muss alles drauf spielen, Betriebssystem, Modelle, man muss darauf achten, dass alles läuft.
00:17:00
Speaker
Aber das ist eigentlich genauso gut, wie das komplett lokal bei sich zu Hause laufen zu lassen.
00:17:05
Speaker
Aber man hat halt die Möglichkeit, deutlich bessere Modelle zu haben.
00:17:09
Speaker
Das fällt noch in die erste Kategorie, aber ich persönlich habe das noch nicht verwendet.
00:17:13
Speaker
Und von den Personen in meinem Umkreis, die das schon ausprobiert haben, das ist wirklich mit ziemlich viel Aufwand verbunden und auch mit sehr vielen Kopfschmerzen.
00:17:20
Speaker
Aber wollte ich auch einfach mal erwähnt haben.
00:17:24
Speaker
Dann geht es zur zweiten Möglichkeit, wie man KI ziemlich privat benutzen kann.
00:17:30
Speaker
Das ist auch noch mit ein wenig Vertrauen verbunden, aber wirklich das Maximale ist da eigentlich rausgestrichen.
00:17:35
Speaker
Das heißt, man muss sehr, sehr wenig dem Anbieter vertrauen.
00:17:38
Speaker
Und das ist bei wenigen Anbietern der Fall, zum Beispiel bei NanoGPT und bei Venice.ai.
00:17:44
Speaker
Und das sind Modelle, die sozusagen Ende zu Ende verschlüsselt sind, die Anfragen.
00:17:49
Speaker
Und die Modelle, die laufen in einem Trusted Execution Environment.
00:17:53
Speaker
Das heißt einfach in einer geschlossenen Hardware, vertraulichen Hardware.
00:17:58
Speaker
Denn das Problem bei KI ist, im Vergleich zu Messengern oder eigentlich allen anderen Diensten, bei denen End-zu-Ende-Verschlüsselung Standard ist, wenn man jetzt den Prompt, also das, was ich von der KI möchte, auf meinem Gerät verschlüsselt und dann verschlüsselt wegschickt,
00:18:14
Speaker
kann die KI damit nichts machen, weil die KI läuft ja auf Grafikkarten auf verschiedenen Server-Modellen und wenn das verschlüsselt ist, kommt dann natürlich nichts raus.
00:18:23
Speaker
Das heißt, damit die KI über einen anderen Dienstleister laufen lassen muss, muss dieser Dienstleister oder muss die Grafikkarte den Prompt, also die Anfrage, in Klartext sehen.
00:18:33
Speaker
Und das ist halt das Problem, wieso man KI ziemlich schwer privat benutzen kann.
00:18:38
Speaker
Aber man kann eine Ende-zu-Ende-Verschlüsselung verwenden mit einem TEE, also Trusted Execution Environment.
00:18:45
Speaker
Das heißt, was da passiert, man sendet die Anfrage, die wird auf dem Computer verschlüsselt, wird dann auf einem Server, auf diesem Trusted Execution Environment, wieder entschlüsselt.
00:18:56
Speaker
Und das ist sozusagen eine komplett geschlossene Hardware.
00:18:59
Speaker
Das heißt, niemand kann von außen reinschauen.
00:19:03
Speaker
Und deswegen ist es auch einigermaßen privat.
00:19:05
Speaker
Also natürlich, dieser Server hat dann eben diesen Klartext, aber es ist deutlich privat, dieser geschützte Hardware-Bereich.
00:19:13
Speaker
Dann verarbeitet die KI diesen Prompt, diese Anfrage in dem geschützten Bereich, verschlüsselt den wieder und sendet es wieder zurück an euch und auf eurem Computer wird dann diese Antwort wieder entschlüsselt.
00:19:26
Speaker
Das heißt, man hat hier eine ziemlich gute Privatsphäre, weil dieses Trusted Execution Environment die
00:19:33
Speaker
geschützter Hardware-Bereich auf Deutsch, ist halt so aufgebaut, dass man dem eigentlich nicht vertrauen muss.
00:19:38
Speaker
Das heißt, es gibt auch einen kryptographischen Schlüssel von diesem Environment, von der Hardware.
00:19:44
Speaker
Und so kann man halt KI schon ziemlich privat benutzen.
00:19:48
Speaker
Das passiert dann auch über Open-Source-Modelle.
00:19:50
Speaker
meistens sie dann aus China zurzeit.
00:19:53
Speaker
Das heißt, man hat sehr, sehr gute Modelle und kann sich ziemlich sicher sein, dass da nichts rausgeht, nichts zum Training verwendet wird, weil das wird dann auch lokal auf GMPIs von den Unternehmen gelaufen.
00:20:03
Speaker
Aber man muss halt darauf achten, dass das auch dazu steht, weil nicht jedes Open-Source-Modell läuft über diese Ende-zu-Ende-Verschlüsselung in diesem Trusted Execution Environment, sondern meistens läuft es dann trotzdem über den originellen Anbieter, weil das ist natürlich dann auch teurer für das Unternehmen.
00:20:19
Speaker
Das heißt hier, ich erwähne es nochmal, die zwei verschiedenen Optionen wären Nano GPT und Venice.ai.
00:20:26
Speaker
Und dort muss man wirklich darauf achten, dass dort E2EE steht und TEE.
00:20:32
Speaker
Also wir packen das auch nochmal in die Show Notes, weil da gibt es natürlich auch ziemlich viele andere Modelle, wie beim Proxy, aber da gehen wir gleich darauf ein.
00:20:41
Speaker
Hast du noch kurz irgendwas dazu?
00:20:44
Speaker
Ich lerne gerade fleißig.
00:20:45
Speaker
Also ich wusste zum Beispiel nicht, dass Venice AI anders als vielleicht ein paar andere, die ich in einen Topf geworfen habe.
00:20:50
Speaker
Duck AI habe ich da im Kopf, PPQ AI, solche Sachen oder Brave Leo.
00:20:55
Speaker
Da sollten wir vielleicht auch gleich nochmal drauf eingehen.
00:20:57
Speaker
Also das scheint ja sehr viel fortgeschrittener zu sein und TEE wusste ich auch noch nicht.
00:21:02
Speaker
Also danke dir, Timo.
00:21:03
Speaker
Ich lasse dich einfach mal weiterreden, aber vielleicht bevor wir dann weitergehen zu dem nächsten Schritt, falls der nicht dabei ist, würde ich vorschlagen, sagt doch ruhig nochmal was zu den anderen Proxy-Diensten.
00:21:13
Speaker
Genau, also Proxydienste oder Drittanbieterdienste, das wäre dann die dritte Kategorie.
00:21:18
Speaker
Also die erste Kategorie war, das komplett lokal zu laufen, laufen zu lassen.
00:21:21
Speaker
Die zweite Kategorie war das mit dieser Ende-zu-Ende-Verschlüsselung in dem geschätzten Hardware-Bereich.
00:21:26
Speaker
Und die dritte Kategorie ist es, über einen Drittanbieter laufen zu lassen, also sozusagen einen Proxy.
00:21:32
Speaker
Und da gibt es wirklich sehr, sehr viele Unternehmen, die das machen.
00:21:35
Speaker
Du hast ja schon ein paar genannt, also PayPayCube.ai, die sind im Bitcoin-Bereich ziemlich beliebt.
00:21:40
Speaker
Nano GPT, was ich vorhin gesagt habe, die haben halt auch diese Proxy-Modelle.
00:21:45
Speaker
DuckAI, Brave Leo oder Venice.ai, die haben auch eben diese Modelle.
00:21:49
Speaker
Dieser Drittanbieter dieses Unternehmen,
00:21:52
Speaker
sammelt halt sehr, sehr viele Anfragen von sehr, sehr vielen Kunden.
00:21:55
Speaker
Und man kann sich mit einer E-Mail anmelden, aber viele bieten auch nochmal deutlich anonymere Möglichkeiten, sich anzumelden.
00:22:00
Speaker
Dort kann man auch komplett ohne persönliche Informationen dazulassen bezahlen, also zum Beispiel mit Bitcoin oder mit Bitcoin Lightning oder man muss halt gar nicht bezahlen.
00:22:09
Speaker
Das heißt, hier ist halt der Vorteil, dass diese Accounts, die man erstellt, nicht zur persönlichen Identität verbunden wird, aber man kann trotzdem alle Modelle benutzen.
00:22:18
Speaker
Und das ist meistens auch der zweite Schritt, weil die gehören einigermaßen zusammen.
00:22:22
Speaker
Also das mit dem End-to-End Encrypted TEE und über diesen Proxy, das sind immer Pay-as-you-go-Modelle oder meistens sind es Pay-as-you-go-Modelle.
00:22:30
Speaker
Das heißt, man zahlt wirklich nur für das, was man auch wirklich benutzt.
00:22:34
Speaker
Jeder Prompt, je nachdem wie groß der ist, verlangt irgendwie 2 Cent zu benutzen und desto mehr man mit der KI schreibt, desto mehr zahlt man dafür.
00:22:42
Speaker
Und meistens ist es bei diesen Diensten, dass man zum Beispiel dann 20 Euro einmal drauflädt und die werden dann verwendet, um diese Modelle laufen zu lassen.
00:22:49
Speaker
Und das ist genau halt eben bei den End-to-End Encrypted TEE Modellen so und auch bei den Proxy.
00:22:55
Speaker
Bei den Proxy ist es so, dass man den Vorteil hat, dass man nicht nur auf Open Source Modelle zugreifen kann,
00:23:00
Speaker
sondern auch auf die proprietären Modelle, wie zum Beispiel GPT 5.5 zurzeit und Cloud Opus 4.8.
00:23:06
Speaker
Das sind sozusagen die allerbesten Modelle.
00:23:09
Speaker
Und da kann man darauf zugreifen, ohne dass man eine Kreditkarte angeben muss, ohne dass man seine persönlichen Informationen angeben muss und kann das ein wenig
00:23:17
Speaker
privater benutzen.
00:23:19
Speaker
Weil wenn es natürlich sehr, sehr viele Personen gibt, die über diesen Dienst laufen und dann OpenAI oder Unpropid von diesem Dienst tausende Anfragen bekommen, können die das weniger einer Person zuordnen.
00:23:31
Speaker
Aber man muss auch dazu sagen, dass das nur halb so gut funktioniert, weil die KIs, die sind langsam so gut geworden, dass sie auch je nachdem, wie man eben diese Anfragen schreibt, das schon einer Person zuordnen können.
00:23:43
Speaker
Das heißt, in der Browser-Folge hatten wir zum Beispiel das mit dem Fingerprinting.
00:23:48
Speaker
Das heißt, je nachdem, wie genau man seinen Browser aufgebaut hat, was für ein Gerät man verwendet, konnte man einen ziemlich genauen Fingerabdruck machen von dieser Person.
00:23:56
Speaker
Und das kann die KI auch schon über die verschiedenen Prompts, also Anfragen, die man da sendet.
00:24:01
Speaker
Das heißt, wenn man die oft benutzt, die KI, und auch vielleicht in dem gleichen Themenbereich, in dem man sagt, bitte generiere mir immer ein Podcast-Bild, dann kann die KI, auch wenn es über so ein Proxy läuft,
00:24:11
Speaker
kann die das einer Person zuordnen, dann ist man vielleicht doch nicht mehr so privat, wie man denkt man ist.
00:24:17
Speaker
Das heißt, wenn man über so einen Drittanbieter geht, kann man ein Proxy benutzen, das ist ein bisschen privater.
00:24:22
Speaker
Man hat den Vorteil dadurch, dass man deutlich privater bezahlen kann.
00:24:26
Speaker
Man muss keine persönlichen Daten angeben und hat trotzdem Zugriff auf die guten Modelle.
00:24:30
Speaker
Oder man macht es mit der vorhin erwähnten Variante mit der End-to-End-Equipition und mit dem Trusted Execution Environment.
00:24:38
Speaker
Das heißt, wenn ich jetzt so etwas nutze wie einen Proxy wie Brave Leo oder DuckAI oder PayPayQ, dann sollte ich vielleicht auch öfters meinen Account wechseln.
00:24:48
Speaker
Hör ich das da richtig raus, dass ich dann, also erstmal mit dem VPN drauf, möglichst wenig Daten teilen, vielleicht den MULWAT-Browser oder den Tor-Browser, so wie wir es ja in den letzten Folgen auch besprochen haben, dass da kaum Datenpunkte von mir geteilt werden und zugeordnet werden können.
00:25:01
Speaker
Und wenn ich dann noch immer mit neuen Accounts starte oder ganz ohne Account das verwende,
00:25:06
Speaker
Würde das dann helfen oder mache ich mir hier Illusionen und sollte vielleicht, wenn mir das super wichtig ist, da auch schon diese Ebene 3 gar nicht mehr beanspruchen?
00:25:16
Speaker
Nein, das bringt nicht so viel, weil eben diese Anfragen, die man macht, die Prompts, die werden direkt an den Anbieter weitergeleitet.
00:25:23
Speaker
Also dann zum Beispiel, wenn wir jetzt ApeAQ-AI nehmen, die leiten die Anfrage direkt an OpenAI weiter mit ChatGPT und die verarbeiten das.
00:25:31
Speaker
Und die Modelle sind so gut geworden, dass sie von der Art, wie man den Prompt schreibt, ziemlich genau das auch auf eine Person zuordnen können.
00:25:38
Speaker
Das heißt, wenn man im Hintergrund dann den Account wechselt bei den Drittanbietern, das heißt, wenn man einmal PayAQ verwendet,
00:25:44
Speaker
Einmal Nano GPT, dann einmal DuckAI, aber trotzdem der Prompt sehr, sehr ähnlich ist und die KI kann das halt ziemlich genau festlegen, bringt es nicht so viel.
00:25:53
Speaker
Diese RIT-Anbieter, diese Proxys, die machen sehr, sehr viel Werbung dafür, dass sie ziemlich privat sind.
00:25:59
Speaker
Also zum Beispiel bei Venice AI steht dann da anonymisierte Anfragen, aber wirklich viel bringen tut es eben nicht, weil die Anfragen trotzdem im Endeffekt bei diesem großen Unternehmen sind.
00:26:10
Speaker
Das heißt, da würde ich nicht wirklich private Informationen von mir reinpacken, sondern es halt eben benutzen für generelle Anfragen oder für Sachen, die eh schon öffentlich sind.
00:26:19
Speaker
Also zum Beispiel wie das jetzt mit diesen Postcast-Bildern, die wird eh jeder sehen und da ist es kein Problem, wenn auch die großen Unternehmen dann diese Anfragen
00:26:27
Speaker
Aber dafür, da gehen wir später nochmal drauf ein, was es für Vor- und Nachteile gibt und wann man welche KI am besten benutzen sollte.
00:26:35
Speaker
Also generell, ich bin kein großer Fan von Drittanbietern, von Proxydienstleistern, weil die wehren sehr damit, dass sie ziemlich privat sind.
00:26:43
Speaker
Sind sie auch bei der Zahlung und bei der Anmeldung.
00:26:45
Speaker
Aber trotzdem, wenn die Anfragen dann eben bei diesen großen Unternehmen landen, hat man einen großen Teil der Privatsphäre wieder verloren.
00:26:52
Speaker
Mann, oh Mann, ich habe dieses Marketing geglaubt.
00:26:54
Speaker
Da war ich wieder schwach und habe nicht alles hinterfragt.
00:27:00
Speaker
Ja, vielen Dank dir.
00:27:01
Speaker
Heißt, da darf ich meine Strategie nochmal überdenken.
00:27:03
Speaker
Aber klingt auch sehr logisch, dass jeder Mensch ein bisschen anders tippt.
00:27:08
Speaker
Jeder Mensch andere Art der Sprache verwendet, andere Worte benutzt und dadurch man sehr schnell einen Fingerabdruck bekommt.
00:27:15
Speaker
Und den kann man auch nicht so leicht abstellen, es sei denn nicht,
00:27:17
Speaker
Such mir halt jemanden, der stellvertretend für mich die Fragen stellt.
00:27:21
Speaker
Dann müsste ich aber auch nochmal ein Proxy-Proxy dazu haben.
00:27:24
Speaker
Na gut, danke dir.
00:27:25
Speaker
Dann lass uns doch das nächste Thema besprechen.
00:27:27
Speaker
Das ist die nächste Ebene, wo ich noch weniger privat bin.
00:27:30
Speaker
Genau.
00:27:31
Speaker
Der nächste Schritt, das ist die Nummer 4.
00:27:33
Speaker
Das geht über API-Anfragen, über eben diese großen proprietären Dienstleister wie Anthropic oder OpenAI.
00:27:41
Speaker
Das heißt, wie das da ganz genau funktioniert, man erstellt sich ein Konto dort, man lädt da Geld drauf und das ist auch Pay-as-you-go.
00:27:48
Speaker
Das heißt, man zahlt da wirklich nur für das, was man verwendet.
00:27:51
Speaker
Und diese API wird meistens von Unternehmen verwendet.
00:27:54
Speaker
Das heißt, wenn die Unternehmen zum Beispiel ein Chatbot einbauen wollen und der über...
00:27:59
Speaker
ChatGPT laufen soll, dann kann das Unternehmen halt eben über diese API, also einfach eine Schnittstelle, diese größeren Modelle verwenden.
00:28:09
Speaker
Der Vorteil ist, weil das eben über Unternehmen läuft, hat man da deutlich bessere Privatsphäre-Bedingungen
00:28:15
Speaker
als eben bei einem Plan, den man sich kauft bei chatgpt.com.
00:28:20
Speaker
Das heißt, weil eben diese API für Unternehmen gedacht ist und Unternehmen mehr auf ihre Privatsphäre achten als private Personen, vor allem wenn es um Kundendaten geht, ist diese API halt deutlich privater.
00:28:32
Speaker
Und diese API ist auch das, was diese Drittanbietertools, diese Propsy-Tools verwenden.
00:28:37
Speaker
Und man kann selber das genauso gut machen.
00:28:39
Speaker
Also man kann selber sich so einen API Key holen und dann so die Anfragen senden.
00:28:44
Speaker
Das ist deutlich privater, als wenn man das direkt über die offizielle Webseite macht.
00:28:48
Speaker
Also nicht über diese Schnittstelle, sondern über die offizielle Webseite.
00:28:51
Speaker
Aber das ist immer noch Pay-as-you-go, also sehr, sehr ähnlich wie der Schritt 3, weil der Schritt 3 ja eben darauf aufbaut.
00:28:57
Speaker
Aber man hat eine bisschen bessere Privatsphäre.
00:29:00
Speaker
Und dann jetzt die letzte Möglichkeit, dass es wie die meisten dann oder die generelle Bevölkerung am häufigsten die KI verwendet, das ist direkt über den Anbieter, über die schönen Chatfenster, die einem dargelegt werden.
00:29:12
Speaker
Also sei es chatgpt.com, claud.ai oder grog.ai.
00:29:17
Speaker
Da hat man wirklich die allerschlechteste Privatsphäre, aber der große Vorteil hier ist, dass es am günstigsten ist.
00:29:24
Speaker
Das heißt, wenn man KI sehr, sehr viel benutzt und auch dafür zahlt, zum Beispiel ich benutze KI auch zum Programmieren, dann wäre es sehr, sehr teuer, das über die API laufen zu lassen oder über einen Drittanbieter-Proxy, weil halt eben sehr, sehr viele Tokens verwendet wird, auch für die Agenten.
00:29:39
Speaker
Das machen wir dann später oder in einer neuen Folge nochmal.
00:29:42
Speaker
Das heißt hier, wenn man das direkt über den Anbieter läuft, ist es deutlich günstiger.
00:29:46
Speaker
Der Nachteil ist, da hat man die allerschlechteste Privatsphäre.
00:29:48
Speaker
Also man kann bei den Anbietern sagen, dass man nicht möchte, dass die Daten fürs Training verwendet werden.
00:29:54
Speaker
Da hat man ein bisschen besser Privatsphäre.
00:29:55
Speaker
Aber allgemein ist man hier am schlechtesten dran.
00:29:58
Speaker
Hat aber eben den Vorteil, dass es deutlich günstiger ist.
00:30:01
Speaker
Also man kann das ziemlich frei benutzen, ohne dass man irgendwas zahlen muss.
00:30:05
Speaker
Da kann man dann nicht die Option ausstellen, dass die Daten zum Training benutzt werden.
00:30:10
Speaker
Oder wenn man dafür zahlt, zum Beispiel 20 Euro, 100 Euro oder 200 Euro pro Monat, dann kann man zumindest auswählen, dass die Prompts oder diese Anfragen nicht verwendet wird, um die KI zu trainieren.
00:30:21
Speaker
Und vielleicht nur als Größenvergleich, wenn man so einen Plan nimmt, zum Beispiel einen 200-Euro-Plan bei Claude.ai, hat man deutlich, deutlich mehr davon, als wenn man 200 Euro über die API oder über ein Proxy laufen lässt.
00:30:35
Speaker
Man hat keine genauen Zahlen dafür, aber viele sagen, das ist 10 oder 20 mal so viel.
00:30:39
Speaker
Das heißt, wenn man wirklich sehr viel mit KI arbeitet, macht es auch Sinn, so einen Plan zu benutzen.
00:30:43
Speaker
Man muss sich im Plan sein, das ist nicht so privat, aber dafür ist es deutlich kostengünstiger, weil man keine 2000 Euro dann über einen Proxy laufen lassen muss.
00:30:54
Speaker
Das wären also diese fünf verschiedenen Optionen, die man hat.
00:30:58
Speaker
Also einerseits wäre es komplett lokaler KI.
00:31:00
Speaker
Die zweite Option wäre Ende zu Ende verschlüsselt in diesem Trusted Execution Environment.
00:31:04
Speaker
Das dritte wäre über Drittanbieter, also über Proxy Services.
00:31:07
Speaker
Vierte wäre direkt über die API bei den Unternehmen.
00:31:10
Speaker
Und das fünfte ist direkt über den Anbieter, über das schöne Chatfenster, das man dort dann einmal hat.
00:31:17
Speaker
Und ich merke gerade, wir sind schon ziemlich weit in der Folge, haben schon ziemlich viel darüber geredet.
00:31:23
Speaker
Deswegen wäre mein Vorschlag jetzt, dass wir das hier einigermaßen beenden und dann in der neuen Folge nächste Woche einmal weitermachen mit wie man dann diese verschiedenen Methoden kombinieren kann.
00:31:35
Speaker
um privater unterwegs zu sein, wie man dann auch Anfragen anonymisieren kann mit Lokaler-Krieg zum Beispiel.
00:31:41
Speaker
Und dann auch gehen wir in ein sehr großes Thema ein, und zwar Agenten.
00:31:45
Speaker
Das, was Nino schon ganz am Anfang erwähnt hat, dass sehr viele Leute bewusst oder unbewusst Agenten verwenden.
00:31:52
Speaker
Und es kann auch wirklich ein großer Vorteil sein und einem das Leben ein wenig einfacher machen in verschiedenen Bereichen.
00:31:58
Speaker
Und wie man die privat und auch sicher benutzen kann, würden wir dann in der nächsten Folge besprechen.
00:32:04
Speaker
Ja, Moment, Moment.
00:32:06
Speaker
Da will ich doch nochmal kurz eingreifen.
00:32:08
Speaker
Nämlich habe ich noch zwei Fragen.
00:32:10
Speaker
Einmal haben wir ganz kurz im Vorfeld besprochen.
00:32:13
Speaker
Es gibt ja auch von Proton eine eigene KI.
00:32:15
Speaker
Die habe ich jetzt noch nicht rausgehört.
00:32:16
Speaker
Die kann ich auch nicht wirklich zuordnen, diesen fünf Kategorien.
00:32:20
Speaker
Die heißt LUMO.
00:32:21
Speaker
Meinen Verständnis nach ist das deren eigenes Modell, was die trainieren und was sehr privat gehalten werden soll, Open Source etc., auch deutlich schlechter ist wahrscheinlich dann als der Rest.
00:32:31
Speaker
Aber wie kann ich das hier einordnen?
00:32:33
Speaker
Und die zweite Frage, um die gleich hinterher zu stellen, was bedeutet das denn jetzt für den Zuhörer?
00:32:38
Speaker
Wie können wir das Ganze in eine Umsetzung gießen?
00:32:42
Speaker
Also was ist unser Praxisteil hier, wie wir Privat-KI nutzen können, unabhängig jetzt von den ganzen Agenten?
00:32:49
Speaker
Okay, dann machen wir das noch diese Folge.
00:32:51
Speaker
Danke für das Stoppen von meinem Versuch, die Folge zu stoppen.
00:32:55
Speaker
Also ProtonLumo wird auch sehr oft erwähnt.
00:32:58
Speaker
Die machen auch sehr viel Werbung oder Marketing in die Richtung, dass sie sehr privat sind.
00:33:02
Speaker
Ich persönlich würde es irgendwo zwischen Schritt 2 und Schritt 3 einordnen, also zwischen der Ende-zu-Ende-verschlüsselten geschützten Hardware-Umgebung und zwischen einem Proxy.
00:33:12
Speaker
Also Proton LUMO verwendet auch Open Source Modelle, lässt es laufen über die eigene Hardware und das ist alles Open Source.
00:33:19
Speaker
Und Proton verspricht einem, dass nichts gespeichert wird, dass das nicht verwendet wird, um verschiedene Modelle zu trainieren und es deswegen ziemlich privat ist.
00:33:27
Speaker
Aber hier muss man Proton vertrauen, weil zu einem gewissen Zeitpunkt, es wird zwar verschlüsselt im Transit,
00:33:33
Speaker
Aber die Grafikkarten, also die Server von Proton müssen trotzdem noch diese Anfrage verarbeiten.
00:33:38
Speaker
Und die sind, was ich jetzt gefunden habe, nicht in einem Trusted Execution Environment.
00:33:43
Speaker
Das heißt, hier ist man ein bisschen schlechter als die zweite Option.
00:33:46
Speaker
Aber ich muss auch dazu sagen, dass Proton da sehr wenig zeigt.
00:33:49
Speaker
Das heißt, man kann nicht wirklich viel herausfinden.
00:33:52
Speaker
Man weiß auch zum Beispiel nicht, was für Open-Source-Modelle im Hintergrund laufen.
00:33:55
Speaker
Und deswegen ist das nicht meine Empfehlung, weil ich halt nicht verstehen kann, was im Hintergrund passiert.
00:34:01
Speaker
Sie sagen, es ist ziemlich privat und aufgrund der Vergangenheit von Proton kann man denen auch wahrscheinlich ziemlich glauben, aber wirklich überprüfen, was die genau machen, was für Serverstrukturen die haben, was für Modelle die haben, kann man nicht.
00:34:12
Speaker
Ich glaube, ProtonLumo hat auch eine andere Zielgruppe als Nutzer, die wirklich viel KI verwenden wollen, sondern da ist eher die Zielgruppe von Personen, die noch nie KI verwendet haben und halt erst zum ersten Mal starten wollen und...
00:34:24
Speaker
Dafür wurde halt ProtonLumo meiner Meinung nach erschaffen, aber nicht für die Power-User sozusagen, weil man wirklich sehr wenig herausfinden kann darüber.
00:34:32
Speaker
Das heißt, Proton würde ich jetzt zwischen 2 und 3 einordnen und kann mir dann überlegen, passt das für mich in meiner Strategie, in meinem Thread-Modeling und wer jetzt hier zuhört, kann dann...
00:34:43
Speaker
Im Prinzip alles ausprobieren.
00:34:44
Speaker
Seid euch halt einfach bewusst, dass ihr die richtigen Fragen stellt.
00:34:47
Speaker
Also nicht nur der KI die richtigen Fragen stellt, sondern auch vorher an euch die richtigen Fragen.
00:34:51
Speaker
Was will ich eigentlich erreichen und welches Tool ist dann dafür das Richtige?
00:34:55
Speaker
Und anhand von dem Modell von Timo könnt ihr euch dann da das Richtige zusammenbasteln von Jan.ai hin zu vielleicht dem direkten Chatbot, wenn es denn schnell gehen soll und wenn es euch egal ist, dass das alles geteilt wird.
00:35:07
Speaker
Genau, richtig.
00:35:09
Speaker
Also Praxisempfehlung, würde ich sagen, schaut euch einmal die verschiedenen Dienste an, also wirklich alle fünf verschiedenen Schritte.
00:35:14
Speaker
Probiert einfach mal alles aus, geht auf die Webseiten, probiert mal das aus mit der lokalen KI, mit der Ende-zu-Ende-Verschlüsselung im geschützten Hardware-Bereich über Drittanbieter.
00:35:23
Speaker
Über die API ist ein bisschen aufwendiger, das heißt, diesen Schritt könnt ihr überspringen, auch weil es keinen größten Vorteil im Vergleich zu den Proxys hat und dann fünf einmal direkt über den Anbieter, aber das haben, glaube ich, schon die meisten gemacht.
00:35:33
Speaker
Und dann in der nächsten Folge geht es nochmal im Detail, wie man die kombinieren kann, wie man dann auch Agenten benutzen kann.
00:35:40
Speaker
Also die nächste Folge wird hauptsächlich dann auch über KI-Agenten gehen.
00:35:45
Speaker
Und dann würde ich sagen, können wir diese Folge jetzt abschließen.
00:35:48
Speaker
Der nächste Teil kommt nächste Woche.
00:35:50
Speaker
Wie in der letzten Folge schon erwähnt, wir haben jetzt eine Signal-Gruppe.
00:35:54
Speaker
Ich glaube, beim Thema KI gibt es ziemlich viele Fragen.
00:35:56
Speaker
Also wenn ihr da irgendwelche konkreten Fragen habt oder euch austauschen wollt, welche KI-Modelle zum Beispiel E-Mail merkt, welche KI-Proxys ihr bevorzugt, könnt ihr da in die Signal-Gruppe gehen.
00:36:07
Speaker
Da ist die auch in den Show Notes.
00:36:09
Speaker
Und wenn ihr eine Zusammenfassung der verschiedenen Folgen haben wollt per E-Mail, könnt ihr euch auch gerne bei dem Newsletter anmelden, vor allem bei der KI-Signal.
00:36:18
Speaker
Bei solchen Themen gibt es ziemlich viele Informationen in diesen Folgen, deswegen machen wir auch hier zwei.
00:36:22
Speaker
Da macht es vielleicht Sinn des auch nochmal alles nachzulesen.
00:36:26
Speaker
Und sonst würde ich sagen, tschüss und dann hast du Nino noch das letzte Wort.
00:36:31
Speaker
Ich sage einfach nur Danke.
00:36:32
Speaker
Ich habe hier viel mitgenommen.
00:36:34
Speaker
Denkt mal, wir werden ja gleich die nächste Folge aufnehmen.
00:36:36
Speaker
Für euch da draußen ist das eine Woche später.
00:36:39
Speaker
Ich kann dann ja versuchen, das mal zusammenzufassen, was ich gelernt habe heute.
00:36:43
Speaker
Und noch der Hinweis, wenn euch die Folgen gefallen, einfach mal bitte fünf Sterne oder was auch immer eure Podcast-App da zulässt an Bewertungen, weil das hilft uns, das hilft dem Algorithmus beizubringen, das gefällt und dann wird es auch mehr Leuten empfohlen.
00:36:56
Speaker
Und so können wir dann auch mehr Leuten beibringen, mit KI privat umzugehen oder andere tolle Tools zu nutzen.
00:37:02
Speaker
Vielen Dank euch, vielen Dank dir, Timo.
00:37:03
Speaker
Und dann bis zum nächsten Mal.
00:37:05
Speaker
Ciao.