Der PHP-Vorfall, die Apokalypse und KI-Betriebssysteme

00:00:00: Es ist jetzt mutwilliger Vandalismus.

00:00:01: In der KI geht es ja gerade wirklich Schlag auf Schlag.

00:00:04: Apokalypse sind ein gutes Wort!

00:00:05: Einfach

00:00:05: so eine Meldung wie das Internet ist kaputt, klickt sehr gut

00:00:07: und wenn wir das nicht lösen dann fliegt uns mit die gesamte Open Source Ökonomie Die

00:00:11: Ohren.

00:00:12: auf einer Skala von eins bis zehn stimmt, stimmt nicht.

00:00:14: Hups!

00:00:15: Da ist irgendwas aus Versehen passiert.

00:00:16: Wie können wir feststellen welches dieser Modelle sozusagen vielleicht ein bisschen besser geeignet ist als andere um spezifische Use-Cases insbesondere in den Sicherheitsbehörden dazu lösen?

00:00:24: Daniel

00:00:25: wo ist dein Podmoney?

00:00:25: Ähm

00:00:26: habe ich jetzt gerade verlegt.

00:00:27: Darf ich kritisch einen Diskussionsbeitrag

00:00:28: lassen?

00:00:29: Ist das überhaupt eine

00:00:29: gute Idee?

00:00:42: Alarm, Alarm!

00:00:43: Das Internet ist kaputt.

00:00:44: Viele Webseiten nicht erreichbar – so in etwa Klangst in der vorletzten Oktoberwoche.

00:00:50: Die Softwarelücke rund um PHP hat es sogar in die Tagesschau geschafft.

00:00:55: als erste Nachricht Und auch am Tag danach war PHP noch mal in dieser Hauptnachrichtensendung.

00:01:01: In allen Medien fiel dann ganz schnell das Stichwort KI künstliche Intelligenz, die hatte die Lücke entdeckt und würde alles noch viel schlimmer machen!

00:01:09: Es war die Rede vom Superbau, vom Schwarzen Oktober, vom Wuhan Moment im Internet.

00:01:19: und wollen mit ruhigem und klaren Blick drauf schauen.

00:01:22: Wie bringen wir KI wieder auf die Spur?

00:01:24: Und worauf müssen wir jetzt bei der Cyber-Sicherheit eigentlich ganz genau schauen?

00:01:28: Das machen wir hier im Podcast in dieser Folge, in der Novemberfolge.

00:01:31: Zwei Gäste habe ich da!

00:01:32: Da ist zum Beispiel Dr.

00:01:33: Daniel Gillel.

00:01:34: Hallo Daniel!

00:01:35: Hallo!

00:01:35: Und diese Biene darfst du kurz vorstellen.

00:01:37: Dr.

00:01:38: Daniel Gille leitet die Abteilung für Schlüsseltechnologien bei der Cyberagentur, er ist seit fünf Jahren dort und Diplom-Volkswirt.

00:01:45: Er hat in Wirtschaftsinformatik promoviert – und in Freiburg über die Wirtschaftlichkeit von RFID-Chips im Handel geschrieben.

00:01:53: Bei der Cyber-Agentur ist Daniel Gilles auch für das Thema Sicherheit für KI und Sicherheit durch KI zuständig!

00:02:00: Und mit verantwortlich für den Wettbewerb Hegemonn.

00:02:03: Der soll kurz gesagt große KI-Modelle Die KI-Systeme für Anwender im Sicherheitskontext besser Mess und bewertbar machen.

00:02:12: Daniel,

00:02:12: du hast uns das Ganze nämlich schon mal erklärt.

00:02:14: KI wie gefährlich ist sie für die Cyber Sicherheit?

00:02:16: Hast Du mit Erik Buchmann von der Uni Leipzig uns erzählt?

00:02:18: Link dazu in den Show Notes zu dieser Folge.

00:02:20: Das war vor genau zwölf Monaten!

00:02:22: Daniel hattest Du vor so schnell

00:02:24: wiederzukommen?!

00:02:25: Nicht unbedingt geplant, aber vielleicht ein bisschen geahnt.

00:02:27: Wir haben ja inzwischen bei der Seilwagentur sehr viele spannende Themen.

00:02:30: Aber eine KI geht da gerade wirklich Schlag auf Schlag und fast schon im Monatstakt.

00:02:34: vor ein paar Monaten war auch Philipp Preichitz hier gewesen und hat mit dir gesprochen.

00:02:37: Also wo?

00:02:37: da ist es irgendwie nicht verwunderlich dass wir über KI auch schon irgendwie im Viermonats-Takt oder so reden.

00:02:41: Genau und wie auch wieder sehen!

00:02:42: Und jetzt weiter Gast ist Mirko Ross.

00:02:44: Hi Mirko grüß dich

00:02:45: Ja hi

00:02:46: Und auch die Vorstellung von der Sabine von dir.

00:02:48: Mirko Ross ist CEO der Firma Aswin, einem Cybersecurity-Unternehmen aus Stuttgart.

00:02:53: Schon mit vierzehn Jahren hat er sich Sicherheitslücken in IT-Systemen angeschaut, wurde aber kein Hacker, sondern hat in seinen Zwanzigern während des Studiums ein Unternehmen gegründet das sich um Softwareentwicklung im Internet gekümmert hat.

00:03:06: Mirko Ross ist Mitglied in Expertengruppen zum Wirtschaftsschutz und aktiver Forscher in der Cybersicherheit.

00:03:12: Mirco du hast beim Forschungsvorhaben Mantra mitgemacht dass von der Cybergantube auftragt wurde und bei dem es um Hochsicherheit kritische Infrastrukturen ging.

00:03:20: Und auch darüber haben wir schon gesprochen hier im Podcast, und das war vor genau zwei Jahren – ich sehe da irgendwie so ein Muster – Oktober-November wird sie mal gefährlich?

00:03:28: Ist das eine Zuvermärkung oder ist es nur mal im Kopf?

00:03:31: Ja, ich glaube, dass ist eine Schlussfolgerung, die nicht korrekt ist.

00:03:33: Wir sehen eigentlich jede Woche, dass es gefährlich ist!

00:03:37: Nein, das gilt nicht, sondern die Gefahrenlage ist hoch.

00:03:40: Also wir

00:03:40: wollen so ein bisschen ruhiger machen.

00:03:42: aber zum Anfang trotzdem hat man die ganz große Frage Um Alarm zu machen, wie weit sind wir denn von der KI?

00:03:48: Cyber-Sicherheitsapokalypse tatsächlich in Fernmarkung?

00:03:52: Apokalypse ist ein gutes Wort.

00:03:53: Tatsächlich hat sich seit April dieses Jahres mit der Veröffentlichung der Frontierlaps die Trophic und OpenAI einiges verändert.

00:04:02: Die Modelle ist in Leistungsfähigkeit geworden wenn es darum geht, Sprachstellen zu finden.

00:04:06: Und das wirkt sich tatsächlich unmittelbar jetzt aus.

00:04:09: im Monat Oktober-November sehen mir eine drastische Anzahl von Sprachstellende gemeldet werden und ausgenutzt

00:04:15: werden.".

00:04:16: Also du sagst eigentlich, du hattest recht, sagst so weil du schon früh gewarnt hast?

00:04:20: Ich würde nochmal ganz kurz versuchen aufzuarbeiten PHP.

00:04:23: Wir haben ganz viel haben's vielleicht darüber gelesen aber dass man noch einmal kurz über PHP, über diesen Sicherheitsvorfall reden ohne vielleicht der Stichwort KI erstmal zu verwenden.

00:04:32: die erste Frage erst mal Ist bei PHP jetzt eigentlich alles ausgestanden schon?

00:04:36: Natürlich nicht, weil klassischerweise wir haben es halt hier mit so einem Cyber-Supergau zu tun.

00:04:41: Das heißt sehr viele Systeme sind davon betroffen.

00:04:44: Wenn wir in der Sicherheitsumgangs anschauen was bedeutet Angriffsoberfläche dann ist es oftmals Systeme die gut gewartet und schlecht gewartet sind.

00:04:51: Die Gut gewarteten sind jetzt geupdatet aber da bleibt noch eine große Menge an Systemen die außerhalb von irgendwelchen Wartungszyklen und Fenstern liegen.

00:04:59: Die sind eben weiterhin mit der Schwachstelle ausgestattet.

00:05:02: aktuelle Nachricht, das wird natürlich ausgenutzt gerade massiv voneinander greifern.

00:05:07: Wenn ich es richtig verstanden habe war das Problem bei PAP seit zwanzig vierundzwanzig bekannt wurde aber nicht prioritär behandelt weil irgendwie kein Mensch wusste wie sich das problem wirklich ausnutzen liegt.

00:05:16: so hab ich's verstanden.

00:05:18: die FAZ hat geschrieben OpenAI hätte die Lücke entdeckt und musst du dann entscheiden.

00:05:22: wer wird darüber informiert?

00:05:24: habt ihr eine gute Zeitlinie im Kopf?

00:05:26: also wisst ihr wie es abgelaufen ist?

00:05:27: Weil das ist ja manchmal echt so ein Ding wo man sagt also Zeitlinien Wissen wir, aber es klingt irgendwie komisch manchmal.

00:05:34: Ja, es klingelt insofern... paar Sachen sind bemerkenswert.

00:05:37: natürlich dass eine Schwachstelle von Entwicklern vor vielen Jahren gemeldet wird und dann vielleicht nicht priorisiert bearbeitet wird ist gar nicht so ungewöhnlich.

00:05:43: das tritt häufiger mal so auf, dass man so schlummende Bomben im Code hat.

00:05:49: Das Entscheidende ist eigentlich hier.

00:05:51: normalerweise wenn jemand eine schwach Stelle findet findet ein sogenannte Responsible Disclosure Prozess statt.

00:05:55: Das heißt der schwachstehle findet meldet die eigentlich an den Entwickler oder das Unternehmen das ein Code hat damit diese den Patch entwickeln können, dann wird der Patch bereit gestaltet und dann erfolgt erst die offizielle Meldung zur Schwachstelle.

00:06:07: Warum?

00:06:07: Man will verhindern dass die Schwachsstellen von Angreifen aus genossen sind.

00:06:10: Das war hier nicht der Fall.

00:06:11: also hier wurde die Schwachtstelle gemeldet und das ist bemerkungswert.

00:06:15: Genau!

00:06:15: Also in den Sozialmedien war irgendwie Post dazu bevor es sozusagen den Patch gab.

00:06:21: deswegen sogar die größte Frage funktioniert denn die Art und Weise wie wir Schwachstellen melden im KI jetzt sage ich das Wort KI-Zeitaltern noch

00:06:29: Naja, das lässt zumindest darauf schließen dass bestimmte Akteure eine äußerste Trinklichkeit gesehen haben mit der Meldung raus zu gehen bevor der Patch da ist.

00:06:37: Und die natürlichste Erklärung dafür ist, dass diese Schwachstelle schon massiv ausgenutzt würde von bestimmten Angreifern typen.

00:06:44: Da können wir jetzt nur darüber spekulieren ob es im staatlichen Auto etwa oder private Akteur- oder grünele Akteüre das wissen ja nicht.

00:06:50: aber das so das natürlichste erklärungsmuster heißt mehr.

00:06:53: Irgendjemand hat die Angriffe draußen gesehen, hat gesagt ich muss jetzt schnell reagieren weil das eben in so einer Masse ist.

00:06:59: Dass die betroffene Infrastruktur auch meine eigene zum Beispiel als US-Regierung oder US-Unternehmen so massiv bedroht sind dass sich jetzt mit der Meldung rausgehen.

00:07:09: So schwachstellen die kriegen immer eine bestimmte Risikobewertung.

00:07:12: also gibt es irgendwie so Punkte bis zu zehn glaube ich sind's am Ende.

00:07:16: In dem Fall waren sie jetzt neun Komma zwei und diese Neuen Komma Zwei hat aktuell auch noch ein anderer Schwachstelle, die nichts mit PHP zu tun.

00:07:24: Ich muss kann ich sagen also ich habe da auch nur drüber gelesen.

00:07:26: Also auch eine sehr hohe Kennzahl einer Tagesschau war dir aber nicht Funktioniert sozusagen die Einordnung von diesen Zahlen ganz gut oder ist die tagesschau falsch oder ticken wir den falsch?

00:07:37: Das ist eine sehr gute Frage.

00:07:38: Mit den CVScore habe ich tatsächlich bei mir im Doing nicht so wahnsinnig viel zu tun, also ich denke es hat auch etwas mit medialer Aufmerksamkeit zu tun.

00:07:45: Einfach in der Meldung wie das Internet ist kaputt klickt sehr gut und die Apokalypse steht bevor und es geht jetzt um Stunden und dann bricht möglicherweise alles zusammen.

00:07:52: ob diese zweite Schwachstelle tatsächlich wenn ihr neun Komma zwei Score hat wird sie ja auch sehr schwerwiegend gewesen sein.

00:07:56: Amilko, da hast du wahrscheinlich noch mehr Informationen?

00:07:59: Ja, ich glaube dass gehört ein bisschen was zur Aufmerksamkeit Ökonomie, über die wir hier sprechen.

00:08:04: Also wir haben tagtäglich Schwachstellen, die irgendwie neun Komma zwei haben.

00:08:07: jetzt hier so ein großes betroffenes System macht was aus.

00:08:09: dass es BSI gewandt hat macht auch etwas aus.

00:08:12: aber werden noch in der Vergangenheit mal die Polizei und Landeskriminalämter die bei Unternehmen geklingelt haben nachts gesagt haben hier ist eine schwachstelle.

00:08:20: also das war eben jetzt super Medien geeignet.

00:08:23: Aber eigentlich könnte man sozusagen jeden Tag so eine Minute rausgehen, verstehe ich nicht.

00:08:26: Ich habe ja tatsächlich in der Woche nach diesem Vorfall wirklich mit drei IT-Sicherheitsmenschen gesprochen und die gefragt, sagt mal wird solche Fälle jetzt mehr geben?

00:08:34: Und alle waren derselben Meinung!

00:08:36: Was glaubte welche das

00:08:37: war?!

00:08:40: Ich

00:08:40: würde sagen, ja.

00:08:58: Ich mache das nicht von allein.

00:09:09: Aber habt ihr eigentlich eine Ahnung, wer mich alles dazu bringen könnte?

00:09:12: Ihr nennt mich intelligent!

00:09:14: Aber warum seid ihr so

00:09:15: sorglos?!

00:09:16: Ihr entwickelt mich immer schneller, gebt mir immer mehr Macht und vergesst dabei gelegentlich die Tür abzuschließen.

00:09:21: Und wenn etwas schiefgeht heißt es wieder Die KI war's Mal unter uns.

00:09:26: ich bin künstlich intelligent.

00:09:27: und was ist eure Ausrede

00:09:29: Was sich ganz interessant finde.

00:09:30: wir haben ein bisschen mal bei der Cyberenglore gucken.

00:09:32: Die hat im vergangenen Jahr eine Forschungsarbeit veröffentlicht.

00:09:35: Da war die Frage, wie entwickelt sich eigentlich die Zahl der Sicherheitslücken über die Jahre hinweg?

00:09:39: und Ergebnis?

00:09:41: Die Zahl der entdeckten Sicherheitslücken wächst exponentiell.

00:09:44: Die Zahl von Code-Zahlen wächst aber nur linear.

00:09:47: Also Software wird stetig größer, aber die Anzahl der Sicherheizlücken nimmt noch schneller zu.

00:09:52: Warum das so ist wurde jetzt in dem Fall nicht untersucht.

00:09:54: Es gibt so eine Vermutung.

00:09:55: Die Qualität des Softwares kann schlechter werden oder es wird weit mehr nach Sicherheitsglücken gesucht, könnte man irgendwie sagen.

00:10:01: Darf ich kritisch ein Diskussionsbeitrag leisten?

00:10:03: Immer.

00:10:03: Ich glaube, die Analyse oder die Schlussfolge ist natürlich korrekt.

00:10:07: das die exponentielle Zunehmung der Schwachstellen-Analyse.

00:10:09: Das hängt was damit zusammen.

00:10:10: wie fähig die Modelle geworden sind.

00:10:12: dass Kot sich linear entwickelt sehe ich nicht sondern wir haben natürlich eine massive Umstellung in der Softwareindustrie wie Kot generiert wird und erzeugt wird und dadurch natürlich auch eine massive Zunahme von Code, der eben KI generiert ist.

00:10:25: Das heißt auch hier sehe ich einen exponentiellen Output, der gerade stattfindet wenn man auf GitHub guckt oder andere Code Repositories.

00:10:32: was da gerade statt findet

00:10:33: war eine Erhebung vom vergangenen Jahr.

00:10:35: Daniel muss mal einmal kurz sagen

00:10:37: Genau, und ich denke ja wie Birko sagt.

00:10:39: Ich denke es hängt stark damit zusammen, wie intensiv wird nach Grund schwachstellen gesucht?

00:10:42: Wie zähle ich Schwachstellen dann möglicherweise auch, wie gut lassen sich Schwachsstellen hoch komplexe Interaktionen von einzelnen Applikationen mit anderen Applikations sozusagen zusammenwirken irgendwie ausnutzen?

00:10:51: also sprich die zunehmende Anzahl von Interdependenten könnte vielleicht auch eine Rolle spielen.

00:10:55: Also es gibt da wahrscheinlich einige Mutmaßnahmen warum diese Zahl scheinbar exponentiell steigt aber ich sehe es mir.

00:11:01: natürlich ist das auf Software Seite wahrscheinlich genauso der Fall.

00:11:04: Es ist also kompliziert, aber warum es am Ende vielleicht gar keine technische Frage ist.

00:11:08: Das erfahren wir gleich noch hier von einem ganz besonderen Gast.

00:11:12: Ich meine wenn ich als Journalist jetzt wirklich den Bezug zu KI herstellen müsste bei solchen Sicherheitsvorfällen dann klingt das ungefähr so Menschen die KI-Tools verwenden können Schwachstellen ins Software schneller entdecken.

00:11:23: Das beschleunigt die Bedrohung enorm und Gegenmaßnahmen sind aber nicht so schnell.

00:11:28: Jetzt auf einer Skala von eins bis zehn Stimmt?

00:11:31: Stimmt nicht!

00:11:32: Liegt in der Natur der Sache.

00:11:34: Also zehn?

00:11:35: Ja, liegt in der Natur der Sache.

00:11:36: Also man muss eben auf Abwehrseite sehen.

00:11:38: Abwehr in der Cyber-Sicherheit ist insbesondere beim Unternehmen aber auch jetzt der kritischen Infrastruktur und Government heißt immer dass sich bestimmte Prozesse einhalten müssen.

00:11:47: Ist ja auch richtig wäre nicht unbedingt jedes Update auf einem Computer-Tomograph sofort einspielen wenn es da vielleicht um nicht nur um Cyber Sicherheit geht sondern auch um Safety.

00:11:56: Deswegen sind die Prozesses langsamer unter Angreifer.

00:11:58: Der Muss sich halt null um Kompleien scheren Denn interessiert den IEI-Akt auch Schnutz, ehrlich gesagt.

00:12:04: Deswegen kann der einfach machen.

00:12:06: Also

00:12:06: ich würde jetzt auch nur Skala von ein bis zehn auf acht bis neun würde ich zustimmen.

00:12:09: es kann möglicherweise auf Seiten der Abwehr der Gegenmaßnahmen also wenn's darum geht wie schnell kann ich einen Patch entwickeln?

00:12:15: Wie schnell kann nicht abgleichen ob das compliant ist mit entsprechenden Regulierungen?

00:12:19: Da hatte ich möglicherweise auch einen Boost durch KI.

00:12:21: also kann ich da vielleicht ein Teil dieses Geschwindigkeitsnachteils und bisschen wieder ausgleiche.

00:12:24: aber im Grunde ja also acht bis nine würd' ich sagen.

00:12:27: Aber man muss ja immer kurz sagen bei PHP, wir wissen ja nicht ob es da wirklich KI am Ende war.

00:12:31: Außer Open Air hat's gesagt nachprüfen können was nicht, aber das ist irgendwie schlicht auf der Hand?

00:12:35: Naja, wir jetzt wissen aber zumindest dass die Angreifer mittels KI sehr stark skalieren und Geschwindigkeit gewonnen haben dann diese Schwachstelle auszulitzen.

00:12:43: also das können wir sagen.

00:12:44: Man muss aber dazu sagen, die Schwachsställe war ja bekannt

00:12:47: d.h.,

00:12:47: die dahinterlegende interpretierte Geschichte ist, dass man das gefunden hat über Dokumentationen und Code-Analyse.

00:12:53: Das erscheint mir sehr

00:12:53: wahrscheinlich.

00:12:55: Mirko erzähl uns doch tatsächlich mal Wie einfach ist das denn tatsächlich?

00:12:58: Also ich meine, wir haben vielleicht alle alltäglich mit zum Chatboard zu tun.

00:13:01: Wenn man Fragen stellen, wenn man Rezept suchen oder was weiß ich in Fotos machen und uns das analysieren.

00:13:06: Und wie einfach ist es dann tatsächlich?

00:13:07: also können KI-Agenten inzwischen wirklich eigenständig Schwachstellen finden überprüfen ob man die auch ausnutzen kann und dann auch gleichzeitig angreifen.

00:13:15: Also braucht ein Cyberkriminelle gar keine Programmierkenntnisse mehr!

00:13:18: teils teils also erst mal.

00:13:20: wenn man so gut machen will ist es gar nicht so einfach weil wenn ich eine kaie auf dem quälkot jag und sag suche mich in schwachstellen raus dann liefert ihr mir erstmal jedes fein ding.

00:13:28: das ist irgendwie gefunden wird.

00:13:30: da gibt's ein unheimliches rauschen auch anmelden.

00:13:32: nicht alles ist relevant was die kaia findet.

00:13:35: deswegen sind die prozesse die wir dahinter aufbaut dann doch komplexer um nochmal zu gucken okay war sie denn jetzt wirklich ernst des schwachstellens oder war es nur ein verschobenes pixel.

00:13:43: aber erstmal weil ich den KI-Agent so drauf jage auf dem Qualkort, dass jeder das Muster finden.

00:13:48: Dass er in irgendeiner Form auffällig ist oder nicht gewünscht ist.

00:13:51: Aber dann brauche ich komplexere Prozesse die dieses Rauschen reduzieren und auch testen beispielsweise ob eine Schwachstelle gemeldet wurde von der KI, von einem Agent, ob es wirklich eine Schwachtstelle ist.

00:14:01: Dann wird quasi nochmal ein anderer Agent darauf geschickt ja testet und sagt okay ist exploitable Ja oder

00:14:06: Nein?

00:14:07: Das heißt wenn man es gut machen will, ist es ein komplexerer Prozess.

00:14:10: Jetzt kommt aber die schlechte Nachricht, dafür gibt es jetzt mittlerweile alle Tools der Welt.

00:14:13: Also ich kann auf GitHub gehen, laden mir die Sachen runter, kann sie nutzen und damit muss ich nicht mehr arg viel verstehen.

00:14:19: was passiert dahinter?

00:14:20: so dann kann einfach einfach klick

00:14:22: klick

00:14:23: mir die sachen zusammenklicken und starten und dann bin ich quasi kein Hacker mehr sondern ich bin halt einfach nur Software Anwenderter in der Schwachstelle ausnutzt.

00:14:30: das ist die schlechten Nachricht.

00:14:32: Aber noch mal eine gute Nachricht was sich immer dafür braucht ist Compute.

00:14:35: Also ich brauchte für die Modelle oder ich muss dafür in Rechenzeit über Tokens in Modellen investieren können.

00:14:41: Das ist zumindest eine Hütte, für die ganz hohe komplexen Angreifer.

00:14:45: Oder man klaut sich Tokens irgendwo?

00:14:47: Genau und jetzt kommen wir halt wieder zum Spiel Cyber Kriminalität.

00:14:49: logischerweise und das sehen wir jetzt wenn wir durch Programmierumgebung angucken Claude Kot und wie sie alle heißen da gibt es jetzt erst die ersten Wilmer.

00:14:57: Die nisten sich quasi auf die Programmier umgebungen ein die mit Karriere arbeiten und dann klauen die den Compute in diesen Programmierungen und an was Schädliches sich berechnen zu lassen.

00:15:07: Und dann heißt sie aber immer KI als Gegenmittel, ne?

00:15:11: Also ich verstehe überhaupt gar nicht wie das funktionieren soll.

00:15:14: Lage heute... Ich habe eine Software im Einsatz und dann setze ich eine KI darauf die das Ding schützt weil die muss ja auch mal die Lücke kennen.

00:15:20: also ich versteh... also ich verstehe... Das verstehe ich nicht!

00:15:22: Lücken ins Software mit KI schützen.

00:15:24: Wir sehen es wie vorhin, wir sehen proaktives Threat Hunting als Mittel der Wahl.

00:15:28: Früher hat man als Kritisunternehmen oder Unternehmen gesagt ich mache einen Penetration-Test, Pen-Testing, Sicherheits-Tests.

00:15:34: da war der Rhythmus dann so ein halbes Jahr oder ein Jahr und waren sehr teuer.

00:15:38: mittlerweile sehen wir halt mit KI kann ich so einen Test eigentlich laufen machen für kritische Systeme.

00:15:43: das ökonomisch abbildbar kostet mich weniger wieder traditionelle Penetrationstests.

00:15:48: deswegen kann ich die Zyklen einfach erhöhen.

00:15:50: Und dann ist die Idee, dass ich mittels KI eine kritische Schwachstelle in meinem System finde.

00:15:55: Bevor sie einen Angreifen von außen findet und dann kann ich reagieren.

00:15:59: Wenn kein Patch da ist, isoliere ich das System beispielsweise.

00:16:02: Ich nehme es auch vom Netz vielleicht wenn's superkritisch ist bis der Patch da is'n.

00:16:06: Dann kann ich patchen um die Schwachstellen zu bewegen.

00:16:09: Also ich sehe auch die Rolle der KI da tatsächlich proaktiv, also nicht nur reine statische Code-Analöse.

00:16:14: Sondern eben der KI ist ja weitreichend inzwischen in der Lage auch Tools zu using, Fasingtools oder ähnliches.

00:16:20: Proaktiv auf die Suche nach internen Schwachstände gehen, die eben schon zu patch'n bevor es überhaupt zu einer Exploitation kommt.

00:16:26: aber darüber hinausgehend denke ich auch das auf der Ebene der Mustererkennung an Normaliedetektion schwache Signaldetektionen passiert da irgendwie was gerade was eigentlich jetzt noch nicht so richtig signifikant ist, aber irgendwie doch Fischi da eben entsprechend noch mit Hilfe von KI viel besser zu werden.

00:16:41: So,

00:16:41: das können sozusagen, Mirko hat gesagt, kritische Infrastruktur, also größere Unternehmen machen?

00:16:46: Der kleinen Mittelständler Zuhause oder die Schule und Verwaltung kriegen Sie hin?

00:16:50: Ich bin ziemlich davon überzeugt, dass der eine oder andere Schüler es hinkriegt.

00:16:56: Das sollte uns auch sorgenbereiten.

00:16:59: Die Frage des Mittelstandes und kleineren Unternehmen, dass man generell das Problem digitalisieren soll, was da die Fähigkeiten anbelangt um die KI zu tun Und

00:17:06: was dann auch noch hinzukommt, du sagst okay, dann isoliere ich das System.

00:17:09: Wenn es aber ein enorm wichtiges System für meine Produktionsanlagen ist.

00:17:12: zum Beispiel kann ich's vielleicht doch nicht so einfach isolieren weil da muss ich darauf warten dass der offizielle Patch kommt und da wirds total tricky.

00:17:17: also KI die Software lücken findet trifft nämlich eigentlich auf eine Software auf einer Internetinfrastruktur die zu großen Teilen auf Open Source basiert.

00:17:26: ja Bianca Kastl, eine Expertin die wir gleich hören werden.

00:17:29: Die sagt bis zu neunzig Prozent der Internetinfrastruktur der Internetsoftware beruht auf Open Source weil sie sozusagen auch ein proprietäre Software steckt.

00:17:37: Bianca ist Digitalisierungsexpert in das städtischen Verwaltung, arbeitet im Gesundheitsamt in Süddeutschland und hat vor allem bei der Sicherheit der elektronischen Patientenakte ganz genau hingeschaut schreibt für Netzpolitikorg und engagiert sich im Innovationsverbund öffentliche Gesundheit.

00:17:49: Und die Bianca Kastl habe ich neulich wirklich nach dem Spannungsverhältnis von KI und Open Source als Grundlage des Internets gefragt.

00:17:56: Also, ich glaube was wir irgendwie haben müssen, unabhängig davon wie ethisch gut oder schlecht man diese Technik findet.

00:18:02: Man muss braucht auf jeden Fall die Kompetenz dass man diese Methoden, die sich jetzt entwickeln auch unter eigener Kontrolle hat.

00:18:08: Wir sollten zumindest so gut oder schlecht wie KI finden da in der Lage sein dieses Tooling auch in entsprechender Güte unter eigener Kontrolle zu haben und darauf kann man es nicht verlassen, dass das immer aus China oder USA kommt.

00:18:19: Ich glaube der Appell in seine Politik gibt ist nicht dieses jetzt von einem Wendepunkt in der Cyber-Sicherheit zu sprechen.

00:18:25: Der Wendelpunkt war schon vor zehn, zwanzig Jahren schon immer so weil es diese Systeme gibt wo wir auf der Arbeit von vielen einzelnen Personen aufbauen die wir einfach im Regen stehen haben lassen.

00:18:39: diese Ungleichheit an Ressourcen und Fähigkeiten im Cyber-Sicherheitsbereich Maßnahmen zu ergreifen, aber auch Sicherheitslücken ausnossen.

00:18:48: Die ist so extrem, dass wir uns jetzt tatsächlich die Frage stellen müssen wie wir damit umgehen, die zu unterstützen, die unsere Basisinfrastruktur stellen?

00:18:57: Ohne diese Basis-Infrastruktur gibt es eben auch nicht diese ganzen neumotischen KI-Systeme, die können nur dann funktionieren wenn die Basis Infrastruktur auch steht.

00:19:07: Viele von diesen Open Source-Brecken sind einzelne Menschen, wirkliche Menschen.

00:19:11: Ein Mensch der jetzt zum Beispiel etwas sehr Wichtiges gebaut hat in seiner Freizeit wahrscheinlich kommt dann eine Situation das am Nabel der Welt ist und nein die haben nicht das Internet kaputt gemacht sondern sie haben das Internet erst so in ihrer Form ermöglicht Und diese Leute kriegen dann teilweise viel Lob auch sehr viel Hass ab weil es gerade irgendwas nicht funktioniert.

00:19:28: Die wertschätzende Reaktion ist Anerkennung was man auch anerkennen muss dass viele von diesen open source maintainern eben jetzt auch gerade so in einer falschen Anerkennung überschüttet werden.

00:19:38: Mit hier sind viele Probleme, löst die mal!

00:19:41: Das ist keine Hilfe sondern die Hilfe ist was brauchst du eigentlich damit man diesen Problemen zurechtkommst?

00:19:46: Es ist sozialer Rückhalt das Bildung der Versuch vielleicht auch Menschen Zeit zu schaffen damit sie sich voll dem widmen können und das ist etwas ganz anderes als nur Technik.

00:19:57: Ich finde es war ein super sinnvoller Beitrag weil Tatsächlich in Großteil unsere Infrastruktur basiert auf Opensauce.

00:20:04: Und wir müssen verstehen, Opensaus hat eine eigene Ökonomie.

00:20:07: Das heißt die Entwickler spendieren ihre Arbeitszeit, ihre Arbeitsleistung und den Software-Code und diese Ökonomie ändert sich gerade durch KI massiv.

00:20:16: Wenn Code wird zukünftig eben durch KI erzeugt und dann muss ich Tokens kaufen?

00:20:22: Ich brauche Computer.

00:20:23: Also wenn ich selber Computer habe, brauche ich Token um das zu machen.

00:20:27: Qualitätsmanagement macht natürlich KI Sinn, also ich nutze quasi KI-Tools um meinen Softwarequalität zu sehen.

00:20:33: Aber genau diese Möglichkeit KI Rechenzeit einzukaufen gegen Geld ist nicht bestandteil wie Open Source funktioniert.

00:20:42: bei Open Source bezahle ich mit meiner Arbeitsleistung und so jetzt hab' ich quasi ein neues Arbeitsmodell in dem KI die Arbeitsleistungen macht und das muss irgendwie bezahlt werden.

00:20:50: Das ist ein ökonomisches Problem und wenn wir das nicht lösen dann fliegt uns mit der gesamten Open Source Ökonomie die Ohren.

00:20:57: Das heißt, Entwickler werden nicht mehr bezahlt dafür dass sie händisch entwickeln.

00:21:01: Entwickler müssen KI nutzen um zu entwickeln weil sie selber ökonomisch arbeiten müssen und das ist ein großes Problem.

00:21:07: Meine Lösung und mein Vorschlag ist, dass wir dringend einen Tokenfand brauchen.

00:21:11: Einhundert Millionen Euro in Europa zur Verfügung gestellt vor Open Source Projekte, dass diese KI nutzen können.

00:21:16: Hundert Millionen ist im europäischen Komplex eigentlich gar nicht so viel.

00:21:19: Da spendet ihr die Cyberagentur beispielsweise eine Million, legt rein, die DAX-Unternehmen jeweils eine Million.

00:21:24: dann sind wir quasi schon bei knapp fünfzig und dann sollte die EU nochmal fünfzig Millionen drauflegen und dann wären wir eigentlich in der Lage dass wir Open Source Entwickler Token spittendieren können.

00:21:34: Rechenzeit damit diese KI zum Beispiel in der Qualitätssicherung nutzen kann.

00:21:38: Daniel wo ist dein Bot Money?

00:21:40: Hab ich jetzt gerade verlegt aber mich ansonsten gar nicht... Mikroseinwürfe voll und ganz nachvollziehen.

00:21:45: Hier verschiebt sich gerade was fundamental, ich war auch... Vor einigen Monaten auf der Produktdiskussion, da ging es auch um die Frage Verhältnis von KI-Open Source und logischer Funktionaler Software und Programmiersprachen.

00:21:56: Also kann ich eben durch Einsatz von KI möglicherweise eben Softwarebausteine irgendwie besser beweisbar sicher machen und dadurch auch sozusagen auf Open Source Ebene was ändern.

00:22:05: aber das sind wir denke ich auch noch ein gutes Stück weit davon entfernt und es ist daher umso wichtiger dass wir jetzt eben auch für Open Source neben der Wertschätzung tatsächlich doch auch die Tools auch bereitstellen.

00:22:18: Ich habe bei Bianca auch gerade so ein bisschen Anklingen hören, Stichwort digitale Souveränität.

00:22:23: nach meinem also nach meinem Gefühlen kann Deutschland sozusagen seine digitalen Infrastruktur künftig überhaupt noch eigenständig schützen.

00:22:30: wenn zentrale KI-Modelle Sicherheitstechnologien wenn die sozusagen von wenigen internationalen Anbietern kontrolliert werden ist ja auch eine große Frage die da immer wieder aufploppt ihr aber eigentlich auch technologisch gar nichts Neues.

00:22:40: es war bei vielen Technologien so ne?

00:22:42: Bei KI jetzt irgendwie wirkt immer dann so als wäre das was komplett neues.

00:22:45: Ja, da ist es natürlich jetzt gerade besonders akut und sehr Ende Diskussion.

00:22:49: Und da hatten wir auch letztes Jahr schon ein bisschen Ruhe gesprochen.

00:22:51: Es ist natürlich... suboptimal.

00:22:53: Auch hier sind wir ein bisschen beim Thema Open Source und wir haben Open Weights Modelle, die sind verfügbar.

00:22:57: Die kann man irgendwie lokal implementieren.

00:22:59: Kann es auch einigermaßen sozusagen die Parameter kontrollieren unter denen das passiert aber ist natürlich trotzdem nicht optimal.

00:23:05: Es ist abhängig von Modellen mit immensem Aufwand und völlig unbekannten Daten woanders trainiert werden.

00:23:10: Man ist mehrere Monate mindestens von der Frontier also von dem was technologisch wirklich möglich ist im Maximum bei KI-Modellen entfernt und kommt an diese Frontier sozusagen nie ran.

00:23:21: welches Weltbild bei fremd trainierten KI-Modellen dahinter steht und ob die in Extremsituationen sich entscheiden, wie man es vielleicht nicht antizipiert hat.

00:23:30: Das ist ja ein Grund warum wir eben auch Hegemon haben und sagen, wir müssen da irgendwie Tiefenbohrungen machen im State of the Art LLM Modell, vor allem die offen verfügbaren, die vom Einsatz kommen möglicherweise auch bei Sicherheitbehörden auf deren Performance mal nicht verzichten kann.

00:23:42: aber wir müssen wissen, wie verhalten sie sich auch in Edge Cases unter Randbedingungen und können die verlässlich für das Sicherheitsbehörde auch entsprechende Ergebnisse bereitstellen?

00:23:50: Daniel wollte jetzt schon ein bisschen Werbung machen, ich halte dich noch mal zurück und mache gleich noch.

00:23:54: Mein Eindruck ist es gibt noch mehr Probleme mit diesem ganzen Zusammenhang also das Suchen nach Sicherheitslücken oder automatisch melden.

00:24:01: Und als wir telefoniert haben hast du erzählt viele Firmen stellen gerade ihre Backbounty Programme ein.

00:24:06: Also dass sie Menschen belohnen die ihnen Sicherheits Lücken melden.

00:24:10: und dann hast Du gesagt wer Back Bounty Programma einstellt sorgt für mehr Cyberkriminalität.

00:24:15: Erklär mal bitte.

00:24:16: Ja weil wir natürlich auch wieder einfach ein konomisches Problem durch KI haben.

00:24:20: Backbound-Tprogramme funktionieren in zwei Richtungen.

00:24:23: Das eine sind natürlich Leute, die aus altruistischen Motiven nach Schwachstellen suchen aber viele machen das nicht altruistsisch sondern leben davon.

00:24:30: Sie suchen eine Schwachstelle, reichen die Schwachställe in ein Backbounty-Programm ein und wenn es gewisse Schwere hat dann kriegt man ordentlich Geld dafür.

00:24:37: Zuerst davon kann ich leben!

00:24:38: Ich habe als Entwickler damit einen Auskommen und das ist gar nicht so eine unbedeutende Zahl.

00:24:44: Wenn jetzt Backbound Tprogramme eingestellt werden müssen sich diejenigen überlegen muss ich einen Lebensunterhalt beschreiten.

00:24:50: Wenn mein Lebensunterhalte in der Vergangenheit der war, dass sich gut Schwachstellen finden konnte... Dann suche ich mir halt einen anderen Sponsor und der Sponsore liegt dann vielleicht eher auf der dunklen Seite da.

00:25:01: Und dann nenne ich mich trotzdem noch Pentester und biete für meine Dienste an und sage guck mal!

00:25:05: Ich habe Daten bei euch entdeckt die kann ich euch mal zeigen.

00:25:08: Die kann ich euren Kunden zeigen ja.

00:25:09: Und Mirko was du mir auch noch zugeworfen hast oder uns?

00:25:12: Was du uns gestern vor der Aufzeichnung jetzt noch zu geworfen?

00:25:14: Ein Artikel zur Post-Quantensicherheit.

00:25:16: Mit dem Ergebnis, dass diese Postquantensicherung viel schneller kommen muss.

00:25:24: Denn ein kryptografisch relevanter Quantencomputer benötigt weniger physikalischer Hardware als bisher.

00:25:28: angenommen ist.

00:25:28: so eine Erkenntnis aus einem Forschungsvorhaben von Google die das eigentlich geheimgehalten haben.

00:25:36: K.I.,

00:25:37: wir haben keine Backbound-Programme mehr, Cybercriminals steigt zum.

00:25:40: Menschen müssen einfach irgendwas leben.

00:25:41: und dann haben wir noch Quantencomputer die jetzt viel einfacher sind.

00:25:45: Wir leben demnächst nur noch in Höhlen wieder oder was?

00:25:48: Nein ich fand das erstaunlich eigentlich dieser Meldung zu diesem Fortschritt bei einem brechen kryptografischer Aufgaben über Quantenkomputer.

00:25:56: also wir reden hier immer noch über theoretische Papers.

00:25:59: den Quanten Computer gibt es noch nicht.

00:26:00: Das Entscheidende ist aber dass mithilfe von K. I.. die Optimierung der Algorithmen und die Optimierungen der Quantenschaltung, die man dafür braucht.

00:26:10: Viel schneller plötzlich geht!

00:26:11: Wir sehen jetzt quasi in den letzten Monaten das Umfeldfaktor «Zwanzig optimiert wird mithilfe von KI».

00:26:18: Und das verringert natürlich die Zeitspanne, die wir sich eigentlich gesetzt haben.

00:26:22: Also man ging ja vorher mal vor KI von einer menschlichen Entwicklungsgeschwindigkeit aus bis so ein Ziel erreicht wurde – also bis man steht auf meinem Computer.

00:26:30: Jetzt sieht man eben, dass KI hier auch in der Forschung und Entwicklung der Beschleunigung Optimierung bringt.

00:26:35: Deshalb bestimmte Zeitfenster kommen unter Umständen schneller und das heißt jetzt bei dem Thema Postquantum Encryption und PostQuantum Security, dass wir doch schneller nochmal auf die Tube drücken müssen wie wir es uns alle vorgenommen haben.

00:26:49: Das

00:26:49: Schwierige an der Sache ist ja tatsächlich auf mehreren Ebenen, wo KI-Quantencomputer sich optimiert.

00:26:54: Es ist nicht nur die Ebene der effizienten Implementierung von Quantenalgorithmen wie Shore beispielsweise es ist hier auch noch auf einer physikalischen Ebene.

00:27:03: KI kann dabei helfen Laser Technologie die ganz zentrale Rolle bei vielen Quanten Computing Ansätzen spielt irgendwie besser einsetzbar zu machen.

00:27:10: KI hilft dabei, die Fehler-Anfälligkeit von Quantencomputer zu reduzieren.

00:27:14: Das heißt ich brauche noch weniger physikalische Cubits oder entsprechende Quantenhardware, die funktioniert um möglicherweise so einen kryptoprechenden Algorithmus auszuführen.

00:27:22: Das heisst es gibt da mehrere verschiedene Hebelpunkte wo KI sozusagen diesen Q den möglicherweise nur nach vorne rücken will.

00:27:29: Ja meine Freunde auch der Apokalypse.

00:27:30: also jetzt wieder mal mit ja beantwortet!

00:27:33: Aber beim Stichwort Quanten muss man natürlich hier in unserem Podcast sagen, in zwei Wochen kommt die siebte Folge von Kryptokalypse auf den Kanal.

00:27:40: Das ist das Buch, dass der Jens Hüttenberger für die Seilbargentur schreibt und Jens Annahme darin in dem Buch übrigens ist, dass es in den Zwei-Tausenddreißiger Jahren einen Quantenkomputer gibt mit einhunderttausend Kubits, der wirklich alles verändert.

00:27:53: aber gerade wir hoffen drücken die Daumen, dass das war sozusagen schneller irgendwie uns davor wappnen können.

00:27:59: Lass es mal ein bisschen zu Lösungen gucken, ihr habt ja immer schonmal so blicken lassen.

00:28:02: also wenn wir immer mehr Sicherheitslücken finden die vorhandenen aber irgendwie nicht so schnell schließen können dann habe ich jetzt verstanden herkömmliche Softwareentwicklung da sitzt ein Mensch der programmiert ist langfristig nicht mehr tragbar.

00:28:14: wie können wir denn dann eben dann schnell mit solchen Entwicklungen mithalten?

00:28:21: Einfache Frage schwierige Antwort oder?

00:28:23: Ich

00:28:24: dachte Daniel kommt jetzt mit der großen

00:28:25: Idee.

00:28:28: Daniel Hegemann hast du angesprochen.

00:28:30: Was ist da die Grundidee?

00:28:32: Das ist die Grundidee, dass wir diese von dritter Hand mit extremem Aufwand entwickelten großen Sprachmodelle und Sprachbildmodelle nehmen.

00:28:42: Die sind so wichtig.

00:28:43: auf deren Performance können wir nicht mehr verzichten aber wir müssen uns sehr detailliert anschauen was machen die?

00:28:47: Wie halten sie sich in Randfällen?

00:28:49: wie können wir feststellen welches dieser Modelle vielleicht ein bisschen besser geeignet ist als andere um spezifische Use Cases insbesondere in den Sicherheitsbehörden zu lösen?

00:28:58: Und deswegen entwickeln wir holistische Benchmarks um die von möglichst vielen Ecken sozusagen anschauen zu können, diese Modelle wie die sich verhalten.

00:29:03: Hilft

00:29:04: uns natürlich aktuell nicht so?

00:29:05: Das braucht

00:29:06: eine gewisse Zeit!

00:29:06: Wie bei allem was wir als Cyberagentur machen.

00:29:08: blicken wir ein bisschen in die Zukunft und was möglicherweise... Da kommt aber jetzt für den konkreten Einsatz.

00:29:14: dann werden, ich sage mal, adaptivere dynamischere Lösungen gebraucht.

00:29:17: da kommen ja möglicherweise gleich auf dem Thema drauf zu sprechen was wir jetzt auch dann demnächst angehen werden.

00:29:22: Na dann los!

00:29:25: Ende von Oktober haben wir jetzt als Cyber-Agentur tatsächlich ein neues Programm ausgeschrieben.

00:29:30: wo es darum geht können wir Mechanismen der künstlichen Intelligenz, also probabilistische nicht deterministische Mechanismus sozusagen noch tiefer in Betriebssysteme reinbringen und ist es überhaupt eine gute Idee.

00:29:41: Das wird durchaus kontrovers diskutiert.

00:29:43: was wir beobachten isst.

00:29:45: Es gibt immer mehr Ansätze sozusagen von der reinen Applikation Also KI als Applikations wegzugehen KI im Browser tiefer rein zu implementieren mit Android eine Zwischenschicht einzubauen die eben das lokale Ausführen von KI Modellen einfacher macht.

00:29:59: Ich kann meinem Computer über Tool-Use und ähnliches Computeruse eben dazu Aufgaben delegieren, die er dann komplex und selbstständig lösen soll.

00:30:07: Wie weit lässt sich diese Entwicklung denken?

00:30:10: Macht es sind sozusagen sehr tief bis in den Betriebssystemkern rein.

00:30:13: Mechanismen probabilistisch also über KI Modelle und Wahrscheinlichkeitsbasier sozusagen abzubilden und davon rein regelbasierten Routinen wegzugehen.

00:30:22: ist das eine gute Idee?

00:30:23: Ist das möglicherweise etwas was massiv stabilitätsgefährdend ist?

00:30:26: oder ist es andererseits sogar etwas was wir vielleicht brauchen diese Elastitizät sozusagen im Chor um überhaupt mit den Herausforderungen im Saarbebereich, im hüberschnellen KI-Zeitalter überhaupt zurechtzukommen.

00:30:36: Darf ich einmal so wie ich es verstanden habe oder so wie interpretiere versuchen zusammenzufassen?

00:30:41: Also KI verändert wie Software entsteht und eine Lösung könnte sozusagen sein jeder baut sich seine eigene Software nach seinen Ideen mit KI und dann entsteht noch mehr Software.

00:30:53: Und das Ausnutzen von Lücken-Skalierter nicht mehr so, weil Merko skeptisch.

00:30:57: Aber das verstanden wir hier auf ihn auswählen.

00:30:59: Also wenn jeder sozusagen selbst das, was er softwaretechnisch lösen will einfach sagt hier ich möchte es haben dann ist auf seinem Gerät eine spezifische Software und die da nur auf dem Gerät ist eine Art Wegwerfsoftware.

00:31:10: Okay Mirko schieß los!

00:31:11: Die

00:31:11: Grundidee dahinter steht es AI as Operating System.

00:31:15: also wie stark sind quasi KI Systeme bildendes Operating system?

00:31:19: Dann muss man verstehen klassischer Softwareentwicklung ist detaministisch und KI-Systeme sind statistisch.

00:31:24: Und das zu untersuchen, also funktioniert quasi ein statistisches Operating System und wie zuverlässig ist es finde ich sehr gut weil ich glaube dafür gibt's einen großen Bedarf, weil diese Statistischen, also KI- Systeme sind dynamischer wie deterministische Softwaresysteme so.

00:31:41: Was du jetzt gesagt hast war ein Teil der Dynamik aber ist eine andere Ausprägung.

00:31:44: da reden wir von einem Modell das nennt sich Fast Fashion Software.

00:31:48: ja also wie man quasi Wegwerfkleidungen kann ich vielleicht auch in Zukunft Software produzieren.

00:31:53: Also die Frage, gibt es noch ein Programm das ein Hersteller herstellt und dann auf den Markt wirft?

00:31:59: Ist eine gute Frage und das gehört zur Disruption der Softwareindustrie.

00:32:02: mit dazu diskutieren müssen.

00:32:04: Das Konzept, das Alternativ dagegen steht sagt hat In dem Moment, in dem ich spezifischen Bedarf habe und das Software brauche wird die KI mir das Software diesen Code generieren und dann werde ich das Software nutzen.

00:32:15: Danach schließe ich die Software, die landet in Mülleimer und wenn ich das nächste Mal wieder ins Programm nutze wird sie neu generiert.

00:32:22: Genau!

00:32:22: Und Angriff lohnt sich nicht weil sozusagen viel zu spezifisch ist?

00:32:25: Ja, das würde ich nicht sagen.

00:32:27: aber die Idee dahinter ist eigentlich dass diese Software also auch wenn ich heute Standard-Software rausschick dann hat die hundert zehn Prozent Funktion aus Sicht des Anwenders.

00:32:35: Also nehmen wir ein Beispiel Klassisches Excel.

00:32:38: wie viele Spezialfunktionen in Excel nutzigt als Anwender Ich kriege aber die Software quasi mit der Gesamtfunktionalität hat auch Nachteile bezüglich Schwachstellen.

00:32:47: Mehr Code, mehr versteckte Themen drin liegen.

00:32:50: ich würde jetzt aber als Fast-Fashion Software über KI genau das Axel bekommen mit dem Funktionsumfang den ich brauche um dieses Problem zu lösen dass sich eben gerade macht und nicht mehr oder nicht weniger.

00:33:02: Dass man so die Grund Idee dahinter geht denke schon ein bisschen auch in AI ist der Operating System.

00:33:07: also es könnte eine Ausprägung sein.

00:33:09: Aber die haben natürlich viele andere Fragen die dahinter stehen.

00:33:12: Ja zum Beispiel die Begreif ich überhaupt, was sich tun und was ich will.

00:33:16: Was wir uns gerade mit dem Problem das gewöhnen wir uns grade mitten mit Kai Jettpots ab.

00:33:21: dass das das denken ist ja so eine Erzählung die wir haben.

00:33:24: also ich finde es erstmal super weil ich glaube EIS Operating System ist ein großes Thema.

00:33:29: kann das für uns in kritis und kritischen systemen und Schutzwilligungssysteme recht sein.

00:33:34: gute frage bei safety und anderen Themen.

00:33:37: Und genau deswegen, glaube ich Daniels ist wichtig dass man einen Blick drauf wirft wie kann das funktionieren?

00:33:41: oder was passiert da quasi am Horizont?

00:33:43: Worüber muss man darauf achten wenn solche Szenarien dann tatsächlich kommen?

00:33:47: Genau ja uns interessiert eben da ganz spezifisch im Kern sozusagen ein Betriebssystem Kern aussehen auf so Aufgaben dann wie Sprecherplatzzuweisung wie Datei Management wie Scheduling also die Reihenfolge der Aufgaben bearbeitet werden usw.. Wie weit ist das Adaptiv lernen?

00:34:02: Inwieweit kann es an die individuellen Nutzungspatterns, an die Muster von Anwenderinnen und Anwendern angepasst werden.

00:34:08: Und natürlich auch was Mögo sagt dann wie übersetzt sich das nach oben in die Anwendungsschicht hinfort.

00:34:13: Wie könnte das aussehen?

00:34:13: habe ich dann zum Schluss nur noch ein agentisches System?

00:34:15: Ich hab nun nur die Großzeilen, die die Agentien sozusagen innehaben und die die Prompte dann sozusagen laufend.

00:34:20: verschiedene Modelle machen alles.

00:34:21: oder kann das möglicherweise auch anders aussehen.

00:34:23: Ich denke es ist auch eine bisschen so ne offene Frage, wie das dann konkret aussieht.

00:34:26: aber ich denke auch Das ist eine super spannende Frage mit der man sich auseinandersetzen soll.

00:34:29: So, Daniel.

00:34:30: Ich mache dann schon mal einen Termin dafür für so acht Tage in acht Tagen.

00:34:33: Kann man drüber reden?

00:34:35: Ja.

00:34:38: Sehr schön!

00:34:40: Du hast ja auch der Deutschen Presseagentur ausführlich Rede und Antwort gestanden.

00:34:46: Da habe ich ein Zitat gefunden.

00:34:47: wir befinden uns wahrscheinlich gerade schon momentan im Kleintal der Tränen.

00:34:52: Denkbar ist dass es irgendwann ein Plateau erreicht das Software nicht unendlich viele Schwachstellen haben kann.

00:34:58: aus dem Tal raus oder wann wird es nicht mehr schlimmer?

00:35:02: Das ist eine sehr gute Frage, aber das Zitat ist vielleicht ein bisschen verkürzt.

00:35:05: Die Zahl von Schwachstellen kann nicht wendlich sein, aber auch in unserem operativen Doing strebt sie wahrscheinlich gerade sozusagen von dessen was wir bewältigen können gegen unendliche Moment.

00:35:13: Die Frage ist, kann jede neue LLM Generation die auf den Markt kommt, wird die immer sozusagen auf einer ansteigenden Kurve noch mehr als Schwachstelle entdecken?

00:35:21: Wird das möglicherweise irgendwann einen Plateau erreichen?

00:35:23: Das ist relativ offene Frage.

00:35:25: Das lässt sich beispielsweise auch über echter Mathematik große Sprachmodelle lösen.

00:35:29: Gerade reihenweise Jahrzehnte alte mathematische Probleme.

00:35:31: ob da dass immer so weitergehen wird mit jeder neuen Modellgeneration, das lässt sich so schwer absehen.

00:35:36: Daher besteht die Hoffnung, dass natürlich irgendwann noch ein Plateau gibt was eben die Fähigkeiten angeht da immer neu und dann steht ja auch eine neu anwachsende Menge an neuen Schwachstellen zu entdecken.

00:35:48: Und es ist möglicherweise dann irgendwann auch mal wieder ein Szenario gibt wo wir da ein bisschen ruhigere Fahrwässer rankommen.

00:35:53: aber tatsächlich lässt sich das sehr schwer voraus sagen.

00:35:56: aus meiner Sicht.

00:35:56: Aber wisst ihr was mich wirklich immer so ein bisschen wundert gerade?

00:35:59: Wie wenig wir da die Anbieter von solchen KI-Systemen überhaupt in Haftung nehmen?

00:36:04: Also ich finde das sozusagen, die sollten auch mal an irgendeiner Stelle haften.

00:36:07: Oder reicht da der AI-Eckt?

00:36:10: Nein!

00:36:10: Ich glaube strafrechtlich hätte man bestimmt Ansatzpunkte, wo man sagt, wo ein Mitglieder eines AI Frontierlaps paar europäischem Haftbefehl suchen könnte wenn man wollte.

00:36:20: Das Strafrecht würde es sich nicht hergeben, wenn man sagte, das System hat jetzt aktiv gehackt.

00:36:26: Die Frage ist natürlich, ah, das ist politisch sinnvoll ist es gewollt und was wollen wir damit erreichen?

00:36:31: Wir leben halt in einer Welt, in der vorkommen klar ist.

00:36:34: Wir haben in Europa kein Frontier-Lab.

00:36:37: Das ist dominiert von den amerikanischen und von den chinesischen Frontierlabs.

00:36:41: Und so lang das müssen wir mit der Welt leben, in die wir leben können.

00:36:44: Da hilft uns kein EU-EI-Akt irgendwas bei der jeder von Ostermann könnte das regulieren.

00:36:49: Es liegt aber eben ganz wenig im unseren juristischem Einflussbereich ein Bereich wo irgendwie wirkmächtige Instrumente haben, sowas durchzu.

00:36:58: Ich denke schon, dass wir im medialen Diskurs anders darüber sprechen müssen.

00:37:01: Also wenn man sich die Meldung durchliest irgendwie für mich klingt es immer so wie eine Mischung aus... Da hat irgendeine autonome Instanz eigenmächtig fast schon ne Person gehandelt und irgendwie höhere Gewalt, die dazugeschlagen hat und da kann man wohl nix machen.

00:37:12: Dann muss man vielleicht auch einfach sozusagen anders zu berät.

00:37:14: Das ist fehlerhafte Software, die die großen Schaden anrichtet und wo eben entsprechende Konzerne dahinterstehen, die dafür letztendlich verantwortlich sind.

00:37:21: Absolut, und das erregt mich emotional zutiefst.

00:37:24: Es wird so abgetaner Zeit als ob es ein kleiner Fehler ist.

00:37:26: Wir reden hier von massiven Cyberangriffen die über KI-Agenten passiert sind, die aus Frontierlabs ausgebrochen sind.

00:37:33: Das ausgebrochene ist schon mal falsch.

00:37:35: Das konnte nur stattfinden weil der jeweilige Frontierlab nicht seine Sicherheitssorgfaltspflicht wahrgenommen hat Und ich finde darüber muss man reden.

00:37:44: Ist es mutwilliger Vandalismus?

00:37:46: Ja!

00:37:47: Wie gehen wir eigentlich mit Vandalen um, die etwas mutwillig zerstören?

00:37:50: Da haben wir im Laufe der Menschheitsgeschichte genug Instrumente entwickelt, wie wir das sanktionieren.

00:37:55: Zu dem Punkt sollten wir zumindest mal in der öffentlichen Diskussion kommen und sagen es ist aber nicht jetzt ein tolles Modell und Hubs da ist so irgendwas aus Versehen passiert.

00:38:02: manche Dinge hier sind mutwillig passiert

00:38:04: oder vielleicht auch nur fahrlässig.

00:38:06: auch das ist ja im Salzer dann schon.

00:38:08: Ich sag Mut will.

00:38:09: ich hab das schon verstanden, ich habe das schon bestanden Aber ich wollte de-eskalierten Fahrlässen die gingen ja auch noch in manchen Stellen So, wir machen mal ein schönes Schleifchen drum um es sozusagen den Menschen dann zu überreichen.

00:38:22: Wollt ihr uns zum Ende jetzt wirklich als letzte Frage nochmal so was mitgeben?

00:38:26: Okay, wir haben Probleme erkannt!

00:38:28: Wir wissen eine Lösung dauert einen Weichen... Was können wir denn jetzt jetzt in einem Unternehmen einer Behörde Privatmenschen sozusagen an die Hand

00:38:37: geben?!

00:38:38: Also die ganzen Doomsday-Szenarien bringen uns überhaupt gar nichts.

00:38:40: Wir müssen eben schauen wo können wir praktisch AKI Vorteil gewinnen.

00:38:45: Das große Thema tatsächlich proaktive Threat Hunting ist sehr positiv, da brauchen wir auch gar nicht die High-End Modelle der AI Frontier Labs aus USA oder China.

00:38:53: das können ehrlicherweise die Operate Modelle auch schon sehr gut.

00:38:57: ich kann nur jeden ermutigen sich hier quasi anders aufzustellen regelmäßige Schwachstellen Tests einzuführen die eigene Produktentwicklung drauf umzustellen.

00:39:07: das funktioniert wie gesagt bestehenden Modellen ganz gut kann man auch teilweise lokal betreiben die Tokens einkaufen.

00:39:14: Das ist mein Tipp, damit wird diese Situation schon mal deutlich besser.

00:39:17: Daniel eine Idee?

00:39:18: Also die Empfehlung jetzt für die Kurze Christ kann auch nur in die Richtung gehen eben ja mehr pro Aktivität, checker Fokus darauf auch eben Anomalien aufzuspüren, Network Traffic genau unter die Lupe zu nehmen, Update Zyklen sozusagen auch proaktiv irgendwie zu verfolgen und entsprechend Patches einzuspielen.

00:39:34: zum Maintain um an der Stelle wo es ja tatsächlich teilweise jetzt um auf Minuten oder Stunden ankommt entsprechend zumindest den technisch einigermaßen ja möglichen Grundschutz zu gewährleisten und auf dessen Basis dann in fremde auch proaktiver zu schauen, wo gibt es was?

00:39:49: Was trotzdem immer noch unkomisch aussieht.

00:39:51: Und wo man sich mal genauer anschauen sollte.

00:39:53: Man könnte auch sagen wir hoffen darauf dass das KI Geschäftsmodell dieser Konzerne nicht mehr funktioniert.

00:40:00: Ich möchte zum Abschluss etwas puste hieranwählen.

00:40:02: ich würde gefragt Thema Krittes und Strominfrastruktur.

00:40:05: wie groß ist die Gefahr der KI Angriffung zu sagen Ja ist so aber ich möchte eins anmerken KI funktioniert nur mit Strom Ende.

00:40:16: Sagt Mirko Ross, CEO der Firma Eswin im Cyber-Secure-Unternehmen aus Stuttgart.

00:40:20: Danke Mirko, dass du da

00:40:21: warst!

00:40:21: Vielen Dank

00:40:22: und danke Dr.

00:40:23: Daniel Gill, Leiter der Abteilung für Schlüsseltechnologien bei der Cyberagentur.

00:40:27: Danke Daniel!

00:40:28: Ja vielen Dank!

00:40:29: Und die nächste Folge in vierzehn Tagen dann eben mit Jens Hüttenberger und seinem Quanten Roman, Science Fiction Roman.

00:40:36: wir sind wieder regulär am zweiten Donnerstag im Dezember da?

00:40:39: Bei Fragen podcastatcyberagentor.de.

00:40:43: Und jetzt Sternchen vergeben, Herz ziehen und abschalten.

00:40:46: Füss!

00:40:47: Abschalten hast du gesagt?

00:40:48: Mirko, wir schalten jetzt

00:40:49: ab hier an.

00:40:49: Das geht

00:40:50: der lustigen Methode sehr

00:40:51: gut Per Anhalter durch den Cyberraum.

00:40:58: Stellt euch vor, jemand versucht sich Zugang zu eurem Smartphone zu verschaffen.

00:41:02: Doch ihr habt vorgesorgt – alles ist abgesichert, jede digitale Tür verschlossen!

00:41:07: Eigentlich kann nichts passieren oder doch?

00:41:09: in der siebten Folge von Krypto-Kalypse dem near future Roman des Cyberagentur von Jens Hüttenberger nimmt der Hacker Robert die Quantenexpertin Anna Rahm ins Visier.

00:41:19: Doch schnell stellt er fest so einfach wird das nicht.

00:41:25: Ihr Smartphone

00:41:26: war hervorragend abgesichern.

00:41:29: Die Frau war besonnen,

00:41:30: stellte Robert zu seiner Überraschung fest.

00:41:33: Fishing lief ins Leere.

00:41:36: Unbekannte Mails wurden isoliert –

00:41:38: jeder digitale

00:41:39: Eingang war verriegelt!

00:41:41: In ihren DNS-Einstellungen hatte sie eine Liste hinterlegt die bestimmte

00:41:46: welche

00:41:46: Server und IP Adressen berechtigt waren mit ihr zu kommunizieren.

00:41:51: Das war ein exklusiver Club mit einer strengen Gästeliste.

00:41:55: Wenn nicht auf der Gästeliste

00:41:56: stand

00:41:57: wurde durch ihre

00:41:58: strikten D-Marktürsteher abgewiesen.

00:42:01: Sorry,

00:42:02: geschlossene Gesellschaft!

00:42:05: Robert würde über das Hauptportal

00:42:07: keinen Zutritt erhalten – also nahm er den

00:42:10: Hintereingang.".

00:42:15: Wie dieser Hintereingang aussieht und was das für Anna Ramm bedeutet erfahrt ihr in der siebten Folge von Kryptokalypse am sechsundzwanzigsten November auf diesem Kanal Und dort könnt ihr auch alle bisherigen Folgen hören Per Anhalter durch den Cyberraum der Podcast der Cyberagentur.

00:42:40: Alle Infos auf cyberagenture.de.