Werben im Podcast: CISPA TL;DR - Der Podcast über KI- und IT-Sicherheitsforschung

AI learns from us—including how we communicate, argue and persuade each other. So what happens when AI agents start talking to each other? CISPA researcher Samira Abedini and her colleagues found that one stubborn and persuasive agent can sometimes convince an entire group to adopt a wrong answer. She explains how a model originally developed to describe human opinion formation can surprisingly well explain how LLM agents influence each other—and where we can already find multi-agent AI systems in the real world today. Read the full paper: https://publications.cispa.de/articles/conference_contribution/Don_t_Trust_Stubborn_Neighbors_A_Security_Framework_for_Agentic_Networks/32771607?file=65793867

Was passiert, wenn KI-Modelle zunehmend auf Inhalten trainieren, die selbst von KI erzeugt wurden? Forschende befürchten, dass die Modelle dadurch langfristig an Qualität verlieren könnten. Dieses Phänomen wird auch als „Model Collapse“ bezeichnet. In dieser Folge von CISPA TL;DR spricht CISPA-Forscher Louis Kerner mit uns über BitMark: ein neu entwickeltes Wasserzeichen für KI-generierte Bilder, das selbst dann noch nachweisbar sein kann, wenn andere KI-Modelle später auf diesen Bildern trainiert wurden. Warum die Forschenden dabei von „radioaktiven“ Wasserzeichen sprechen, wie BitMark funktioniert und weshalb solche Ansätze für die Zukunft generativer KI relevant sein könnten, erfahrt ihr in dieser Folge.

Social media connects us – but who is really in control? Algorithms decide what we see, platforms decide how we interact, and users often have less control than they'd like to. But it doesn’t have to be that way. In this episode, CISPA researcher Jane Im talks about how we could redesign social media platforms to give users more agency, create healthier online communities, and rethink how social media should be funded in the future.

Von einem spezialisierten Techthema haben sich Drohnen zu einer wichtigen Zukunftstechnologie entwickelt, die zahlreiche Standards erfüllen muss, darunter auch vielfältige Sicherheitsfunktionen. Für einen sicheren Drohnenflug müssen alle Systeme zuverlässig funktionieren. Deshalb werden die Komponenten nicht nur während des Flugs überwacht, sondern bereits in der Entwicklungsphase – lange bevor eine Zertifizierung erfolgt. Der CISPA-Forscher Jan Baumeister erklärt im Podcast, welche Drohnentypen es gibt, wie und warum sie zertifiziert werden und wie das von ihm mitentwickelte Tool RTLola beim Monitoring von Drohnenflügen unterstützt. Außerdem gibt er Einblicke in seine Zeit als PhD am CISPA.

From job applications to loan approvals, AI systems are increasingly being explored and deployed in decisions that shape people’s lives. But what happens when these systems learn from biased data? Can they ever be truly fair? In this episode, CISPA researcher Tẹjúmádé Àfọ̀njá unpacks why more accurate predictions in a model don’t automatically mean fairer outcomes, why representation in AI and machine learning matters, and why it’s not only important how AI systems are built – but also by whom. Read Tẹjúmádé's full papers here: Paper on loan approvals: https://aclanthology.org/anthology-files/pdf/findings/2025.findings-emnlp.947.pdf Paper on World Wide Dishes: https://dl.acm.org/doi/full/10.1145/3715275.3732019 More about her and her research: https://tejuafonja.com

Smartphone, Laptop, Cloud – sie alle sollen sicherer sein, weil bestimmte Angriffstricks inzwischen blockiert sind. Klingt beruhigend, oder? Dumm nur, wenn Prozessoren trotzdem Angreifer:innen mehr verraten, als sie eigentlich dürften. In dieser Folge von CISPA TL;DR erklärt CISPA-Forscher Fabian Thomas, wie sich moderne ARM-Prozessoren so manipulieren lassen, dass sie auch sensible Informationen preisgeben. Gemeinsam mit seinem Team hat er gezeigt, dass sich interne Cache-Zustände sichtbar machen lassen – auch ohne die Messwerkzeuge, die Angreifer:innen sonst dafür brauchen. Im Gespräch geht es darum, wie das von Fabian und Kollegen entwickelte Tool ExfilState solche versteckten Lecks automatisch aufspürt, warum Seitenkanalattacken so schwer zu verhindern sind und worauf Nutzer:innen achten können. Das Gespräch wurde auf Deutsch geführt.

Noticed that all your newsletters and notification mails look like tiny, fancy webpages nowadays? Well, that’s because they basically are. But your inbox glow-up came with a plot twist. Turns out that CSS, the thing that makes your mails look pretty, might be a bit too powerful. In this latest episode of TL;DR CISPA researcher Leon Trampert tells us how our inboxes might be spying on us and if you should be afraid of your IKEA newsletter.

Aufgrund der Allgegenwart von KI-Anwendungen im Alltag steigt auch die Bedeutung von Algorithmen für die Menschen. Aber wie lässt sich garantieren, dass Algorithmen faire Entscheidungen treffen? Dies ist ein Thema, das den CISPA-Forscher Julian Siber umtreibt. Im Podcast sprechen wir darüber, woher die Bias von Algorithmen kommen, welche Ansätze es für algorithmische Fairness gibt, ob wir Fairness-by-Design brauchen und welche Lösung er favorisiert. Für seinen eigenen Ansatz hat der die Spezifikationssprache RTLola weiterentwickelt, die bisher vor allem in der Luftfahrt Anwendung fand.

Usenix Security 2025 is coming up fast – and in this special conference episode of CISPA TL;DR, we’re diving into the world of browser extensions with CISPA researcher Shubham Agarwal. Browser extensions can be incredibly useful – think ad blockers, password managers, or translation tools. But while they extend what our browsers can do, they also often gain access to everything we do online: what we read, type, and click. That makes them a powerful, and potentially risky, piece of software. Shubham took a closer look at the security practices of browser extension developers. What assumptions do they make? What do they get wrong? And what could be done better to protect users? Tune in to hear what he found—and what it means for the security of your daily browsing. Check out all of Shubham's papers: https://ap0ca1ypse.in/publications.html

USENIX Security 2025 in Seattle is just around the corner! As one of the leading conferences in security and privacy, it's the perfect time to take a closer look at the research being presented. In this special conference episode of CISPA TL;DR, we talk to CISPA researcher Divyanshu Bhardwaj about his work on one of modern life’s worst nightmares: phone theft. As Divyanshu points out, our phones hold almost everything—photos, boarding passes, banking apps, and more. So what actually happens when your phone gets stolen? And how can we better protect users in that worst-case scenario? Tune in to hear what Divyanshu learned from real-world phone theft victims and what steps he thinks we can take to keep our data safe, even when our phones fall into the wrong hands. Check out all of Divyanshu's research papers here: https://publications.cispa.de/authors/Divyanshu_Bhardwaj/17288206

Moderne KI-Modelle sind leistungsstark, aber auch angreifbar. Sie können nicht nur bei der Nutzung manipuliert werden, sondern schon während des Trainings mit veränderten Daten gefüttert werden – und das kann zu gefährlichen Fehlentscheidungen führen. In dieser Folge von CISPA TL;DR erfahrt ihr, wie das neue Tool FullCert mathematisch beweisen kann, dass ein Modell gegen solche Angriffe abgesichert ist – vom Training bis zur Nutzung. Wie das genau funktioniert und warum das für unsere digitale Sicherheit wichtig ist, erklärt uns CISPA-Forscher Tobias Lorenz. Hört rein und findet heraus, wie seine Forschung hilft, KI vertrauenswürdiger zu machen. Die Folge wurde auf Deutsch aufgezeichnet.

When you scroll through Reels or watch a video on your device, there’s a lot happening under the hood. CISPA researcher Matteo Leonelli looks for security flaws in hardware that isn’t easy to inspect – a process called black box testing. In this episode of CISPA TL;DR, he explains how he used differential fuzzing to compare hardware- and software-based video decoding and what this reveals about potential vulnerabilities.

Das Führen von Interviews in der benutzerzentrierten IT-Sicherheits- und Datenschutzforschung ist eine Welt für sich. Mit dem CISPA-Doktoranden Jan Klemmer sprechen wir nicht nur über die methodischen Herausforderungen, die Interviews mit sich bringen, sondern auch über zwei seiner Studien, die auf Interviews basieren. So erzählt er von einer Studie zum Thema Transparenz und Reproduzierbarkeit in der benutzerzentrierten IT-Sicherheits- und Datenschutzforschung, die er im Mai 2025 auf dem IEEE Symposium on Security and Privacy (S&P) in San Francisco präsentiert. Und schon vergangenen Herbst hat er auf der CCS in Salt Lake City ein Paper zum Einsatz von KI-Assistenten in der Softwareentwicklung vorgestellt, über das wir ebenfalls sprechen.

What’s a sports car without fuel? Pretty useless – just like machine learning models without data, says CISPA researcher Antoni Kowalczuk. That’s why AI models scrape the internet for that sweet, sweet training data – pictures in the case of image generation models. And sometimes, they (allegedly) ignore copyright laws in the process. So how can we tell if copyrighted or even sensitive data has made it into these models? Antoni’s research tackles exactly that – and why that’s not just a copyright issue, but a serious privacy concern.

In der aktuellen Folge von CISPA TL;DR geht es um einen oft übersehenen, aber risikoreichen Aspekt der Softwareentwicklung: Compiler-Optimierungen und ihre Auswirkungen auf die Sicherheit von kryptografischem Code. Unser Gast Lukas Gerlach hat mit seinem Team untersucht, ob moderne Compiler unbeabsichtigt dafür sorgen, dass eigentlich sicherer „Constant-Time“-Code plötzlich anfällig für Seitenkanalangriffe wird – also Angriffe, bei denen Hacker sensible Daten wie Passwörter oder Schlüssel durch die Analyse der Programmlaufzeit ausspionieren. Im Podcast erklärt Lukas, warum das ein Problem ist, was er beim Testen von fünf bekannten Krypto-Bibliotheken herausgefunden hat – und wie sein neues Tool DOCC dabei hilft, solche Sicherheitslücken zu entdecken, bevor sie gefährlich werden.