ITU forsker sikrer bevilling til sikkerhedsoptimering af AI-systemer
Lektor Alessandro Bruni fra IT-Universitetet i København er i øjeblikket på Advanced Institute of Science and Technology i Japan, hvor han samarbejder med andre forskere om at udforske det matematiske fundament for verificering af maskinlæringssystemer. Projektet er støttet af Carlsbergfondet.
Forskningkunstig intelligensprogrammeringssprogbevillingerAlessandro Bruni
Skrevet 19. marts 2025 09:25 af Theis Duelund Jensen
Forskningsprojektet VeriFunAI, der udforsker det matematiske fundament for verificering af maskinlæringssystemer, har som mål at gøre AI-systemer mere robuste og taler derved direkte ind i en af EU’s digitale mærkesager og grundlaget for AI-loven.
”AI-systemer, der er konstrueret ved hjælp af maskinlæring, i særdeleshed neurale netværk, skal være robuste og fri for sikkerhedsbrister, så de ikke skader mere end de gavner. Maskinlæringssystemer er notoriske for at indeholde fejl, der kan udløse sikkerhedsbrister, fordi fejlene forårsager beregningsproblemer, som påvirker resten af systemet,” siger Alessandro Bruni.
For at komme problemet til livs arbejder Alessandro Bruni og hans kolleger inden for rammerne af VeriFunAI-projektet på at udvikle verificerbare maskinlæringssystemer på et matematisk fundament bestående af funktionsanalyse og sandsynlighedsteori.
Udover Alessandro Bruni, der er specialist i matematisk formalisme, statistik og maskinlæring, tæller projektet Ekaterina Komendantskaya, professor ved University of Southampton og ekspert i AI, maskinlæring, logik og programmeringssprog, samt Reynald Affeldt, som er seniorforsker ved AIST i Japan og ekspert i teori om verificerbar information og sandsynlighedsbaseret programmering.
Projektet skal i sidste ende bidrage til to forskningsstrenge: brugen af Interactive Theorem Provers (ITP) til at formalisere matematik samt udviklingen af Diffenrentiable Logics (DL) i forbindelse med Neuro-Symbolic AI. ITP er softwareredskaber, der kan verificere korrektheden af matematiske læresætninger. Til den opgave benytter forskerne Rocq ITP og MathComp-biblioteket til formalisering. DL faciliterer træning af neurale netværk, så de lever op til specifikke sikkerhedsstandarder, fx robusthed over for små uregelmæssigheder i input.
”Bevillingen fra Carlsbergfondet giver os mulighed for at gøre store fremskridt i arbejdet med at sikre AI-systemer og gøre dem mere robuste. I sidste ende vil det højne AI-sikkerhedsstandarden på tværs af EU-landene,” siger Alessandro Bruni.
Theis Duelund Jensen, Presseansvarlig, telefon +45 2555 0447, email