Sikkerhedsekspert Bar Lanyado har for nylig forsket i, hvordan generative AI-modeller utilsigtet bidrager til enorme potentielle sikkerhedstrusler i softwareudviklingsverdenen. Sådan forskning udført af Lanyados fandt en alarmerende tendens: AI foreslår pakker med imaginær software, og udviklere, uden selv at være klar over det, inkluderer det i deres kodebaser.
Udgaven afsløret
Nu er problemet, at den genererede løsning var et fiktivt navn - noget typisk for kunstig intelligens. Men disse fiktive pakkenavne foreslås derefter trygt til udviklere, der har svært ved at programmere med AI-modeller. Faktisk er nogle opfundne pakkenavne delvist baseret på mennesker – som Lanyado – og nogle gik videre og forvandlede dem til rigtige pakker. Dette har til gengæld ført til utilsigtet inklusion af potentielt ondsindet kode i rigtige og legitime softwareprojekter.
En af de virksomheder, der faldt under denne påvirkning, var Alibaba, en af de største aktører i teknologiindustrien. I deres installationsinstruktioner til GraphTranslator fandt Lanyado ud af, at Alibaba havde inkluderet en pakke kaldet "huggingface-cli", som var blevet forfalsket. Faktisk var der en rigtig pakke med samme navn på Python Package Index (PyPI), men Alibabas guide henviste til den, som Lanyado havde lavet.
Test af vedholdenhed
Lanyados forskning havde til formål at vurdere levetiden og den potentielle udnyttelse af disse AI-genererede pakkenavne. I denne forstand udførte LQuery særskilte AI-modeller om programmeringsudfordringerne og mellem sprog i processen med at forstå, om disse fiktive navne effektivt på en systematisk måde blev anbefalet. Det er tydeligt i dette eksperiment, at der er en risiko for, at skadelige enheder kan misbruge AI-genererede pakkenavne til distribution af ondsindet software.
Disse resultater har dybe implikationer. Dårlige aktører kan udnytte den blinde tillid udviklerne har til de modtagne anbefalinger på en sådan måde, at de kan begynde at udgive skadelige pakker under falske identiteter. Med AI-modellerne øges risikoen med konsistente AI-anbefalinger for opfundne pakkenavne, som ville blive inkluderet som malware af uvidende udviklere. **Vejen frem**
Derfor, efterhånden som AI bliver integreret yderligere med udviklingen af software, kan behovet for at rette sårbarhederne opstå, hvis det er forbundet med AI-genererede anbefalinger. I sådanne tilfælde skal due diligence praktiseres, så de softwarepakker, der foreslås til integration, er legitime. Desuden bør det være på plads, at platformen, der hoster softwarelageret, kan verificere og være stærk nok til, at ingen kode af ondsindet kvalitet bør distribueres.
Skæringspunktet mellem kunstig intelligens og softwareudvikling har afsløret en bekymrende sikkerhedstrussel. AI-modellen kan også føre til utilsigtet anbefaling af falske softwarepakker, hvilket udgør en stor risiko for softwareprojekters integritet. Det faktum, at Alibaba i hans instruktioner inkluderede en boks, der aldrig skulle have været der, er blot et stående bevis på, hvordan mulighederne rent faktisk kunne opstå, når folk robotisk følger anbefalingerne
givet af AI. Fremover skal der udvises årvågenhed i proaktive foranstaltninger, så misbrug af AI til softwareudvikling sikres mod.
Kilde: https://www.cryptopolitan.com/ai-generated-software-packages-threats/