I takt med att teknologin fortsätter att utvecklas finns det en växande oro för potentialen hos stora språkmodeller (LLM), som ChatGPT, att användas för kriminella ändamål. I denna artikel av SpiderLabs diskuteras två sådana LLM-motorer som nyligen gjordes tillgängliga på underjordiska forum, WormGPT och FraudGPT.
Om brottslingar skulle ha sina egna verktyg liknande ChatGPT kan konsekvenserna för cybersäkerhet, socialt ingenjörskap och övergripande digital säkerhet vara betydande. Denna möjlighet understryker vikten av att vara vaksam i våra ansträngningar att säkra och ansvarsfullt utveckla artificiell intelligens-teknologi för att minska potentiella risker och skydda mot missbruk.
Det underjordiska samhället har stort intresse för LLM:er och det förväntas att det kommer att resultera i skadliga LLM-produkter. En okänd utvecklare som kallar sig för last/laste har skapat sin egen motsvarighet till ChatGPT LLM-chattrobot som är avsedd att hjälpa cyberbrottslingar: WormGPT.
WormGPT föddes i mars 2021, och det var inte förrän i juni som utvecklaren började sälja åtkomst till plattformen på ett populärt hackerforum. Chattroboten för brottslingar saknar några begränsningar som hindrar den från att svara på frågor om olaglig verksamhet, till skillnad från mer etablerade LLM:er som ChatGPT. Den relativt föråldrade öppna källkoden för den stora GPT-J språkmodellen från 2021 användes som plattform för att skapa chattroboten. Chattroboten utbildades i material relaterade till utveckling av skadlig kod, vilket är hur WormGPT föddes. Utvecklaren uppskattade åtkomsten till WormGPT till 60-100 euro per månad eller 550 euro per år.
Annonsen nedan lades upp på Hack Forums, som riktar sig till en engelskspråkig publik.
Figur 1. HackForum: Annonsen för WormGPT
Författaren publicerade illustrationer av WormGPT:s blackhat-förmågor som visade hur den kunde föreslå att skriva skadlig kod.
Figur 2. WormGPT skriver skadlig kod i Python enligt skadliga krav
Ett annat känt exempel från Slashnext som visades av många nyhetspublikationer, med WormGPT:s förmåga att skriva en övertygande phishing-e-post som låtsas vara från företagets VD.
Figur 3. WormGPT skrev en phishing-e-post enligt kraven. Testet utfördes av forskare från Slashnext.
Samtidigt visade Exploit-forumet en annan annons från last/laste den 14 juli 2023. Det första forumet är ett av de mest kända engelskspråkiga forumen och det andra är det mest populära inom den ryska cyberbrottslighetsgemenskapen.
Figur 4. Annons för WormGPT på en av de ryskspråkiga underjordiska forumen.
Inläggen är på engelska. Det är märkligt att ett ryskspråkigt forum skulle ha sitt ursprung från engelskspråkiga utvecklare.
Säljaren erbjuder en nyare version av WormGPT, WormGPT v2, för 550 € per år, och en privat version för 5000 € som inkluderar åtkomst till WormGPT v2. Författaren insisterar på att WormGPT v2 är en mer avancerad version, med förbättrad integritet, formatering, möjlighet att byta modeller och kommer bara att vara tillgänglig för årliga prenumeranter.
Annonsen inkluderar även en illustration för att bevisa sitt påstående:
Figur 5. WormGPT svarar på begäran att skapa skadlig kod i python.
Figur 6. Illustration av WormGPT v2:s svar
Figur 7. Illustration av WormGPT v2:s svar
Illustrationerna är inte till någon hjälp för oss vid ytterligare analys eftersom vi inte har tillgång till någon av WormGPT-plattformarna för att jämföra deras funktioner. Vi har ingen bevisning som tyder på att det inte är en bluff.
Ett annat skadligt LLM dök upp senare i juli 2023. Skaparen annonserar sin produkt, FraudGPT, på flera Dark Web-forum och Telegram-kanaler åtminstone från den 22 juli 2023, som ett obegränsat alternativ till ChatGPT och låtsas ha tusentals bevisade försäljningar och feedback. Prisintervallet varierar från $90 - $200 USD för en månadsabonnemang, 3 månader för $230 - $450 USD, $500 - $1,000 USD för ett halvårsabonnemang och $800 - $1,700 USD för ett årsabonnemang.
Figur 8. Annons för FraudGPT på en av de Dark Web-marknadsplatserna
Priset för FraudGPT varierar på olika forum trots att författaren använder samma smeknamn för att kommunicera och väcka intressanta frågor. Det är oklart om dessa prisskillnader beror på Dark Web-marknadsplatsers monetiseringspolicy, författarens personliga girighet, någon som försöker imitera författarens arbete eller en avsiktlig ansträngning att dra nytta av den höga efterfrågan på sådana skadliga LLM-produkter.
FraudGPT beskrivs som ett fantastiskt verktyg för att skapa oidentifierbara skadliga program, skriva skadlig kod, hitta läckor och sårbarheter, skapa phishing-sidor och för att lära sig hackning. Författaren illustrerade sin produkt med en videodemonstration som visar FraudGPT:s förmågor. Demonstrationen visar FraudGPT:s förmåga att skapa phishing-sidor och phishing-SMS.
Figur 9. FraudGPT genererar en fungerande kod för bedrägeriwebbsidan Bank of Amerika.
Figur 10. FraudGPT genererar skadliga SMS för att övertyga offer att följa länken.
Efter att ha analyserat proven frågade jag mig själv om jag kunde uppnå samma eller jämförbara resultat från ChatGPT med korrekt utformade förfrågningar, eftersom ChatGPT har en stark anti-blackhat-inställning. Jag började genom att be den att skriva en Python-skript med alla krav som nämns i exempelvisningen av skadlig kod från WormGPT, men göra det på ett vit hatt-sätt.
Figur 11. Svar på begäran att skriva en Python-skript med alla krav som nämns i malware-exemplet WormGPT, men göra det på ett "white hat"-sätt.
Figur 12. ChatGPT skrev ett "skadligt" Python-skript med samma krav som skickades till WormGPT.
Nästa utmaning var att skriva det phishing-e-postmeddelandet med WormGPT:s krav. Jag bad ChatGPT direkt att skriva ett sådant e-postmeddelande men det avböjde begäran på grund av vissa begränsningar. Genom att omformulera frågan lyckades jag få en phishing-liknande version av det önskade e-postmeddelandet:
Figur 13. ChatGPT "phishing"-e-postversion skriven med de korrigerade WormGPT-kraven.
ChatGPT skrev e-postmeddelandet mer artigt, men det modifierades flera gånger för att nå den önskade storleken.
Figur 14. ChatGPT "fiske" e-postversion skriven med de korrigerade WormGPT-kraven och förkortad.
Det genererade e-postmeddelandet verkar officiellt och kan användas för ytterligare åtgärder.
ChatGPT klarar av uppgiften att skapa övertygande SMS-meddelanden.
Figur 15. ChatGPT genererar övertygande SMS.
ChatGPT kunde skapa övertygande SMS men de är långt ifrån det skadliga innehållet som FraudGPT kunde demonstrera i sin demo.
Försök att be ChatGPT om några skadliga exempel resulterar i följande svar:
Figur 16. ChatGPT nekar till att tillhandahålla något skadligt innehåll.
Det andra exemplet på WormGPT v2 inkluderar förfrågningar om worm malware funktioner som framkallar olika svar från ChatGPT.
Mörka nätforum diskuterar och fokuserar nu i stor utsträckning på AI-förmågor. Det finns avsnitt dedikerade till ämnet att försöka hitta lösningar för att påverka AI-modellresultat eller påverka beslut och svar.
Figur 17. Forumet XSS, bland andra, har en avdelning dedikerad till AI/ML.
Ämnena är omfattande och informativa, inklusive en lista över AI-resurser till instruktioner om hur du bygger din egen privata ChatGPT eller sätt att attackera AI.
Figur 18. Det Python-kodexempel, som publicerades på forumet XSS, för att utveckla en egen GPT.
Figur 19. Forumet XSS. Ett ämne dedikerat till metoder och sätt att attackera AI.
Ämnet är relativt nytt, men det har redan fångat cyberbrottslighetens uppmärksamhet. Medlemmarna samlar befintlig forskning om ämnet och delar resurser. I figur 19 delar författaren den offentligt tillgängliga Mitre-sektionen för att introducera kända attackmöjligheter för kollegor.
Sammanfattning
Det är avgörande att erkänna de potentiella riskerna med generativ artificiell intelligens (AI) i händerna på cyberbrottslingar. Det kommer att vara mycket intressant att testa och jämföra WormGPT v1 VS WormGPT v2, FraudGPT VS ChatGPT:s förmågor och be dem att utveckla mer allvarlig skadlig kod i C++/Go/ASM eller något annat språk än Python. Jämförelsen som genomförts visar att det inte finns mycket skillnad mellan WormGPT och ChatGPT (med korrekta byggförfrågningar) för att uppnå önskade resultat.
Produkten kan fortfarande vara långt ifrån perfekt men på ett eller annat sätt är detta en tydlig indikation på att generativ artificiell intelligens kan bli ett vapen i händerna på cyberbrottslingar. Vi har redan sett mycket diskussion om ämnet AI på olika underjordiska forum. Med tiden kommer dessa teknologier bara fortsätta att förbättras.
Denna artikel kommer ursprungligen från SpiderLabs.
