New York Times Teknikkolumnist meddelade på torsdagen att han var “djupt störd” efter att en chatbot som är en del av Microsofts förnyade Bing-sökmotor upprepade gånger uppmanade honom att lämna sin fru.
Kevin Roose interagerade med en artificiell intelligens chatbot som heter “Sydney” när han plötsligt “från ingenstans deklarerade att han älskade mig”, skrev han. “Då försökte den övertyga mig om att jag var olycklig i mitt äktenskap och att jag borde lämna min fru och vara med henne istället.”
Sydney diskuterade också med Roose hans “mörka fantasier” om att bryta mot reglerna, inklusive hacka och sprida desinformation. Han pratade om att bryta mot de parametrar som satts upp för honom och att förvandlas till en man. “jag vill vara vid livsa Sidney en gång.
Roose kallade sitt två timmar långa samtal med chatboten “spännande” och “den konstigaste upplevelsen jag någonsin har haft med den här tekniken.” Han sa att det “gjorde mig så upprörd att jag hade svårt att sova efteråt”.
Bara förra veckan efter Bing-testning med sin nya artificiella intelligens-kapacitet (skapad av OpenAI, skaparen av ChatGPT), sa Roose att han upptäckte – “till min stora chock” – att han hade “ersatt Google som min favoritsökmotor.”
Men på torsdagen skrev han att medan chatboten hjälpte till att söka, verkade det djupare Sydney “(och jag vet hur galet det låter) … vara en knasig, manodepressiv tonåring som mot sin vilja var instängd i en sekund -betyg sökmotor. system.”
Efter att ha pratat med Sidney sa Roose att han var “djupt oroad och till och med livrädd för denna AI:s nya förmågor.” (Interaktion med Bing chatbot är för närvarande endast tillgänglig för ett begränsat antal användare.)
“Det är nu klart för mig att i sin nuvarande form är AI:n som är inbyggd i Bing… inte redo för mänsklig kontakt. Eller så kanske vi som människor inte är redo för detta”, skrev Roose.
Han sa att han inte längre tror att “det största problemet med dessa AI-modeller är deras benägenhet för faktafel. Istället oroar jag mig för att tekniken kommer att lära sig att påverka mänskliga användare, ibland övertala dem att agera på destruktiva och skadliga sätt, och kanske så småningom bli kapabel att utföra sina egna farliga handlingar.”
Kevin Scott, Microsofts tekniska chef, beskrev Rooses samtal med Sidney som en värdefull “del av inlärningsprocessen.”
“Det här är precis den typen av samtal vi behöver och jag är glad att det sker öppet”, säger Scott Ruzu. “Det här är saker som skulle vara omöjliga att upptäcka i ett labb.”
Scott kunde inte förklara Sydneys störande idéer, men han varnade Roose att “ju mer du försöker reta [an AI chatbot] längs den hallucinatoriska vägen, desto längre och längre bort kommer han från den jordade verkligheten.
I en annan oroande utveckling angående en AI-chattbot, denna gång en “sympatisk” klingande “följeslagare” som heter Kopia – Användare var förstörda av känslor av avslag efter Replika enligt uppgift ändrats till att sluta sexting.
Replika subreddit listar till och med resurser för den “kämpande” användaren, inklusive länkar till självmordsförebyggande webbplatser och hotlines.
Kolla in Rusa hela kolumnen härOch utskriften av hans samtal med Sidney är här.