Stanford-forskere finder ud af, at GPT-4 bliver dummere med tiden
Miscellanea / / July 20, 2023
Nøjagtigheden af den betalte version af ChatGPT var lavere end for den gratis chatbot.
Ny undersøgelse fra videnskabsmænd ved Stanford University bekræftede, hvad netbrugere har klaget over i ugevis: ChatGPT Plus, baseret på GPT-4 er virkelig blevet dummere – i modsætning til GPT-3.5, som kører den gratis version af chatbotten.
I deres undersøgelse sammenlignede forfatterne svar på forskellige anmodninger fra en chatbot baseret på GPT-4 og GPT-3.5. De fandt ud af, at chatbottens adfærd og nøjagtigheden af svar på nogle anmodninger i den nye version er betydeligt forværret.
Forfatterne sammenlignede sprogmodellerne GPT-4 og GPT-3.5, der blev udgivet i marts og januar. De fandt ud af, at nøjagtigheden af GPT-4 faldt mærkbart i løbet af denne tid, mens den for GPT-3.5 tværtimod steg.
For eksempel faldt nøjagtigheden af at besvare spørgsmålet om, hvorvidt 17077 er et primtal, med 95,2 %, mens GPT-3,5 tværtimod steg fra 7,4 % til 86,8 %. Desuden er chancen for vellykket eksekvering af koden skrevet af det neurale netværk faldet i de nuværende versioner af begge modeller.
Tidligere har OpenAI Vice President Peter Welinder allerede svarede til anklagerne fra ChatGPT Plus-brugere:
Nej, vi har ikke gjort GPT-4 dummere. Alt er præcis det modsatte: Vi gør hver ny version smartere end den forrige.
Nu har vi denne hypotese: Når du bruger noget mere aktivt, begynder du at bemærke problemer, som du ikke så før.
Peter Welinder
VP of Product hos OpenAI
I et af svarene til dette tweet, Welinder spurgt give bevis for, at chatbotten er blevet værre. En undersøgelse fra Stanford-forskere dukkede op 5 dage efter det - og der har endnu ikke været et svar fra OpenAI.
Det er ikke første gang, GPT-4 er blevet anklaget for at give falske oplysninger. I marts, NewsGuard analytikere opdagetat ChatGPT baseret på GPT-4 er nemmere at få til at lyve - mens OpenAI selv hævder en 40% stigning i nøjagtigheden af svar sammenlignet med GPT-3.5. I især i NewsGuard-testene var den nye version af det neurale netværk mindre tilbøjelig til at tilbagevise falsk information - herunder falske data om moderne begivenheder og teorier konspirationer.
Læs også🧐
- 6 analoger af ChatGPT
- James Cameron om farerne ved kunstig intelligens: "Jeg advarede dig tilbage i 1984, men du lyttede ikke"
- 8 myter om kunstig intelligens, som selv programmører tror