Achtergrond: Waarom ChatGPT haar limieten voor gratis gebruikers loslaat

In dit artikel:

Cloudflare wijzigt op 15 september de standaardinstellingen voor AI-verkeer. Het bedrijf fungeert als tussenlaag voor een groot deel van het web, waardoor de beslissing brede gevolgen kan hebben. AI-bots worden onderscheiden in drie categorieën: Search-bots, die websites indexeren voor zoekresultaten; Agent-bots, die namens gebruikers pagina’s ophalen; en Training-bots, die tekst verzamelen voor het trainen van modellen.

Bij nieuwe domeinen en pagina’s met advertenties worden Training- en Agent-bots voortaan standaard geblokkeerd, terwijl Search-bots toegang houden. Bestaande websites veranderen niet automatisch. De omslag betekent dat toegang niet langer de norm is: site-eigenaren moeten die voortaan bewust toestaan. Een complicatie is dat sommige crawlers meerdere functies combineren. Wie bijvoorbeeld Training blokkeert, kan daardoor ook de toegang van Googlebot beperken en dus zoekverkeer verliezen. Cloudflare wil daarom dat crawlerbouwers aparte bots voor verschillende doelen gebruiken.

De maatregel kan de schaarste aan trainingsdata versnellen, maar veroorzaakt die niet. Volgens onderzoeksinstituut Epoch AI bedraagt de bruikbare voorraad publiek beschikbare, door mensen geschreven tekst ongeveer 300 biljoen tokens. Die voorraad kan tussen 2026 en 2032 grotendeels zijn benut, mogelijk eerder bij intensief doortrainen. AI-bedrijven zoeken daarom andere routes: ze kopen licenties bij uitgevers en platforms, trainen modellen met synthetische tekst, benutten beeld, video en audio en ontwikkelen efficiëntere leermethoden.

Een groeiende alternatieve bron zijn gesprekken van gebruikers met chatbots. OpenAI meldde deze week meer dan een miljard wekelijkse gebruikers en schrapte de limiet op tekstgesprekken, ook voor gratis gebruikers. Dat kan komen door concurrentie en de wens gebruikers vast te houden, maar vergroot tegelijk de hoeveelheid conversatiedata waarmee modellen kunnen worden verbeterd. Bij veel diensten worden gesprekken van gratis gebruikers standaard daarvoor gebruikt, tenzij zij die instelling zelf aanpassen.

De ontwikkeling wijst op een web met twee lagen: een open, gratis toegankelijke laag en een deel achter licenties of betaalmuren. AI-antwoorden leveren websites bovendien vaak geen klik meer op, waardoor de traditionele ruil tussen gratis toegang en bezoekers verdwijnt. Voor lezers wordt daardoor steeds belangrijker welke bronnen AI-bedrijven mogen gebruiken, wie daarvoor betaalt en hoe hun eigen chatbotgesprekken bijdragen aan toekomstige modellen.