Agentic Web Census

Cada vegada més visites a un web no les fa una persona sinó un assistent d'IA que ha de llegir la pàgina, entendre-la i, a vegades, fer-hi alguna cosa: trobar un preu, omplir un formulari. Un web pensat només per a ulls humans li pot ser invisible, i ningú no posava un número a com n'és de comú.

Agentic Web Census és aquest número. Cada mes llegeix una mostra de l'1 % de les pàgines que HTTP Archive audita amb Lighthouse —unes 140.000—, en calcula una nota de 0 a 100 % i la publica per a tot el web, per tecnologia, per domini i per agent d'IA. El setembre de 2026 el web treu un 34,3 % de mitjana: fluixa, però quatre punts per sobre del maig.

La nota: quatre dimensions i un multiplicador

Lighthouse, l'eina de Google per auditar pàgines web, té una categoria d'auditories pensades per a agents: Agentic Browsing. La nota AWCS es construeix amb aquestes auditories, més una que mesurem nosaltres, i som nosaltres qui decidim com se sumen:

• Llegir, 40 % — Un agent entén com està organitzada la pàgina només llegint-ne l'HTML. Va primer perquè un agent que no pot llegir la pàgina no arriba enlloc. Ho passa el 31,8 % del web.
• Estable, 25 % — La pàgina no es mou mentre carrega, perquè un botó que salta fa prémer el que no era. Ho passa el 78,2 %.
• Guiar, 20 % — El web serveix un llms.txt a l'arrel i es pot interpretar. Un 35,2 % en serveix un, però només un 14,2 % el té vàlid: la majoria de fitxers publicats encara no compten.
• Actuar, 15 % — El web exposa eines WebMCP que un agent pot cridar de debò. Només el 4,6 %.
• Abastable, multiplica la resta — El robots.txt no fa fora els agents d'IA. No suma, multiplica: un web que ho fa tot bé però tanca la porta a tots els agents treu un zero, perquè un agent que el robots.txt fa fora no arriba ni a demanar la pàgina. Lighthouse no ho audita, i ho llegim nosaltres.

La nota es calcula en un sol lloc, una funció de PostgreSQL, de manera que la xifra d'un web concret i la del cens surten exactament de la mateixa fórmula. I cada xifra porta una paraula, de «molt dolenta» a «excel·lent», perquè en aquesta escala gairebé ningú no s'acosta a dalt i un 34 % sense context no diu res.

Per tecnologia, per mercat i per agent

El cens creua la nota amb les tecnologies que fa servir cada web: més de 700, agrupades en categories, cadascuna amb la seva pàgina i, quan la mostra ho permet, amb la nota de cada versió major. Així es veu, per exemple, que WordPress treu un 30,2 %, quatre punts per sota del web, i que els perd sobretot a Llegir; o que entre els CMS Shopify i Wix passen del 58 % i Magento i Squarespace no arriben al 18 %.

El mateix per sufix de domini —107, 85 de país, que és el més semblant a una lectura per mercat que permet el cens— i per agent d'IA: quins dels 17 que seguim surten a cada robots.txt, i si la regla els deixa passar. No fan tots la mateixa feina: n'hi ha que entrenen models, n'hi ha que indexen per poder citar i n'hi ha que van a buscar una pàgina perquè una persona els ho acaba de demanar. Bloquejar-los costa coses diferents.

Xifres que es poden citar

Cada xifra porta la mostra d'on surt i el seu marge d'error, i només es publica si descansa en un mínim de cent pàgines. Un moviment més petit que el marge es publica com un empat, mai com una pujada o una baixada: és l'única manera que una sèrie mensual no presenti soroll com si fos notícia.

Cada mes queda congelat en un informe amb URL permanent i el seu fitxer de dades en JSON, perquè qualsevol el pugui comprovar. L'informe diu quins segments s'han mogut més que el seu marge, quines tecnologies treuen la nota més alta i la més baixa, i què convé fer aquell mes. El paràgraf que explica per què ha canviat la nota l'escriu un model a partir de les xifres, i ho diu. Tot es publica amb llicència CC BY 4.0.

La pàgina de tendències ensenya la sèrie sencera: del 30,2 % del maig al 34,3 % del setembre, un canvi prou més gran que el marge per poder-ne dir tendència.

El teu web, contra el cens

Qualsevol hi pot escriure la seva URL i, sense compte i sense seguiment, rep la nota del seu web mesurada igual que la del cens: PageSpeed Insights hi passa el mateix Lighthouse, de la mateixa versió, i nosaltres en llegim el robots.txt. El resultat diu en quina dimensió perd punts i quant val arreglar-la. No s'indexa: qualsevol pot demanar l'informe de qualsevol web, i els dels altres no els posem a Google.

A partir d'aquí hi ha un pla gratuït per correu, un informe avançat de pagament amb les capçaleres del mateix servidor i el codi a punt per enganxar i, per a qui ho prefereixi, que Omitsis faci els canvis i els torni a mesurar.

Predicar amb l'exemple

Un cens que puntua els altres ha de passar la seva pròpia nota, i agenticwebcensus.com treu un 100 %. Les pàgines són estàtiques, fetes amb Astro i en tres idiomes; el web serveix el seu llms.txt, exposa el formulari de l'informe com a eina WebMCP perquè un agent el pugui demanar sense passar per la pantalla, i té un robots.txt que deixa entrar tots els agents per escrit, no per omissió. Un web que mesura si els agents hi poden arribar i després els fa fora estaria jutjant els altres amb una regla que no compleix.

Tampoc no pretén ser més del que és. L'AWCS no és una nota de qualitat ni de SEO: no diu res del disseny, dels textos ni de la velocitat d'un web, i no opina sobre si cal deixar entrar els agents. Si algú ha decidit que no, un Abastable baix és aquesta decisió funcionant.