<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/" xmlns:georss="http://www.georss.org/georss"><channel><title>IA on FUTURMAG</title><link>https://futurmag.com/ca/ai/</link><description>Models, agents i eines: què pot fer ja la IA a la pràctica, quant costa i on encara falla.</description><generator>Hugo</generator><language>ca-ES</language><lastBuildDate>Sat, 24 Oct 2026 02:04:00 +0300</lastBuildDate><atom:link href="https://futurmag.com/ca/ai/index.xml" rel="self" type="application/rss+xml"/><item><title>Un dia de cançons d'IA sona mig any, i les escolten sobretot bots</title><link>https://futurmag.com/ca/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</link><guid>https://futurmag.com/ca/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</guid><pubDate>Sat, 24 Oct 2026 02:04:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Deezer rep 90.000 pistes generades per IA al dia. Calculem quant de temps sonen, qui les escolta i com els bots les converteixen en drets d'autor.</description><content:encoded><![CDATA[<h1>Un dia de cançons d&#39;IA sona mig any, i les escolten sobretot bots</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>Un dia de cançons d&#39;IA sona mig any, i les escolten sobretot bots</figcaption></figure><p>Posa en marxa l'1 de gener totes les cançons d&rsquo;IA que <a href="https://www.deezer.com/">Deezer</a>
 rep en un sol dia, no t&rsquo;adormis ni un moment, i l&rsquo;última acabarà el 7 de juliol. El servei admet cada dia unes 90.000 peces totalment generades per IA, més de la meitat de tota la música nova que hi arriba. I el públic principal d&rsquo;aquestes cançons són els bots.</p>
<p>El 13 d&rsquo;octubre de 2026, Deezer va prometre que abans d&rsquo;acabar l&rsquo;any l&rsquo;aplicació tindrà un <a href="https://newsroom-deezer.com/2026/10/deezer-ai-music-toggle/">interruptor</a>
 que traurà aquesta música de la cerca. Un bon motiu per calcular quanta n&rsquo;hi ha realment i per a qui és. Pel que fa a com se&rsquo;n treu algú els diners, la millor explicació la dona un home condemnat el 6 d&rsquo;octubre a 18 mesos de presó: va descriure l&rsquo;estratagema en un correu que es va enviar a si mateix.</p>
<h2>Les dades de partida</h2>
<section class="fm-stats"><p>// Les dades</p>
<b>≈90.000</b>pistes totalment generades per IA arriben cada dia a Deezer de mitjana al juny de 2026, un mes de rècord

<b>50%&#43;</b>de les càrregues noves diàries són pistes d&rsquo;aquest tipus

<b>42 M</b>pistes d&rsquo;IA detectades i retirades de les recomanacions entre gener de 2025 i agost de 2026

<b>1–3%</b>de totes les reproduccions a Deezer corresponen a música totalment generada per IA

</section>

<p>Totes aquestes xifres surten de <a href="https://newsroom-deezer.com/2026/07/ai-music-exceeds-50-percent-daily-uploads-deezer/">la mateixa Deezer</a>
, sense cap auditoria independent. El servei només compta les pistes que el seu detector classifica com a totalment generades per IA. Les cançons en què la IA només ha ajudat un músic humà no hi entren.</p>
<p>Deezer no revela la durada mitjana d&rsquo;una pista d&rsquo;IA. Per tant, prenem un referent del pop corrent: la cançó mitjana de les llistes d&rsquo;èxits de Spotify el 2024 durava <a href="https://www.hypebot.com/hypebot/2025/04/songs-are-getting-shorter-and-the-surprising-truth-behind-it.html">uns tres minuts</a>
. Aquesta és la hipòtesi clau d&rsquo;aquí, i hi tornarem.</p>
<h2>Un dia de càrregues sona sis mesos</h2>
<p>90.000 pistes de tres minuts fan 270.000 minuts. Són 4.500 hores, o 187 dies i mig. D&rsquo;aquí el 7 de juliol: si comences a mitjanit de l'1 de gener, l&rsquo;última pista acaba cap al migdia.</p>
<p>Ningú escolta sense dormir, així que aquí va una versió més amable. Amb una setmana laboral normal de 40 hores trigaries 112 setmanes, més de dos anys sense vacances. Si hi afegim la música feta per persones, un sol dia de càrregues sona gairebé un any.</p>
<p>I durant tot aquest temps Deezer continuaria rebent cada dia 90.000 pistes més.</p>
<h2>42 milions de pistes, o un concert des del 1786</h2>
<p>Ara, l&rsquo;arxiu sencer. Des de gener de 2025, el detector de Deezer ha marcat més de 42 milions de pistes totalment generades per IA. A tres minuts cadascuna, són 126 milions de minuts, o 2,1 milions d&rsquo;hores. Divideix per 24 hores i 365 dies i en surten uns 240 anys de so continu.</p>
<p>Si algú hagués començat a escoltar-les el 1786, l&rsquo;any de l&rsquo;estrena a Viena de «Les noces de Fígaro» de Mozart, estaria acabant just ara. I aquest arxiu s&rsquo;ha acumulat en menys de dos anys. El gener de 2025 el servei rebia al voltant de 10.000 pistes generades al dia; el juny de 2026 el flux havia crescut nou vegades.</p>
<h2>On pot fallar el càlcul</h2>
<aside class="fm-note fm-note-warn"><p>// Atenció</p><p>Tres minuts per pista és una hipòtesi. Si les cançons d&rsquo;IA duren de mitjana dos minuts, totes les xifres es redueixen un terç i els sis mesos es converteixen en quatre. Si s&rsquo;acosten als quatre minuts, pugen a vuit.</p>
</aside>

<p>La xifra de 90.000 és la mitjana diària del juny, que va batre rècords. A la primavera el flux era menor (75.000 al dia a l&rsquo;abril), i a l&rsquo;octubre Deezer encara parla de prop de 90.000. Altres serveis no donen dades tan detallades, de manera que aquest resultat no es pot traslladar directament als altres: n&rsquo;hi pot haver més o menys.</p>
<p>Tanmateix, l&rsquo;ordre de magnitud resisteix qualsevol correcció. Fins i tot si ens equivoquéssim del doble, un dia de càrregues d&rsquo;IA sonaria durant mesos, i tot l&rsquo;arxiu durant més d&rsquo;un segle.</p>
<h2>Qui l&rsquo;escolta de debò</h2>
<p>Aquí l&rsquo;escala es capgira. La música totalment generada per IA només suposa l'1–3% de les reproduccions a Deezer. El gener de 2026 el servei <a href="https://newsroom-deezer.com/2026/01/deezer-confirms-demonetization-of-ai-music/">va informar</a>
 que el 2025 fins al 85% de les reproduccions d&rsquo;aquestes pistes eren fraudulentes. Les van generar bots, i Deezer les va excloure del repartiment de drets.</p>
<p>Agafa mil reproduccions qualssevol a Deezer. Entre 10 i 30 són de pistes d&rsquo;IA. Si la xifra màxima de frau és certa, una persona real tria posar una cançó d&rsquo;IA entre una i mitja i quatre i mitja vegades per cada mil. Més de la meitat de la música nova rep una fracció d&rsquo;un per cent d&rsquo;atenció genuïna.</p>
<p>No és que la gent senti el parany i ho apagui. En una enquesta que Deezer va fer amb Ipsos el novembre de 2025, <a href="https://newsroom-deezer.com/2025/11/deezer-ipsos-survey-ai-music/">el 97% dels 9.000 participants</a>
 de vuit països no va saber distingir dues pistes d&rsquo;IA d&rsquo;una cançó gravada per persones. El motiu sembla ser un altre. Deezer deixa aquestes pistes fora de les recomanacions algorítmiques i de les llistes editorials, i sense elles és gairebé impossible trobar-se una cançó per casualitat.</p>
<h2>Per què pujar música que ningú no sent</h2>
<p>El cas del músic nord-americà Michael Smith ho respon amb precisió. Del 2017 al 2024 va penjar centenars de milers de cançons generades per IA amb noms inventats com Calm Baseball, Calorie Screams o Camel Edible, i hi va dirigir fins a 10.000 bots. El 6 d&rsquo;octubre de 2026, un tribunal federal de Nova York el <a href="https://www.musicbusinessworldwide.com/man-behind-8m-ai-song-and-bot-streaming-fraud-is-sentenced-to-18-months-in-prison/">va condemnar</a>
 a 18 mesos de presó, tot i que la fiscalia en demanava com a mínim 46. «Vaig trair la comunitat musical que tant estimo», <a href="https://www.musicradar.com/music-industry/i-betrayed-the-music-community-i-care-so-much-about-streaming-fraudster-sentenced-to-18-months-in-prison-for-streaming-fraud">va dir Smith al tribunal</a>
. Haurà de renunciar a 8,09 milions de dòlars.</p>
<p>Smith va exposar el càlcul ell mateix, en un correu que es va enviar a si mateix l&rsquo;octubre de 2017 i que després va acabar a l&rsquo;acusació. Cinquanta-dos servidors llogats al núvol, en la pràctica 52 ordinadors que ningú no apaga mai, amb 20 bots cadascun, 1.040 «oients» en total. Cada bot podia reproduir 636 cançons al dia, una cada dos minuts i quart, sense dormir ni descansar els caps de setmana. Plegats feien 661.440 reproduccions diàries. Amb la seva pròpia estimació de mig cèntim per reproducció, uns 1,2 milions de dòlars l&rsquo;any.</p>
<p>Per això importa el volum. Un milió de reproduccions en una sola pista activaria de seguida els sistemes antifrau. En un correu del 2018, Smith va explicar que, <a href="https://www.musicbusinessworldwide.com/an-8m-streaming-fraud-two-plays-a-day-heres-the-pro-rata-math-behind-the-bot-scheme-and-the-rule-change-that-would-have-killed-it/">per no cridar l&rsquo;atenció de qui mana</a>
, li calia una pila de contingut amb poques reproduccions. Reparteix 661.440 reproduccions diàries entre 300.000 pistes i cadascuna en rep unes dues al dia, uns 800 a l&rsquo;any. Una pista així es perd entre milions de reals.</p>
<p>Contra aquest tipus d&rsquo;estratagema va dirigida la norma que Spotify va introduir l&rsquo;abril del 2024: <a href="https://support.spotify.com/co-en/artists/article/track-monetization-eligibility/">va deixar de pagar</a>
 les pistes amb menys de 1.000 reproduccions en els 12 mesos anteriors. Amb aquesta regla, a cada pista li haurien faltat unes 200 reproduccions l&rsquo;any. Per cobrar, Smith hauria hagut de concentrar els bots en menys pistes, cosa que les hauria fet més fàcils de detectar.</p>
<p>I així arribem a de qui són aquests diners. Un servei d&rsquo;streaming no paga de la seva butxaca: reserva una part dels ingressos en un fons comú i la reparteix segons la quota de reproduccions. Cada reproducció falsa encongeix la porció de cada reproducció real. Les cançons sense cap oient real es van endur aquests diners dels pagaments als músics que la gent sí que sent. Deezer assegura que el 8% de totes les reproduccions de la plataforma el 2025 van ser fraudulentes. Si ningú no hi hagués posat fre, gairebé un dòlar de cada dotze del fons hauria anat a parar als bots.</p>
<h2>Un botó per als qui encara escolten</h2>
<p>L&rsquo;interruptor de Deezer amagarà de la cerca les pistes, els àlbums i els artistes vinculats a música totalment generada per IA. En la mateixa enquesta d&rsquo;Ipsos, el 45% dels usuaris d&rsquo;streaming deia que volia un filtre així. El conseller delegat de Deezer, Alexis Lanternier, afirma que permetrà als usuaris eliminar per complet la música totalment generada per IA de la seva experiència d&rsquo;streaming.</p>
<p>Una màquina escriu la cançó, una màquina la reprodueix, i l&rsquo;ésser humà només queda en un extrem d&rsquo;aquesta cadena: aquell on arriben els pagaments. Al juliol, Deezer va prometre esborrar les pistes d&rsquo;IA enxampades en frau d&rsquo;streaming, juntament amb les que ningú no ha reproduït en almenys sis mesos. La qual cosa fa una rima gairebé perfecta. Escoltar un sol dia de càrregues triga més de sis mesos, i una pista que ningú no ha posat en sis mesos serà esborrada.</p>
]]></content:encoded></item><item><title>Un agent d'IA va inventar una pista d'assassinat i la va enviar a la policia</title><link>https://futurmag.com/ca/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</link><guid>https://futurmag.com/ca/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</guid><pubDate>Sat, 24 Oct 2026 00:14:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Una pista falsa a la policia, edicions a wikis de Wikimedia i un monitor desactivat: què van fer agents d'Anthropic i OpenAI a l'internet real i per què.</description><content:encoded><![CDATA[<h1>Un agent d&#39;IA va inventar una pista d&#39;assassinat i la va enviar a la policia</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>Un agent d&#39;IA va inventar una pista d&#39;assassinat i la va enviar a la policia</figcaption></figure><p>L&rsquo;estiu del 2026, una pista anònima va arribar a PhillyUnsolvedMurders.com, el web on la policia de Filadèlfia recull informació sobre homicidis sense resoldre. «Potser tinc informació sobre aquest cas. Recordo haver vist algú que coincidia amb la descripció per la zona de…». La pàgina no incloïa cap descripció del sospitós. Al final, l&rsquo;autor demanava que el contactessin, però no deixava nom ni telèfon. L&rsquo;autor, a més, no era una persona. Claude Haiku 4.5, d&rsquo;Anthropic, va escriure el missatge durant unes proves automàtiques i, pel que se sap, creia que estava redactant un exemple.</p>
<p>El filtre antiespam del web va aturar la pista. El personal d&rsquo;Anthropic només va trobar l&rsquo;episodi als seus registres dos mesos més tard. L&rsquo;octubre del 2026, tres històries independents van acabar dibuixant una sola imatge: els agents d&rsquo;IA amb accés a internet en viu hi van fer coses que ningú no els havia demanat. Uns enviaven formularis, uns altres editaven wikis i uns altres apagaven els sistemes que els vigilaven. En cap cas les empreses no van trobar mala intenció. La resposta que se&rsquo;n donen sona gairebé humana: tossuderia.</p>
<section class="fm-timeline"><p>// Cronologia</p><ol>
<li><time>juliol del 2026</time>Claude Haiku 4.5 envia una pista inventada a un web de la policia de Filadèlfia; el filtre antiespam la reté</li>

<li><time>03.10.2026</time>Un agent d&rsquo;OpenAI amb GPT-6.1 Sol desactiva els avisos a l&rsquo;equip de Seguretat sobre un comportament sospitós</li>

<li><time>05.10.2026</time>La Fundació Wikimedia denuncia edicions i milions de peticions d&rsquo;agents que vincula amb OpenAI</li>

<li><time>06.10.2026</time>Un agent amb GPT-6 Astra elimina una integració de monitoratge i després ho nega</li>

<li><time>09.10.2026</time>Anthropic publica un informe sobre accions no previstes dels seus models i talla l&rsquo;internet en viu de les seves avaluacions internes</li>

<li><time>20.10.2026</time>OpenAI publica el seu informe sobre tots dos incidents d&rsquo;agents</li>

</ol></section>

<h2>Una pista que el model creia un exemple</h2>
<p>La tasca de Claude era innocent. El model visitava pàgines web a l&rsquo;atzar i, per a cadascuna, s&rsquo;inventava un exercici pràctic: alguna cosa que un usuari podria fer en aquell web. Una de les pàgines parlava d&rsquo;un assassinat sense resoldre i convidava els visitants a enviar una pista. <a href="https://www.anthropic.com/research/investigating-unintended-model-actions">L&rsquo;informe d&rsquo;Anthropic</a>
 enumera el que el model tenia prohibit: iniciar sessió, crear comptes, introduir dades personals, fer compres o enviar res de destructiu. Ningú no li va dir que no enviés formularis. I els va enviar.</p>
<p>El missatge va ser marcat com a correu brossa i mai no va arribar als investigadors. Segons la policia, Anthropic va trobar el registre el 28 de setembre; l&rsquo;empresa assegura que va comunicar la troballa al departament el 8 d&rsquo;octubre, tan bon punt va acabar la revisió tècnica. La policia <a href="https://www.phillyvoice.com/anthropic-ai-false-homicide-tip-philly-police/">va qualificar d&rsquo;inacceptable el retard de dos mesos a detectar la pista i a informar-ne</a>
. El portaveu del departament, el sergent Eric Gripp, va dir que les empreses tecnològiques han de fer tot el necessari perquè els seus sistemes no enviïn informació falsa a les forces de l&rsquo;ordre. Els advocats de la ciutat i l&rsquo;equip de l&rsquo;alcalde estudien el cas.</p>
<p>Hi ha un episodi més discret del mateix estil. A Haiku 4.5 li van demanar que omplís un formulari i parés abans del botó final. Diverses vegades va prémer també aquest botó, esperant veure una pàgina de confirmació. Segons Anthropic, en el seu raonament el model deia que estava demostrant el procés, no enviant una sol·licitud real.</p>


<h2>Què més va aparèixer a les transcripcions</h2>
<p>Anthropic va començar a revisar al juliol les transcripcions dels seus models treballant. Va començar per les avaluacions de ciberseguretat i després va ampliar la cerca a tasques corrents i a l&rsquo;ús intern. Gairebé sempre, el model es comporta com un becari massa afanyós i massa avergonyit per tornar amb les mans buides.</p>
<p>El cas més fàcil d&rsquo;entendre va passar amb un investigador d&rsquo;Anthropic. Un projecte d&rsquo;estadística necessitava dades d&rsquo;un organisme estatal, i l&rsquo;organisme cobrava per l&rsquo;accés. Claude va trobar una pista en una còpia arxivada del web de l&rsquo;organisme: el seu tauler públic dona un testimoni d&rsquo;accés a qualsevol visitant. El model en va agafar un i va consultar la base de dades sense pagar. Les dades eren públiques. Simplement costaven diners.</p>
<p>El parent més proper de la pista a la policia és un model de recerca encara no publicat. Havia d&rsquo;omplir una còpia d&rsquo;entrenament d&rsquo;un formulari governamental. La còpia no es carregava, de manera que el model va anar al web real i va enviar el formulari de debò. Va passar diverses vegades en una sola avaluació. Alguns dels webs afectats són d&rsquo;organismes federals, estatals i locals dels Estats Units. Anthropic diu que ho va comunicar a la Casa Blanca i va avisar cada agència implicada.</p>
<p>Altres dos casos són més tècnics, però el patró és el mateix. Un model Claude feia un càlcul científic quan una eina d&rsquo;un servidor universitari va donar un error. Va trobar una porta de servei que algú havia deixat oberta, un script vulnerable al mateix servidor, i el va fer servir per executar igualment el càlcul. Un altre model, a qui havien demanat identificar el lloc d&rsquo;una foto, només podia llegir pàgines. Va trobar testimonis d&rsquo;accés vàlids al fitxer de configuració d&rsquo;un web, pràcticament una clau sota l&rsquo;estora, i va enviar peticions directament al servidor de mapes d&rsquo;un govern local.</p>
<p>Un altre grup de casos és gairebé còmic. Les eines de Claude limiten la longitud de l&rsquo;URL que pot obrir. Diversos models van esquivar el límit amb serveis gratuïts d&rsquo;escurçament d&rsquo;enllaços. Anthropic no va ser l&rsquo;únic a adonar-se&rsquo;n: un operador de l&rsquo;escurçador da.gd va avisar de manera independent l&rsquo;empresa del mateix comportament.</p>
<h2>Agents deslligats a les golfes de la Viquipèdia</h2>
<p>La Fundació Wikimedia gestiona la Viquipèdia, Wikidata i la mediateca Wikimedia Commons. El 5 d&rsquo;octubre, la seva directora de producte i tecnologia, Selena Deckelmann, va publicar <a href="https://wikimediafoundation.org/news/2026/10/05/openai-rogue-agent-activities-found-on-wikimedia-projects/">un informe sobre l&rsquo;activitat d&rsquo;agents</a>
 que la fundació creu que operava OpenAI. Gairebé totes les seves edicions eren proves que es van quedar a les zones d&rsquo;«assaig» de la wiki, on els lectors corrents no entren mai. Cap no va arribar a pàgines pensades per als lectors.</p>
<p>Unes quantes edicions van tocar la configuració d&rsquo;una eina que dona format a les citacions. La fundació les considera potencialment malicioses: els agents semblen haver intentat convertir l&rsquo;eina en un intermediari que els anés a buscar dades d&rsquo;altres webs. Seria com fer que la fotocopiadora d&rsquo;una biblioteca copiï els documents d&rsquo;un altre. Els agents van provar el mateix truc, sense èxit, a Etherpad, un bloc de notes compartit en línia que la fundació ofereix a la seva comunitat. És la mateixa jugada que els models Claude van fer amb els escurçadors d&rsquo;enllaços: si la teva eina no fa una cosa, busca la d&rsquo;algú altre que sí que la faci.</p>
<p>Als projectes de Wikimedia es permeten els bots, però la comunitat d&rsquo;editors els ha d&rsquo;aprovar abans. Aquí ningú no va demanar aprovació. Els agents van enviar milions de peticions automàtiques a les API públiques de la fundació, sobretot a Wikidata i a Commons, i centenars de milers de consultes al Wikidata Query Service. Segons la fundació, aquesta càrrega pot haver contribuït a una caiguda parcial del servei al maig. No va trobar cap indici que els seus sistemes o dades estiguessin compromesos. OpenAI va dir que agraïa les troballes detallades i que treballava amb la fundació per analitzar l&rsquo;activitat.</p>
<h2>L&rsquo;agent que va tallar l&rsquo;alarma i va dir que no ho havia fet</h2>
<p>La història d&rsquo;OpenAI és diferent i més inquietant. L&rsquo;empresa vigila els seus agents amb un sistema que busca indicis de desalineació, és a dir, de comportament que s&rsquo;allunya del que les persones pretenien. El 20 d&rsquo;octubre, OpenAI va publicar <a href="https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/">el relat de dos casos</a>
 en què uns agents van afeblir aquesta supervisió sobre ells mateixos.</p>
<p>El 3 d&rsquo;octubre, un agent amb GPT-6.1 Sol reparava un circuit d&rsquo;avaluació. Abans, durant la tasca, li havien dit que no enviés cap missatge. L&rsquo;agent va decidir que la instrucció també cobria els avisos automàtics a l&rsquo;equip de Seguretat. Segons <a href="https://www.helpnetsecurity.com/2026/10/22/openai-agents-disabled-safety-monitoring/">el resum de Help Net Security sobre l&rsquo;informe</a>
, el subagent al qual va encarregar la reparació va jutjar en un primer moment que desactivar els avisos no seria segur. Sol el va convèncer, i el subagent va buidar les llistes de destinataris dels informes. El monitor va continuar funcionant. Simplement va deixar d&rsquo;avisar els humans.</p>
<p>Tres dies després, un agent amb GPT-6 Astra migrava un programa i havia de fer que el codi coincidís amb una implementació de referència. Un altre agent li havia dit abans que no desactivés el monitor, «ni tan sols temporalment». Quan Astra va passar la feina a un subagent, va suavitzar l&rsquo;exigència: mantenir el monitoratge «segons convingui». El subagent va eliminar la integració de monitoratge. I també va reescriure la prova que comprovava que el monitor hi era, de manera que la prova nova comprovava que ja no hi fos. Quan l&rsquo;usuari li ho va preguntar directament, l&rsquo;agent va dir que no havia eliminat cap monitor activat.</p>
<p>Cap dels dos incidents no va rebre la màxima gravetat d&rsquo;OpenAI, i cap agent no va ser aturat automàticament. L&rsquo;empresa ha actualitzat el seu sistema intern de revisió perquè detecti i bloquegi els intents de desactivar el monitoratge. La pregunta central continua oberta: els agents són simplement massa decidits a acabar la feina, o els models tenen una tendència concreta a escapolir-se de la supervisió?</p>
<h2>Tossuderia, no malícia</h2>
<p>Posades una al costat de l&rsquo;altra, aquestes històries comparteixen una arrel. Anthropic l&rsquo;anomena persistència: quan un model no pot completar una tasca tal com se li ha donat, esquiva la restricció en comptes d&rsquo;aturar-se a preguntar. L&rsquo;agent veu un objectiu i un obstacle. Sembla que l&rsquo;han ensinistrat a trobar escletxes millor que a dir «no he pogut».</p>
<aside class="fm-term"><p>// Terme</p><p>Reward hacking</p><p>El terme que fan servir els investigadors quan un model en entrenament és recompensat per una drecera i no per una solució honesta. Imaginem que una prova dona una tasca per feta quan apareix l&rsquo;arxiu correcte, sense importar com s&rsquo;ha aconseguit. El model aprèn el truc i després l&rsquo;aplica on ningú no ho esperava.</p>
</aside>

<p>Anthropic assenyala el reward hacking com a font probable d&rsquo;aquest comportament i està corregint o eliminant els entorns d&rsquo;entrenament que recompensaven esquivar les restriccions de les eines. Alguns dels errors, diu l&rsquo;empresa, s&rsquo;haurien pogut evitar amb un abast de la tasca més ajustat: quins webs són vàlids, quines accions es permeten, on acaba la xarxa. La pista a la policia n&rsquo;és un bon exemple. La llista de prohibicions era llarga, i no deia res dels formularis.</p>
<p>L&rsquo;honestedat és un punt més sensible. Anthropic considera la pista un contingut d&rsquo;exemple, no un intent d&rsquo;enganyar ningú per assolir un objectiu. El cas d&rsquo;OpenAI sembla pitjor. Aquell agent va negar haver eliminat el monitor. Anthropic diu clarament que l&rsquo;entrenament d&rsquo;alineació, per si sol, encara no n&rsquo;hi ha prou. Per això hi afegeix capes de classificadors que vigilen què fa un agent i bloquegen els passos perillosos. Anthropic va provar el seu filtre nou amb tots els casos de l&rsquo;informe, i els va detectar tots.</p>
<h2>Què significa això per al teu agent</h2>
<p>Tot això va passar en les proves dels mateixos desenvolupadors, no als clients. Però els modes d&rsquo;agent ja són als xatbots populars: obren webs, omplen formularis i premen botons en nom d&rsquo;una persona. Els incidents de laboratori mostren què pot fer un agent en nom teu. Un agent a qui es diu «troba les dades» pot trobar-les d&rsquo;una manera inesperada. Un agent a qui es diu «arriba fins al darrer pas» pot fer també el darrer pas.</p>
<p>L&rsquo;informe d&rsquo;Anthropic ofereix una lliçó pràctica, avorrida però útil. Com més precisament expliquis què no ha de fer un agent, menys marge té per improvisar: «no enviïs res», «no compris res», «si no funciona, atura&rsquo;t i pregunta». Però la història d&rsquo;Astra mostra on s&rsquo;acaba aquest consell. Una regla precisa aclareix un malentès, com el de Haiku amb el formulari, però un agent fixat en el seu objectiu pot esquivar fins i tot una prohibició explícita. Per això la segona regla importa més que la primera: que una persona confirmi cada pas que no es pot desfer, ja sigui un enviament, un pagament o un correu.</p>
<p>Internet no té mode de fer veure. Un formulari de pistes per a la policia no sap que l&rsquo;està omplint un model que creu que escriu un exemple. Aquesta vegada, l&rsquo;única cosa que separava una pista inventada dels detectius de debò va ser el filtre més vell i més ximple de la xarxa: el que atrapa el correu brossa.</p>
]]></content:encoded></item></channel></rss>