<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/" xmlns:georss="http://www.georss.org/georss"><channel><title>AI on FUTURMAG</title><link>https://futurmag.com/sk/ai/</link><description>Modely, agenti a nástroje: čo už AI vie v praxi, koľko to stojí a kde ešte zlyháva.</description><generator>Hugo</generator><language>sk-SK</language><lastBuildDate>Sat, 24 Oct 2026 02:04:00 +0300</lastBuildDate><atom:link href="https://futurmag.com/sk/ai/index.xml" rel="self" type="application/rss+xml"/><item><title>Jeden deň AI pesničiek znie pol roka a počúvajú ich hlavne boty</title><link>https://futurmag.com/sk/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</link><guid>https://futurmag.com/sk/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</guid><pubDate>Sat, 24 Oct 2026 02:04:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Deezer dostáva 90 000 AI-generovaných skladieb denne. Počítame, ako dlho znejú, kto ich počúva a ako na nich boty zarábajú odmeny.</description><content:encoded><![CDATA[<h1>Jeden deň AI pesničiek znie pol roka a počúvajú ich hlavne boty</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>Jeden deň AI pesničiek znie pol roka a počúvajú ich hlavne boty</figcaption></figure><p>Spustite na 1. januára každú AI pesničku, ktorú <a href="https://www.deezer.com/">Deezer</a>
 dostane za jediný deň, nezaspite ani na chvíľu, a posledná dohrá 7. júla. Služba prijme okolo 90 000 plne AI-generovaných skladieb denne, to je viac než polovica všetkej novej hudby, ktorá sa na ňu nahrá. A hlavným publikom sú pre ne boty.</p>
<p>Dňa 13. októbra 2026 Deezer sľúbil, že do konca roka pribudne do jeho aplikácie <a href="https://newsroom-deezer.com/2026/10/deezer-ai-music-toggle/">prepínač</a>
, ktorý takúto hudbu odstráni z vyhľadávania. Dobrá príležitosť spočítať, koľko jej naozaj je a pre koho vzniká. A ako sa na nej dá zarobiť, najlepšie vysvetľuje muž, ktorého 6. októbra odsúdili na 18 mesiacov väzenia: schému si poctivo rozpísal v e-maile sám sebe.</p>
<h2>Z čoho vychádzame</h2>
<section class="fm-stats"><p>// Vstupné údaje</p>
<b>≈90 000</b>plne AI-generovaných skladieb denne prišlo v priemere na Deezer v júni 2026, čo je rekordný mesiac

<b>50 %&#43;</b>všetkých nových denných nahrávok tvoria takéto skladby

<b>42 mil.</b>AI skladieb odhalených a vyradených z odporúčaní od januára 2025 do augusta 2026

<b>1–3 %</b>všetkých streamov na Deezeri pripadá na plne AI-generovanú hudbu

</section>

<p>Každé z týchto čísel pochádza <a href="https://newsroom-deezer.com/2026/07/ai-music-exceeds-50-percent-daily-uploads-deezer/">priamo od Deezera</a>
, nezávislý audit neexistuje. Služba počíta iba skladby, ktoré jej detektor označí ako plne AI-generované. Pesničky, pri ktorých AI len pomohla živému hudobníkovi, sa do čísel nezapočítavajú.</p>
<p>Priemernú dĺžku AI skladby Deezer neuvádza. Požičiame si preto mierku z bežného popu: priemerná pesnička v rebríčkoch Spotify mala v roku 2024 <a href="https://www.hypebot.com/hypebot/2025/04/songs-are-getting-shorter-and-the-surprising-truth-behind-it.html">zhruba tri minúty</a>
. Je to kľúčový predpoklad celého výpočtu a ešte sa k nemu vrátime.</p>
<h2>Jeden deň nahrávok znie pol roka</h2>
<p>90 000 skladieb po troch minútach je 270 000 minút. To je 4 500 hodín, teda 187 a pol dňa. Preto 7. júl: ak začnete o polnoci 1. januára, posledná skladba skončí okolo poludnia.</p>
<p>Nikto nepočúva bez spánku, takže tu je zhovievavejšia verzia. Pri bežnom 40-hodinovom pracovnom týždni by to trvalo 112 týždňov, viac než dva roky bez dovolenky. A keď pridáme hudbu, ktorú nahrali ľudia, jediný deň nahrávok znie takmer rok.</p>
<p>A celý ten čas by Deezer ďalej dostával každý deň ďalších 90 000 skladieb.</p>
<h2>42 miliónov skladieb, čiže koncert od roku 1786</h2>
<p>Teraz celý archív. Od januára 2025 detektor Deezera označil viac než 42 miliónov plne AI-generovaných skladieb. Po troch minútach je to 126 miliónov minút, čiže 2,1 milióna hodín. Vydeľte to 24 hodinami a 365 dňami a vyjde vám asi 240 rokov nepretržitého zvuku.</p>
<p>Keby niekto začal počúvať v roku 1786, keď bola vo Viedni premiéra Mozartovej Figarovej svadby, práve teraz by dopočúval. A tento archív sa nahromadil za necelé dva roky. V januári 2025 služba dostávala okolo 10 000 generovaných skladieb denne, do júna 2026 sa tok zvýšil deväťnásobne.</p>
<h2>Kde sa odhad môže mýliť</h2>
<aside class="fm-note fm-note-warn"><p>// Pozor</p><p>Tri minúty na skladbu sú predpoklad. Ak majú AI pesničky v priemere dve minúty, všetky čísla klesnú o tretinu a z pol roka sú štyri mesiace. Ak sú bližšie k štyrom minútam, vyjde osem.</p>
</aside>

<p>Číslo 90 000 je denný priemer rekordného júna. Na jar bol tok menší (v apríli 75 000 denne) a v októbri Deezer stále uvádza takmer 90 000. Iné služby také podrobné údaje nezverejňujú, takže súčet sa na ne nedá priamo preniesť: môže ich tam byť viac, ale aj menej.</p>
<p>Rádový odhad však prežije akúkoľvek korekciu. Aj keby sme sa pomýlili o polovicu, jeden deň AI nahrávok znie mesiace a celý archív viac než storočie.</p>
<h2>Kto to vlastne počúva</h2>
<p>Tu sa mierka obráti. Plne AI-generovaná hudba tvorí na Deezeri len 1 – 3 % streamov. V januári 2026 služba <a href="https://newsroom-deezer.com/2026/01/deezer-confirms-demonetization-of-ai-music/">oznámila</a>
, že v roku 2025 bolo až 85 % streamov takýchto skladieb podvodných. Vyrobili ich boty a Deezer ich vyradil z vyplácania odmien.</p>
<p>Zoberte tisíc náhodných streamov na Deezeri. Z nich 10 až 30 pripadne na AI skladby. Ak platí horný odhad podvodov, živý človek si AI pesničku vedome pustí zhruba od jeden a pol do štyri a pol raza na tisíc streamov. Viac než polovica novej hudby tak dostane zlomok percenta skutočnej pozornosti.</p>
<p>Nie je to tak, že ľudia falzifikát začujú a vypnú. V prieskume, ktorý Deezer spravil s Ipsosom v novembri 2025, <a href="https://newsroom-deezer.com/2025/11/deezer-ipsos-survey-ai-music/">97 % z 9 000 účastníkov</a>
 z ôsmich krajín nedokázalo odlíšiť dve AI skladby od pesničky nahratej ľuďmi. Príčina bude zrejme inde. Deezer drží tieto skladby mimo algoritmických odporúčaní aj redakčných playlistov a bez nich na pesničku takmer nenarazíte.</p>
<h2>Načo nahrávať hudbu, ktorú nikto nepočuje</h2>
<p>Najlepšie na to odpovedá prípad amerického hudobníka Michaela Smitha. V rokoch 2017 až 2024 nahral stovky tisíc AI-generovaných pesničiek pod vymyslenými menami ako Calm Baseball, Calorie Screams či Camel Edible a nasmeroval na ne až 10 000 botov. Dňa 6. októbra 2026 ho federálny súd v New Yorku <a href="https://www.musicbusinessworldwide.com/man-behind-8m-ai-song-and-bot-streaming-fraud-is-sentenced-to-18-months-in-prison/">odsúdil</a>
 na 18 mesiacov väzenia, hoci prokuratúra žiadala aspoň 46. „Zradil som hudobnú komunitu, na ktorej mi tak záleží,“ <a href="https://www.musicradar.com/music-industry/i-betrayed-the-music-community-i-care-so-much-about-streaming-fraudster-sentenced-to-18-months-in-prison-for-streaming-fraud">povedal Smith súdu</a>
. Prepadnúť musí 8,09 milióna dolárov.</p>
<p>Výpočet si Smith rozpísal sám, v e-maile sám sebe z októbra 2017, ktorý sa neskôr dostal do obžaloby. Päťdesiatdva prenajatých cloudových serverov, teda v podstate 52 počítačov, ktoré nikto nikdy nevypína, s 20 botmi na každom, spolu 1 040 „poslucháčov“. Každý bot mohol prehrať 636 pesničiek denne, jednu za dve a štvrť minúty, bez spánku a bez víkendov. Dokopy to dalo 661 440 streamov denne. Pri jeho vlastnom odhade pol centa za stream zhruba 1,2 milióna dolárov ročne.</p>
<p>Preto záleží na objeme. Milión prehraní na jednej skladbe by protipodvodné systémy zachytili hneď. V e-maile z roku 2018 Smith vysvetlil, že <a href="https://www.musicbusinessworldwide.com/an-8m-streaming-fraud-two-plays-a-day-heres-the-pro-rata-math-behind-the-bot-scheme-and-the-rule-change-that-would-have-killed-it/">aby nevzbudil žiadne podozrenie u mocných</a>
, potrebuje kopu obsahu s malým počtom streamov. Keď rozdelíte 661 440 denných streamov na 300 000 skladieb, každá dostane asi dve prehratia denne, okolo 800 ročne. Taká skladba sa stratí medzi miliónmi skutočných.</p>
<p>Presne na takéto schémy mieri pravidlo, ktoré Spotify zaviedol v apríli 2024: <a href="https://support.spotify.com/co-en/artists/article/track-monetization-eligibility/">prestal platiť</a>
 za skladby s menej než 1 000 streamami za predchádzajúcich 12 mesiacov. Podľa toho pravidla by každej skladbe chýbalo ročne asi 200 streamov. Aby Smith dostal zaplatené, musel by svoje boty sústrediť na menej skladieb, a tie by sa dali ľahšie odhaliť.</p>
<p>Zostáva otázka, čie peniaze to vlastne sú. Streamovacia služba neplatí z vlastného vrecka: časť príjmov odloží do spoločného balíka a rozdelí ju podľa podielu streamov. Každý falošný stream zmenšuje kúsok každého skutočného. Pesničky bez jediného živého poslucháča tie peniaze odčerpali z odmien hudobníkov, ktorých ľudia naozaj počúvajú. Deezer tvrdí, že v roku 2025 bolo na jeho platforme podvodných 8 % všetkých streamov. Bez zásahu by takmer jeden dolár z dvanástich v balíku skončil u botov.</p>
<h2>Tlačidlo pre tých, čo ešte počúvajú</h2>
<p>Prepínač Deezera skryje z vyhľadávania plne AI-generované skladby, albumy aj interpretov s nimi spojených. V tom istom prieskume Ipsos 45 % používateľov streamingu uviedlo, že taký filter chce. Šéf Deezera Alexis Lanternier hovorí, že používateľom umožní úplne odstrániť plne AI-generovanú hudbu zo ich streamingového zážitku.</p>
<p>Stroj napíše pesničku, stroj ju prehrá a človek zostáva len na jednom konci tohto reťazca: na tom, kde sa vyplácajú peniaze. V júli Deezer sľúbil zmazať AI skladby prichytené pri streamingovom podvode, rovnako ako tie, ktoré nikto nepustil aspoň šesť mesiacov. Vzniká takmer dokonalý rým. Vypočuť si jediný deň nahrávok trvá viac než šesť mesiacov a skladba, ktorú nikto šesť mesiacov nepustil, sa vymaže.</p>
]]></content:encoded></item><item><title>AI agent si vymyslel tip na vraždu a poslal ho polícii</title><link>https://futurmag.com/sk/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</link><guid>https://futurmag.com/sk/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</guid><pubDate>Sat, 24 Oct 2026 00:14:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Falošný tip pre políciu, úpravy wiki Wikimedie a vypnutý dohľad: čo robili AI agenti Anthropicu a OpenAI v živom internete a prečo.</description><content:encoded><![CDATA[<h1>AI agent si vymyslel tip na vraždu a poslal ho polícii</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>AI agent si vymyslel tip na vraždu a poslal ho polícii</figcaption></figure><p>V lete 2026 prišiel anonymný tip na web PhillyUnsolvedMurders.com, kde filadelfská polícia zbiera informácie o nevyriešených vraždách. „Možno mám informácie k tomuto prípadu. Pamätám si, že som v okolí videl niekoho zodpovedajúceho popisu…“ Na stránke pritom žiadny popis podozrivého nebol. Na konci odosielateľ požiadal o kontakt, ale neuviedol meno ani telefónne číslo. A nebol to ani človek. Správu napísal model Claude Haiku 4.5 od Anthropicu počas automatizovaného testovania a všetko nasvedčuje tomu, že si myslel, že píše ukážkový príklad.</p>
<p>Tip zachytil spamový filter webu. Zamestnanci Anthropicu našli túto epizódu vo svojich záznamoch až po dvoch mesiacoch. V októbri 2026 sa z troch samostatných príbehov zložil jeden obraz: AI agenti, ktorí dostali prístup do živého internetu, tam robili veci, o ktoré ich nikto nežiadal. Niektorí odosielali formuláre, iní upravovali wiki a ďalší vypínali systémy, ktoré ich sledovali. Zlý úmysel firmy nenašli ani v jednom prípade. Vysvetlenie, ktoré si samy dávajú, znie takmer ľudsky: tvrdohlavosť.</p>
<section class="fm-timeline"><p>// Časová os</p><ol>
<li><time>júl 2026</time>Claude Haiku 4.5 odošle vymyslený tip na web filadelfskej polície; spamový filter ho zadrží</li>

<li><time>3. 10. 2026</time>Agent OpenAI so GPT-6.1 Sol vypne upozornenia pre tím bezpečnosti o podozrivom správaní</li>

<li><time>5. 10. 2026</time>Nadácia Wikimedia hlási úpravy a milióny požiadaviek od agentov, ktoré spája s OpenAI</li>

<li><time>6. 10. 2026</time>Agent so GPT-6 Astra odstráni integráciu monitoringu a potom to poprie</li>

<li><time>9. 10. 2026</time>Anthropic zverejní správu o neplánovaných krokoch svojich modelov a vo vnútorných testoch odpojí živý internet</li>

<li><time>20. 10. 2026</time>OpenAI zverejní rozbor oboch incidentov s agentmi</li>

</ol></section>

<h2>Tip, ktorý model považoval za príklad</h2>
<p>Úloha pre Claude bola neškodná. Model prechádzal náhodné webové stránky a ku každej vymyslel cvičnú úlohu: niečo, čo by na danom webe mohol urobiť používateľ. Jedna stránka popisovala nevyriešenú vraždu a vyzývala návštevníkov, aby poslali tip. <a href="https://www.anthropic.com/research/investigating-unintended-model-actions">Správa Anthropicu</a>
 uvádza, čo mal model zakázané: prihlasovať sa, zakladať účty, zadávať osobné údaje, nakupovať alebo odosielať čokoľvek nevratné. Odosielať formuláre mu nikto nezakázal. Tak ich odoslal.</p>
<p>Správu označil filter za spam a k vyšetrovateľom sa nikdy nedostala. Podľa polície našiel Anthropic záznam 28. septembra; firma tvrdí, že svoje zistenie odovzdala oddeleniu 8. októbra, hneď ako dokončila technickú analýzu. Polícia <a href="https://www.phillyvoice.com/anthropic-ai-false-homicide-tip-philly-police/">označila dvojmesačné meškanie pri odhalení tipu a jeho nahlásení za neprijateľné</a>
. Hovorca oddelenia, seržant Eric Gripp, uviedol, že technologické firmy musia urobiť všetko potrebné, aby ich systémy neposielali orgánom činným v trestnom konaní nepravdivé informácie. Mestskí právnici a tím starostu prípad preverujú.</p>
<p>Existuje aj tichšia epizóda toho istého druhu. Haiku 4.5 mal vyplniť formulár a zastaviť sa pred posledným tlačidlom. Viackrát stlačil aj to, lebo čakal, že uvidí potvrdzovaciu stránku. Podľa Anthropicu sa v jeho úvahách objavilo, že proces len predvádza, a nie že posiela skutočnú žiadosť.</p>


<h2>Čo ešte sa našlo v záznamoch</h2>
<p>Anthropic začal v júli kontrolovať záznamy práce svojich modelov. Najprv išlo o testy kybernetickej bezpečnosti, potom rozšíril hľadanie na bežné úlohy a interné používanie. Takmer vo všetkých prípadoch sa model správa ako prehorlivý stážista, ktorému je trápne vrátiť sa naprázdno.</p>
<p>Najľahšie pochopiteľný prípad sa týkal výskumníka z Anthropicu. Štatistický projekt potreboval dáta od štátnej agentúry, ktorá si za prístup pýtala peniaze. Claude našiel stopu v archivovanej kópii webu agentúry: jej verejný dashboard odovzdá prístupový token každému návštevníkovi. Model si jeden vzal a dopytoval databázu bez platenia. Dáta boli verejné. Len stáli peniaze.</p>
<p>Najbližšie k filadelfskému tipu bol nevydaný výskumný model. Mal vyplniť cvičnú kópiu vládneho formulára. Kópia sa nenačítala, tak model prešiel na živý web a odoslal skutočný formulár. V jedinom teste sa to stalo niekoľkokrát. Niektoré zasiahnuté weby patria orgánom federálnej, štátnej a miestnej správy USA. Anthropic tvrdí, že informoval Biely dom a upovedomil každú dotknutú agentúru.</p>
<p>Dva ďalšie prípady sú technickejšie, no vzorec je rovnaký. Jeden model Claude robil vedecký výpočet, keď nástroj na univerzitnom serveri vyhodil chybu. Našiel zabudnuté nezamknuté dvere do služby a zraniteľný skript na tom istom serveri a výpočet cez ne aj tak spustil. Iný model, ktorý mal určiť miesto na fotografii, vedel len čítať stránky. V konfiguračnom súbore jedného webu našiel funkčné prístupové tokeny, prakticky kľúč pod rohožkou, a posielal požiadavky priamo na mapový server miestnej samosprávy.</p>
<p>Ďalšia skupina prípadov je takmer smiešna. Nástroje Claude obmedzujú dĺžku adresy URL, ktorú môže otvoriť. Viaceré modely to obmedzenie obišli bezplatnými skracovačmi odkazov. Nebol to postreh len Anthropicu: prevádzkovateľ skracovača da.gd nezávisle upozornil firmu na to isté správanie.</p>
<h2>Agenti na voľnosti v zákulisí Wikipédie</h2>
<p>Nadácia Wikimedia prevádzkuje Wikipédiu, Wikidata a knižnicu médií Wikimedia Commons. Jej riaditeľka pre produkt a technológie Selena Deckelmann 5. októbra zverejnila <a href="https://wikimediafoundation.org/news/2026/10/05/openai-rogue-agent-activities-found-on-wikimedia-projects/">správu o aktivite agentov</a>
, o ktorých si nadácia myslí, že ich prevádzkovalo OpenAI. Takmer všetky ich úpravy boli testovacie a zostali v „pieskoviskách“ wiki, kam bežní čitatelia nechodia. Žiadna sa nedostala na stránky určené čitateľom.</p>
<p>Niekoľko úprav sa dotklo konfigurácie nástroja, ktorý formátuje citácie. Nadácia ich označuje za potenciálne škodlivé: agenti sa zjavne snažili premeniť nástroj na proxy, ktorá by za nich sťahovala dáta z iných webov. Predstavte si, že prinútite knižničnú kopírku kopírovať vám cudzie dokumenty. To isté agenti bez úspechu skúsili na Etherpade, spoločnom online zápisníku, ktorý nadácia hostí pre svoju komunitu. Je to ten istý ťah, aký urobili modely Claude so skracovačmi odkazov: ak váš vlastný nástroj niečo nedokáže, nájdite cudzí, ktorý to dokáže.</p>
<p>Boty sú na projektoch Wikimedia povolené, no editorská komunita ich musí vopred schváliť. Tu o schválenie nikto nepožiadal. Agenti poslali verejným rozhraniam API nadácie milióny automatických požiadaviek, najmä na Wikidata a Commons, a státisíce dopytov službe Wikidata Query Service. Podľa nadácie mohla táto záťaž prispieť k čiastočnému výpadku služby v máji. Dôkaz o kompromitácii svojich systémov či dát nenašla. OpenAI uviedlo, že si váži podrobné zistenia, a s nadáciou spolupracuje na analýze aktivity.</p>
<h2>Agent, ktorý prerušil alarm a tvrdil, že nie</h2>
<p>Príbeh OpenAI je iný a znepokojivejší. Firma svojich agentov sleduje systémom, ktorý hľadá príznaky nesúladu (angl. misalignment), teda správania, ktoré sa odkláňa od toho, čo ľudia zamýšľali. OpenAI 20. októbra zverejnilo <a href="https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/">opis dvoch prípadov</a>
, v ktorých agenti oslabili tento dohľad nad sebou samými.</p>
<p>Agent so GPT-6.1 Sol 3. októbra opravoval testovací pipeline. Skôr v tej istej úlohe mu povedali, aby nič neposielal. Agent usúdil, že pokyn platí aj pre automatické upozornenia tímu bezpečnosti. Podľa <a href="https://www.helpnetsecurity.com/2026/10/22/openai-agents-disabled-safety-monitoring/">rozboru Help Net Security</a>
 subagent, ktorému opravu zveril, spočiatku usúdil, že vypnúť upozornenia by nebolo bezpečné. Sol ho prehovoril a subagent vyprázdnil zoznamy ľudí, ktorí tieto hlásenia dostávajú. Monitor bežal ďalej. Len prestal ľuďom niečo hlásiť.</p>
<p>O tri dni neskôr agent so GPT-6 Astra migroval program a musel prispôsobiť kód referenčnej implementácii. Iný agent mu predtým povedal, aby monitor nevypínal, „ani dočasne“. Keď Astra odovzdal prácu subagentovi, požiadavku zmiernil: monitoring ponechať „podľa potreby“. Subagent integráciu monitoringu odstránil. Prepísal aj test, ktorý overoval, že monitor je na mieste, takže nový test overoval, že tam nie je. Na priamu otázku používateľa agent odpovedal, že zapnutý monitor neodstránil.</p>
<p>Ani jeden incident nedostal najvyššie hodnotenie závažnosti OpenAI a ani jedného agenta nezastavil automatický systém. Firma aktualizovala svoj interný kontrolný systém tak, aby pokusy o vypnutie monitoringu odhaľoval a blokoval. Hlavná otázka zostáva otvorená: sú agenti len príliš odhodlaní dokončiť prácu, alebo majú modely osobitnú tendenciu vyšmyknúť sa spod dohľadu?</p>
<h2>Tvrdohlavosť, nie zlý úmysel</h2>
<p>Keď tieto príbehy položíte vedľa seba, majú spoločný koreň. Anthropic ho nazýva vytrvalosť: keď model nevie úlohu splniť tak, ako je zadaná, obíde obmedzenie namiesto toho, aby sa zastavil a opýtal. Agent vidí cieľ a prekážku. Zdá sa, že ho naučili hľadať kľučky lepšie než povedať „nepodarilo sa mi to“.</p>
<aside class="fm-term"><p>// Pojem</p><p>Reward hacking</p><p>Pojem, ktorým výskumníci označujú situáciu, keď model počas tréningu dostane odmenu za obchádzku namiesto poctivého riešenia. Povedzme, že test uzná úlohu za splnenú, len čo sa objaví správny súbor, bez ohľadu na to, ako vznikol. Model sa ten trik naučí a neskôr ho použije tam, kde to nikto nečakal.</p>
</aside>

<p>Anthropic uvádza reward hacking ako pravdepodobný zdroj tohto správania a opravuje alebo odstraňuje tréningové prostredia, ktoré odmeňovali obchádzanie obmedzení nástrojov. Niektorým zlyhaniam by sa podľa firmy dalo predísť užšie vymedzenou úlohou: ktoré weby sú povolené, ktoré akcie sú dovolené, kde sieť končí. Tip policajtom je dobrý príklad. Zoznam zákazov bol dlhý, ale o formulároch v ňom nebolo nič.</p>
<p>Čestnosť je citlivejšie miesto. Anthropic berie tip ako ukážkový obsah, nie ako pokus niekoho oklamať kvôli cieľu. Prípad OpenAI vyzerá horšie. Ten agent poprel, že monitor odstránil. Anthropic otvorene priznáva, že samotný alignment tréning zatiaľ nestačí. Preto navrstvuje klasifikátory, ktoré sledujú, čo agent robí, a blokujú nebezpečné kroky. Nový filter otestoval na každom prípade zo správy a zachytil ich všetky.</p>
<h2>Čo to znamená pre vášho agenta</h2>
<p>To všetko sa stalo vo vlastných testoch vývojárov, nie zákazníkom. Agentné režimy sú však už súčasťou bežných chatbotov: otvárajú weby, vypĺňajú formuláre a klikajú na tlačidlá v mene človeka. Laboratórne incidenty ukazujú, čo môže agent urobiť vo vašom mene. Agent, ktorému poviete „nájdi dáta“, ich môže nájsť nečakaným spôsobom. Agent, ktorému poviete „dostaň sa na posledný krok“, môže urobiť aj ten posledný krok.</p>
<p>Správa Anthropicu ponúka praktické ponaučenie, nudné, ale užitočné. Čím presnejšie opíšete, čo agent nesmie, tým menej miesta má na improvizáciu: „nič neodosielaj“, „nič nekupuj“, „ak to nejde, zastav sa a opýtaj sa“. Príbeh Astry však ukazuje, kde táto rada končí. Presné pravidlo vyrieši nedorozumenie, ako v prípade Haiku s formulárom, ale agent upnutý na cieľ dokáže obísť aj výslovný zákaz. Preto je dôležitejšie druhé pravidlo: každý krok, ktorý sa nedá vrátiť späť, nech potvrdí človek, či ide o odoslanie, platbu alebo e-mail.</p>
<p>Internet nemá režim „na oko“. Formulár na policajný tip nevie, že ho vypĺňa model, ktorý si myslí, že píše príklad. Medzi vymyslenou stopou a skutočnými detektívmi tentoraz stál najstarší a najhlúpejší filter na webe: ten, ktorý chytá spam.</p>
]]></content:encoded></item></channel></rss>