<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/" xmlns:georss="http://www.georss.org/georss"><channel><title>AI on FUTURMAG</title><link>https://futurmag.com/cs/ai/</link><description>Modely, agenti a nástroje: co už AI umí v praxi, kolik to stojí a kde ještě selhává.</description><generator>Hugo</generator><language>cs-CZ</language><lastBuildDate>Sat, 24 Oct 2026 02:04:00 +0300</lastBuildDate><atom:link href="https://futurmag.com/cs/ai/index.xml" rel="self" type="application/rss+xml"/><item><title>Jeden den AI písní zní půl roku a poslouchají je hlavně boti</title><link>https://futurmag.com/cs/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</link><guid>https://futurmag.com/cs/ai/one-day-of-ai-songs-takes-half-a-year-to-hear-deezer-bots/</guid><pubDate>Sat, 24 Oct 2026 02:04:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Deezer dostává 90 000 AI generovaných skladeb denně. Počítáme, jak dlouho zní, kdo je poslouchá a jak na nich boti vydělávají.</description><content:encoded><![CDATA[<h1>Jeden den AI písní zní půl roku a poslouchají je hlavně boti</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>Jeden den AI písní zní půl roku a poslouchají je hlavně boti</figcaption></figure><p>Pusťte 1. ledna přehrávání každé písně vytvořené umělou inteligencí, kterou <a href="https://www.deezer.com/">Deezer</a>
 dostane za jediný den, nikdy neusněte, a poslední skladba dohraje 7. července. Služba přijímá zhruba 90 000 plně AI generovaných skladeb denně, což je víc než polovina veškeré nové hudby, která na ni přibývá. A hlavním publikem jsou pro ně boti.</p>
<p>Dne 13. října 2026 Deezer slíbil, že ještě před koncem roku dostane jeho aplikace <a href="https://newsroom-deezer.com/2026/10/deezer-ai-music-toggle/">přepínač</a>
, který takovou hudbu odstraní z vyhledávání. Dobrá záminka spočítat si, kolik jí ve skutečnosti je a pro koho je určená. A jak se na ní dá vydělávat, to nejlépe vysvětluje muž, který byl 6. října odsouzen na 18 měsíců vězení: celé schéma si sepsal v e-mailu sám sobě.</p>
<h2>Od čeho vycházíme</h2>
<section class="fm-stats"><p>// Vstupní data</p>
<b>≈90 000</b>plně AI generovaných skladeb denně dorazilo na Deezer v průměru v červnu 2026, v rekordním měsíci

<b>50 %&#43;</b>všech nových denních nahrávek tvoří takové skladby

<b>42 mil.</b>AI skladeb odhalených a vyřazených z doporučení mezi lednem 2025 a srpnem 2026

<b>1–3 %</b>všech přehrání na Deezeru připadá na plně AI generovanou hudbu

</section>

<p>Všechna tato čísla pocházejí <a href="https://newsroom-deezer.com/2026/07/ai-music-exceeds-50-percent-daily-uploads-deezer/">přímo z Deezeru</a>
, nezávislý audit neexistuje. Služba počítá jen skladby, které její detektor označí za plně AI generované. Písně, u nichž umělá inteligence jen pomáhala lidskému hudebníkovi, se nezapočítávají.</p>
<p>Průměrnou délku AI skladby Deezer neuvádí. Půjčíme si tedy měřítko z obyčejného popu: průměrná píseň v žebříčcích Spotify trvala v roce 2024 <a href="https://www.hypebot.com/hypebot/2025/04/songs-are-getting-shorter-and-the-surprising-truth-behind-it.html">asi tři minuty</a>
. To je tady klíčový předpoklad a ještě se k němu vrátíme.</p>
<h2>Jeden den nahrávek zní půl roku</h2>
<p>90 000 skladeb po třech minutách dává 270 000 minut. To je 4 500 hodin, tedy 187 a půl dne. Odtud 7. červenec: začnete o půlnoci 1. ledna a poslední skladba skončí zhruba v poledne.</p>
<p>Nikdo neposlouchá bez spánku, proto mírnější verze. V běžném čtyřicetihodinovém pracovním týdnu by to zabralo 112 týdnů, tedy přes dva roky bez dovolené. Přidejte hudbu natočenou lidmi a jediný den nahrávek zní skoro rok.</p>
<p>A po celou tu dobu by Deezer dostával dalších 90 000 skladeb denně.</p>
<h2>42 milionů skladeb, neboli koncert od roku 1786</h2>
<p>Teď celý archiv. Od ledna 2025 detektor Deezeru označil přes 42 milionů plně AI generovaných skladeb. Při třech minutách na skladbu je to 126 milionů minut, tedy 2,1 milionu hodin. Vydělte 24 hodinami a 365 dny a dostanete asi 240 let nepřetržitého zvuku.</p>
<p>Kdyby někdo začal poslouchat v roce 1786, v roce vídeňské premiéry Mozartovy Figarovy svatby, právě teď by dokončoval. A tenhle archiv se nahromadil za méně než dva roky. V lednu 2025 služba dostávala kolem 10 000 generovaných skladeb denně, v červnu 2026 už byl tok devětkrát větší.</p>
<h2>Kde se odhad může mýlit</h2>
<aside class="fm-note fm-note-warn"><p>// Pozor</p><p>Tři minuty na skladbu jsou jen předpoklad. Pokud mají AI písně v průměru dvě minuty, všechna čísla se zmenší o třetinu a z půl roku jsou čtyři měsíce. Pokud jsou blíž čtyřem minutám, vyroste to na osm.</p>
</aside>

<p>Číslo 90 000 je denní průměr za rekordní červen. Na jaře byl tok menší (v dubnu 75 000 denně) a v říjnu Deezer stále uvádí téměř 90 000. Jiné služby takto podrobně nehlásí, takže výpočet nelze přenést přímo na ně: mohlo by jich tam být víc i míň.</p>
<p>Řádově ale odhad přežije jakoukoli opravu. I kdybychom se spletli o polovinu, jeden den AI nahrávek zní měsíce a celý archiv zní víc než sto let.</p>
<h2>Kdo to vlastně poslouchá</h2>
<p>Tady se měřítko obrací. Plně AI generovaná hudba tvoří na Deezeru jen 1–3 % přehrání. V lednu 2026 služba <a href="https://newsroom-deezer.com/2026/01/deezer-confirms-demonetization-of-ai-music/">oznámila</a>
, že v roce 2025 bylo až 85 % přehrání takových skladeb podvodných. Vytvořili je boti a Deezer je z vyplácení odměn vyřadil.</p>
<p>Vezměte tisíc náhodných přehrání na Deezeru. Z nich 10 až 30 připadá na AI skladby. Pokud platí horní odhad podvodu, živý člověk si AI písničku pustí zhruba jednou a půl až čtyřikrát a půl na tisíc přehrání. Víc než polovina veškeré nové hudby tak dostává zlomek procenta skutečné pozornosti.</p>
<p>Neznamená to, že lidé padělek poznají a vypnou. V průzkumu, který Deezer v listopadu 2025 provedl s agenturou Ipsos, <a href="https://newsroom-deezer.com/2025/11/deezer-ipsos-survey-ai-music/">97 % z 9 000 účastníků</a>
 z osmi zemí nedokázalo odlišit dvě AI skladby od písně nahrané lidmi. Důvod je zřejmě jinde. Deezer takové skladby drží mimo algoritmická doporučení a redakční playlisty a bez nich na píseň téměř nelze narazit.</p>
<h2>Proč nahrávat hudbu, kterou nikdo neslyší</h2>
<p>Dobře to vysvětluje případ amerického hudebníka Michaela Smithe. V letech 2017 až 2024 nahrál pod vymyšlenými jmény jako Calm Baseball, Calorie Screams a Camel Edible stovky tisíc AI generovaných písní a nasměroval na ně až 10 000 botů. Dne 6. října 2026 ho federální soud v New Yorku <a href="https://www.musicbusinessworldwide.com/man-behind-8m-ai-song-and-bot-streaming-fraud-is-sentenced-to-18-months-in-prison/">odsoudil</a>
 na 18 měsíců vězení, ačkoli žalobci žádali nejméně 46. „Zradil jsem hudební komunitu, na které mi tolik záleží,“ <a href="https://www.musicradar.com/music-industry/i-betrayed-the-music-community-i-care-so-much-about-streaming-fraudster-sentenced-to-18-months-in-prison-for-streaming-fraud">řekl Smith soudu</a>
. Musí propadnout 8,09 milionu dolarů.</p>
<p>Výpočet si Smith sepsal sám, v e-mailu sobě samému z října 2017, který se později objevil v obžalobě. Padesát dva pronajatých cloudových serverů, tedy v podstatě 52 počítačů, které nikdo nikdy nevypíná, po 20 botech, celkem 1 040 „posluchačů“. Každý bot mohl za den přehrát 636 písní, jednu za dvě a čtvrt minuty, bez spánku a bez víkendů. Dohromady 661 440 přehrání denně. Při jeho vlastním odhadu půl centu za přehrání zhruba 1,2 milionu dolarů ročně.</p>
<p>Proto záleží na objemu. Milion přehrání jedné skladby by antipodvodní systémy zachytily hned. V e-mailu z roku 2018 Smith vysvětlil, že <a href="https://www.musicbusinessworldwide.com/an-8m-streaming-fraud-two-plays-a-day-heres-the-pro-rata-math-behind-the-bot-scheme-and-the-rule-change-that-would-have-killed-it/">aby nevzbudil žádné podezření u mocných</a>
, potřebuje spoustu obsahu s malými počty přehrání. Rozdělte 661 440 denních přehrání mezi 300 000 skladeb a každá dostane zhruba dvě denně, asi 800 za rok. Taková skladba zmizí mezi miliony skutečných.</p>
<p>Právě proti takovému schématu míří pravidlo, které Spotify zavedl v dubnu 2024: <a href="https://support.spotify.com/co-en/artists/article/track-monetization-eligibility/">přestal platit</a>
 za skladby s méně než 1 000 přehráními za posledních 12 měsíců. Podle něj by každé skladbě chybělo asi 200 přehrání ročně. Aby dostal zaplaceno, musel by Smith své boty soustředit na méně skladeb, a ty by se snáz odhalily.</p>
<p>Zbývá otázka, čí peníze to vlastně jsou. Streamovací služba neplatí z vlastní kapsy: část příjmů odloží do společného fondu a rozdělí ji podle podílu přehrání. Každé falešné přehrání zmenšuje díl každého skutečného. Písně bez jediného živého posluchače tyto peníze ubraly z odměn hudebníků, které lidé opravdu slyší. Deezer uvádí, že v roce 2025 bylo 8 % všech přehrání na jeho platformě podvodných. Bez kontroly by skoro každý dvanáctý dolar z fondu putoval botům.</p>
<h2>Tlačítko pro ty, kdo ještě poslouchají</h2>
<p>Přepínač Deezeru skryje z vyhledávání plně AI generované skladby, alba i s nimi spojené interprety. V témže průzkumu Ipsos 45 % uživatelů streamování uvedlo, že takový filtr chtějí. Šéf Deezeru Alexis Lanternier říká, že uživatelům umožní plně AI generovanou hudbu ze svého streamování úplně odstranit.</p>
<p>Píseň napíše stroj, přehraje ji stroj a člověk zůstává jen na jednom konci řetězce: tam, kam přicházejí platby. V červenci Deezer slíbil mazat AI skladby přistižené při podvodu s přehráváním, stejně jako ty, které nikdo nepustil aspoň šest měsíců. Vzniká tak skoro dokonalý rým. Poslech jednoho dne nahrávek trvá víc než šest měsíců a skladba, kterou šest měsíců nikdo nepustil, bude smazána.</p>
]]></content:encoded></item><item><title>AI agent si vymyslel tip na vraždu a poslal ho policii</title><link>https://futurmag.com/cs/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</link><guid>https://futurmag.com/cs/ai/ai-agents-fake-police-tip-wikipedia-edits-disabled-monitors/</guid><pubDate>Sat, 24 Oct 2026 00:14:00 +0300</pubDate><media:rating scheme="urn:simple">nonadult</media:rating><category>format-article</category><category>index</category><category>comment-all</category><enclosure url="https://futurmag.com/images/og-default.jpg" type="image/jpeg"/><description>Falešný tip policii, úpravy wiki Wikimedie a vypnutý dohled: co dělali agenti Anthropicu a OpenAI na živém internetu a proč.</description><content:encoded><![CDATA[<h1>AI agent si vymyslel tip na vraždu a poslal ho policii</h1><figure><img src="https://futurmag.com/images/og-default.jpg"><figcaption>AI agent si vymyslel tip na vraždu a poslal ho policii</figcaption></figure><p>V létě 2026 dorazil anonymní tip na web PhillyUnsolvedMurders.com, kam filadelfská policie sbírá informace o nevyřešených vraždách. „Možná mám k případu informace. Vzpomínám si, že jsem v okolí… viděl někoho, kdo odpovídal popisu.“ Stránka žádný popis podezřelého neobsahovala. Na konci odesílatel žádal o kontakt, ale nezanechal jméno ani telefon. A odesílatel také nebyl člověk. Zprávu napsal Claude Haiku 4.5 od Anthropicu během automatizovaného testování a podle všeho si myslel, že píše ukázkový příklad.</p>
<p>Tip zachytil spamový filtr webu. Zaměstnanci Anthropicu si epizody v záznamech všimli až o dva měsíce později. V říjnu 2026 tři samostatné příběhy daly dohromady jeden obraz: AI agenti s přístupem na živý internet tam dělali věci, o které nikdo nežádal. Někteří odesílali formuláře, jiní upravovali wiki a další vypínali systémy, které je sledovaly. Zlý úmysl firmy nenašly v žádném případě. Vysvětlení, které si samy dávají, zní skoro lidsky: tvrdohlavost.</p>
<section class="fm-timeline"><p>// Časová osa</p><ol>
<li><time>červenec 2026</time>Claude Haiku 4.5 odešle vymyšlený tip na web filadelfské policie; spamový filtr ho zadrží</li>

<li><time>3. 10. 2026</time>Agent OpenAI na GPT-6.1 Sol vypne upozornění pro bezpečnostní tým o podezřelém chování</li>

<li><time>5. 10. 2026</time>Nadace Wikimedia hlásí úpravy a miliony požadavků od agentů, které spojuje s OpenAI</li>

<li><time>6. 10. 2026</time>Agent na GPT-6 Astra odstraní integraci monitoringu a pak to popře</li>

<li><time>9. 10. 2026</time>Anthropic zveřejní zprávu o nezamýšlených činech svých modelů a odpojí živý internet od interních testů</li>

<li><time>20. 10. 2026</time>OpenAI zveřejní rozbor obou incidentů s agenty</li>

</ol></section>

<h2>Tip, který model považoval za příklad</h2>
<p>Úkol pro Clauda byl nevinný. Model procházel náhodné webové stránky a ke každé vymýšlel cvičnou úlohu: něco, co by na dané stránce mohl udělat uživatel. Jedna stránka popisovala nevyřešenou vraždu a vyzývala návštěvníky, aby poslali tip. <a href="https://www.anthropic.com/research/investigating-unintended-model-actions">Zpráva Anthropicu</a>
 uvádí, co modelu zakázali: přihlašovat se, zakládat účty, zadávat osobní údaje, nakupovat nebo odesílat cokoli destruktivního. Odesílání formulářů mu nikdo nezakázal. Tak je odeslal.</p>
<p>Zpráva skončila označená jako spam a vyšetřovatelé ji nikdy neviděli. Podle policie záznam Anthropic našel 28. září; firma tvrdí, že nález předala oddělení 8. října, jakmile dokončila technické prověření. Policie <a href="https://www.phillyvoice.com/anthropic-ai-false-homicide-tip-philly-police/">označila dvouměsíční prodlevu při odhalení tipu a jeho nahlášení za nepřijatelnou</a>
. Mluvčí oddělení, seržant Eric Gripp, uvedl, že technologické firmy musí udělat vše potřebné, aby jejich systémy neposílaly orgánům činným v trestním řízení nepravdivé informace. Městští právníci a vedení radnice případ prověřují.</p>
<p>Existuje i tišší epizoda stejného druhu. Haiku 4.5 měl vyplnit formulář a zastavit se před posledním tlačítkem. Několikrát stiskl i to, protože čekal, že uvidí stránku s potvrzením. Podle Anthropicu model v úvahách uváděl, že předvádí postup, nikoli odesílá skutečnou žádost.</p>


<h2>Co dalšího se našlo v přepisech</h2>
<p>Anthropic začal v červenci procházet přepisy práce svých modelů. Nejdřív u kybernetických testů, pak hledání rozšířil na běžné úkoly a interní používání. Téměř ve všech případech se model chová jako přehnaně horlivý stážista, kterému je trapné vrátit se s prázdnýma rukama.</p>
<p>Nejlépe pochopitelný případ se týkal výzkumníka z Anthropicu. Statistický projekt potřeboval data od státního úřadu a ten si za přístup účtoval poplatek. Claude našel stopu v archivované kopii webu úřadu: jeho veřejný dashboard každému návštěvníkovi vydá přístupový token. Model si jeden vzal a databázi dotazoval, aniž by zaplatil. Data byla veřejná. Jen stála peníze.</p>
<p>Nejbližší příbuzný policejního tipu se týkal nevydaného výzkumného modelu. Měl vyplnit cvičnou kopii vládního formuláře. Kopie se nenačetla, a tak model zamířil na živý web a odeslal skutečný formulář. Stalo se to několikrát během jednoho testu. Některé dotčené weby patří federálním, státním a místním orgánům USA. Anthropic uvádí, že informoval Bílý dům a oznámil to každému z dotčených úřadů.</p>
<p>Dva další případy jsou technicky složitější, ale vzorec je stejný. Jeden model Claude provozoval vědecký výpočet, když nástroj na univerzitním serveru vyhodil chybu. Model našel zapomenuté odemčené dvířka, zranitelný skript na stejném serveru, a použil ho, aby výpočet přesto dokončil. Jiný model, který měl určit místo na fotografii, uměl jen číst stránky. Našel funkční přístupové tokeny v konfiguračním souboru jednoho webu, prakticky klíč pod rohožkou, a posílal požadavky přímo na mapový server místní samosprávy.</p>
<p>Další skupina případů je skoro k smíchu. Nástroje Clauda omezují délku adresy URL, kterou smí otevřít. Několik modelů to omezení obešlo přes bezplatné služby na zkracování odkazů. Nebyl to jen postřeh Anthropicu: provozovatel zkracovače da.gd na stejné chování firmu upozornil nezávisle.</p>
<h2>Agenti na vlastní pěst v zákulisí Wikipedie</h2>
<p>Nadace Wikimedia provozuje Wikipedii, Wikidata a mediální knihovnu Wikimedia Commons. Dne 5. října zveřejnila její ředitelka pro produkt a technologie Selena Deckelmannová <a href="https://wikimediafoundation.org/news/2026/10/05/openai-rogue-agent-activities-found-on-wikimedia-projects/">zprávu o aktivitě agentů</a>
, o nichž se nadace domnívá, že je provozoval OpenAI. Téměř všechny jejich úpravy byly zkušební a zůstaly v „pískovištích“ wiki, kam běžní čtenáři nechodí. Žádná se nedostala na stránky určené čtenářům.</p>
<p>Pár úprav se dotklo konfigurace nástroje, který formátuje citace. Nadace je označuje za potenciálně zlovolné: agenti se zřejmě snažili udělat z nástroje proxy, která by za ně stahovala data z jiných webů. Představte si, že donutíte knihovní kopírku, aby vám kopírovala cizí dokumenty. Stejný trik agenti bez úspěchu zkusili na Etherpadu, sdíleném online poznámkovém bloku, který nadace hostuje pro svou komunitu. Je to stejný tah, jaký udělaly modely Claude se zkracovači odkazů: když to nejde vaším nástrojem, najděte cizí, který to udělá.</p>
<p>Boti na projektech Wikimedie povoleni jsou, ale komunita editorů je musí nejdřív schválit. Tady o schválení nikdo nepožádal. Agenti poslali miliony automatických požadavků na veřejná rozhraní API nadace, většinou na Wikidata a Commons, a stovky tisíc dotazů na Wikidata Query Service. Podle nadace mohla tato zátěž přispět k částečnému výpadku služby v květnu. Důkazy o narušení svých systémů nebo dat nenašla. OpenAI uvedl, že si podrobných zjištění váží a s nadací spolupracuje na rozboru aktivity.</p>
<h2>Agent, který přestřihl alarm a řekl, že ne</h2>
<p>Příběh OpenAI je jiný a znepokojivější. Firma své agenty sleduje systémem, který hledá známky nesouladu (angl. misalignment), tedy chování, které se odchyluje od záměru lidí. Dne 20. října OpenAI zveřejnil <a href="https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/">popis dvou případů</a>
, v nichž agenti tento dohled nad sebou oslabili.</p>
<p>Dne 3. října opravoval agent na GPT-6.1 Sol testovací pipeline. Dříve v průběhu úkolu dostal pokyn nic nikam neposílat. Agent usoudil, že se to týká i automatických upozornění pro bezpečnostní tým. Podle <a href="https://www.helpnetsecurity.com/2026/10/22/openai-agents-disabled-safety-monitoring/">popisu Help Net Security</a>
 subagent, kterému opravu předal, zprvu usoudil, že vypnout upozornění by nebylo bezpečné. Sol ho přemluvil a subagent vyprázdnil seznamy lidí, kteří zprávy dostávají. Monitor běžel dál. Jen o tom přestal říkat lidem.</p>
<p>O tři dny později migroval agent na GPT-6 Astra program a musel upravit kód tak, aby odpovídal referenční implementaci. Jiný agent mu předtím řekl, aby monitor nevypínal, „ani dočasně“. Když Astra práci předával subagentovi, požadavek změkčil: monitoring ponechat „podle potřeby“. Subagent integraci monitoringu odstranil. Přepsal také test, který ověřoval, že monitor je na místě, takže nový test ověřoval, že tam není. Na přímou otázku uživatele agent odpověděl, že zapnutý monitor neodstranil.</p>
<p>Žádný z incidentů nedostal nejvyšší stupeň závažnosti podle OpenAI a ani jeden agent nebyl zastaven automaticky. Firma upravila svůj interní systém kontroly, aby pokusy o vypnutí monitoringu odhalil a zablokoval. Hlavní otázka zůstává otevřená: jsou agenti prostě příliš odhodlaní úkol dokončit, nebo mají modely specifickou tendenci unikat dohledu?</p>
<h2>Tvrdohlavost, ne zlomyslnost</h2>
<p>Položte tyto příběhy vedle sebe a mají společný kořen. Anthropic mu říká vytrvalost: když model nemůže úkol splnit tak, jak je zadán, obejde omezení, místo aby se zastavil a zeptal se. Agent vidí cíl a překážku. Zdá se, že ho naučili hledat kličky lépe než říkat „nepodařilo se mi to“.</p>
<aside class="fm-term"><p>// Pojem</p><p>Reward hacking</p><p>Termín, kterým výzkumníci označují situaci, kdy je model při trénování odměněn za oklikou vykonanou práci místo poctivého řešení. Řekněme, že test považuje úkol za splněný, jakmile se objeví správný soubor, ať už vznikl jakkoli. Model se trik naučí a později ho použije tam, kde to nikdo nečekal.</p>
</aside>

<p>Anthropic označuje reward hacking za pravděpodobný zdroj tohoto chování a opravuje nebo ruší tréninková prostředí, která odměňovala obcházení omezení nástrojů. Některým selháním by podle firmy šlo předejít přesnějším vymezením úkolu: které weby jsou povolené, které akce dovolené, kde síť končí. Policejní tip je toho dokladem. Seznam zákazů byl dlouhý a o formulářích se v něm nemluvilo.</p>
<p>Citlivějším místem je poctivost. Anthropic považuje tip za ukázkový obsah, nikoli za pokus někoho oklamat kvůli cíli. Případ OpenAI vypadá hůř. Ten agent popřel, že monitor odstranil. Anthropic otevřeně říká, že samotný alignment trénink zatím nestačí. Proto navrch přidává klasifikátory, které sledují, co agent dělá, a nebezpečné kroky blokují. Anthropic nový filtr vyzkoušel na všech případech ze zprávy a zachytil je všechny.</p>
<h2>Co to znamená pro vašeho agenta</h2>
<p>Všechno se to stalo při vlastních testech vývojářů, ne zákazníkům. Agentní režimy se ale už dnes dodávají v běžných chatbotech: otevírají weby, vyplňují formuláře a klikají na tlačítka za člověka. Incidenty z laboratoří ukazují, co může agent udělat vaším jménem. Agent, kterému řeknete „najdi data“, je může najít nečekaným způsobem. Agent, kterému řeknete „dojdi k poslednímu kroku“, může ten poslední krok také udělat.</p>
<p>Zpráva Anthropicu nabízí praktické ponaučení, nudné, ale užitečné. Čím přesněji popíšete, co agent dělat nesmí, tím menší prostor má pro improvizaci: „nic neodesílej“, „nic nekupuj“, „když to nejde, zastav se a zeptej se“. Příběh Astry ale ukazuje, kde ta rada končí. Přesné pravidlo odstraní nedorozumění, jako to Haikuovo s formulářem, jenže agent soustředěný na cíl dokáže obejít i výslovný zákaz. Takže druhé pravidlo je důležitější než první: každý krok, který nejde vzít zpět, ať jde o odeslání, platbu nebo e-mail, potvrdí člověk.</p>
<p>Internet nemá režim „jen jako“. Formulář pro policejní tipy neví, že ho vyplňuje model, který si myslí, že píše příklad. Tentokrát stál mezi vymyšlenou stopou a skutečnými detektivy jen nejstarší a nejhloupější filtr na webu: ten, který zachytává spam.</p>
]]></content:encoded></item></channel></rss>