Praktický postup od spotřeby tokenů přes práci týmu až k výnosům, nákladům a dalším rozhodnutím.
Kolik lidí používá AI?
Kolik máme aktivních licencí?
Kolik tokenů tým spotřeboval?
To jsou čísla, ke kterým se firmy dostanou nejsnáze. Všechna ale měří používání AI, ne její skutečný přínos.
Sto ušetřených hodin automaticky neznamená sto hodin finanční úspory.
Stejně zavádějící může být samotná informace, že lidé pracují rychleji. Tým může rychleji dokončovat úkoly, vývoj může dodat více funkcionalit a obchod připravit více nabídek. Pokud zákazníci nové funkcionality nepoužívají, více nabídek nevede k zakázkám a uvolněný čas firma nijak nevyužije a vám žádný ekonomický přínos nevznikl.
Na otázku měření přínosů AI narážím poměrně často. Protože mi to nedalo, prošel jsem dostupné výzkumy a zdroje pro měření AI a produktivity. Rozhovor s Nicole Forsgren, Taking Flight with Copilot, DevEx in Action, DORA 2025, DX Core 4, AI Measurement Framework, Frictionless Workbook a výzkumy METR.
Z toho mi vyšel postup, který bych použil, pokud zrovna řešíte, jak měřit přínos AI ve vašich týmech.
Nejde o univerzální řešení, že po měsíci získáte definitivní číslo návratnosti. Každý tým dělá jinou práci a výsledek ovlivňuje kvalita vedení, procesů, dat i používaných nástrojů. Třicet dnů ale stačí k tomu, abyste přestali diskutovat jen o licencích a tokenech a získali podklady pro konkrétní rozhodnutí.
Přínos AI vzniká v pěti navazujících vrstvách
Měření je postavené jako řetězec:
- Využití AI: kdo, kde a za kolik AI používá.
- Změna práce: co je díky AI rychlejší, jednodušší nebo naopak náročnější.
- Dodaný výstup: co tým skutečně dokončil navíc nebo dříve.
- Dopad na zákazníka nebo provoz: co se změnilo v chování zákazníků či ve fungování firmy.
- Ekonomický přínos: jak se změna propsala do výnosů, marže, nákladů nebo rizika.
Pokud se řetězec v některém místě přeruší, nelze tvrdit, že AI vytvořila finanční hodnotu.
Více spotřebovaných tokenů nemusí zlepšit práci. Rychlejší práce nemusí znamenat větší objem skutečně dokončené práce. Více funkcionalit nemusí přinést vyšší výnos. Právě propojení těchto vrstev je podstatou celého měření.
1. Nejdříve si řekněte, jaké rozhodnutí má měření umožnit
Nezačínejte výběrem metrik. Začněte otázkou, co chcete na základě výsledků rozhodnout.
Potřebujete zjistit:
- Máme AI nasadit do dalších týmů?
- Vyplatí se nám současný nástroj?
- Potřebují lidé školení?
- Musíme změnit způsob zadávání práce?
- Vzniká nový problém při kontrole výstupů?
- Máme některé způsoby použití AI naopak omezit?
- U kterého typu práce má AI největší přínos?
- Dokážeme uvolněnou kapacitu proměnit v další výstup nebo finanční úsporu?
Současně určete, který firemní výsledek chcete ovlivnit. Může jít o rychlejší uvedení funkcionality na trh, vyšší počet kvalitních nabídek, kratší dobu řešení požadavku, nižší náklady na externí práci nebo méně chyb.
Pro první pilot bych vybral jeden tým, několik opakujících se typů práce a období 30 dnů. Snažit se měřit hned od začátku všechny týmy, vám přidá spoustu práce a dalších vstupů, než nakonec vyladíte finální metriky pro svou formu a pro vaše týmy.
2. Vytvořte výchozí stav
Bez výchozího stavu nepoznáte, co se změnilo.
Z předchozích čtyř až osmi týdnů bych vytáhl:
- Co měl tým naplánované a co skutečně dodal.
- Jak dlouho trvalo dokončení srovnatelného úkolu.
- Kolik času zabírala kontrola.
- Kolikrát se práce vracela k přepracování.
- Kolik vzniklo chyb, incidentů nebo reklamací.
- Jaké byly náklady na nástroje a externí práci.
- Kde lidé vnímali největší překážky a zdržení.
- Jaký výsledek daná práce přinesla zákazníkovi nebo firmě.
Nemusíte čekat na dokonalá data. Začněte tím, co už máte v projektovém řízení, CRM, repozitářích, zákaznické podpoře, účetnictví nebo dalších systémech.
Výchozí období musí být s pilotem alespoň přibližně srovnatelné. Jiná skladba úkolů, sezonnost, změna týmu nebo souběžná úprava procesu mohou výsledek zkreslit. Pokud je to možné, porovnávejte stejné typy práce nebo využijte podobný tým, kterého se změna netýká.
Jestli už tým AI běžně používá, nevytváříte čisté srovnání práce s AI a bez ní. Měříte současný stav a změnu po konkrétním zásahu, například po zavedení nového nástroje, školení nebo způsobu práce. Výsledek proto berte jako podklad pro rozhodnutí, ne automaticky jako důkaz příčiny.
3. Udělejte rozhovory s lidmi na obou stranách spektra
Začal bych s lidmi, kteří AI používají nejvíce a s těmi, kteří ji používají nejméně. Nejde o hodnocení jednotlivců. Cílem je pochopit rozdílné způsoby práce.
Frictionless Workbook doporučuje přibližně 12 až 15 rozhovorů nebo pokračovat do chvíle, kdy se začnou opakovat stejné vzorce.
S každým bych prošel jeden konkrétní úkol z posledních dnů.
Ptal bych se:
- Co přesně jste řešil?
- Ve které části jste použil AI?
- Co byste bez AI dělal jinak?
- Kde vám AI pomohla?
- Kde vás zdržela?
- Co jste musel kontrolovat nebo předělávat?
- Kam jste vložil ušetřený čas?
- Jak moc jste výsledku AI důvěřoval?
- Co se díky rychlejšímu dokončení stalo dál?
U vysoké spotřeby potřebujete zjistit, jestli AI pomáhá s hodnotnou prací, nebo zda tokeny mizí v experimentech, opakovaných pokusech a slepých větvých.
U nízké spotřeby potřebujete rozlišit efektivní práci bez AI od nevyužité příležitosti. Nízká spotřeba sama o sobě není problém a vysoká spotřeba není úspěch silné adopce.
4. Rozdělte práci do několika typů
Samotná informace o spotřebě AI nemá bez kontextu velkou hodnotu. Potřebujete vědět, na jakou práci byla AI použita.
Ve vývojovém týmu mohou štítky vypadat například takto:
- Nová funkcionalita.
- Oprava chyby.
- Architektura a návrh řešení.
- Technický dluh a úpravy existujícího kódu.
- Testování.
- Dokumentace.
- Kontrola kódu.
- Provoz a incidenty.
- Výzkum a učení.
Držel bych se maximálně šesti až deseti typů. Složitější systém lidé přestanou používat.
Stejný princip lze použít i mimo vývoj.
V obchodě můžete sledovat přípravu na schůzku, analýzu zákazníka, zápis do CRM, tvorbu nabídky, následnou komunikaci nebo přípravu podkladů pro rozhodnutí.
V marketingu může jít o výzkum trhu, přípravu obsahu, analytiku, tvorbu kampaně, distribuci nebo vyhodnocení výsledků.
Na zákaznické podpoře lze rozlišovat třídění požadavků, přípravu odpovědi, řešení problému, eskalaci nebo doplnění znalostní báze.
Každý sledovaný úkol by měl mít jednoznačný štítek a jeden hlavní typ práce. Díky tomu lze propojit použití AI s délkou úkolu, kontrolou, kvalitou, skutečně dodaným výsledkem a později také s dopadem na firmu.
5. Od člověka chtějte jen tři údaje
Měření nesmí vytvořit další administrativu, která zruší přínos AI.
Většinu informací bych bral automaticky ze systémů. Ručně by člověk doplnil pouze:
- Typ práce.
- Zda AI pomohla, brzdila nebo byla neutrální.
- Orientační odhad úspory nebo zdržení.
Systémy by měly dodat spotřebu a cenu AI, dobu dokončení, počet kontrol, přepracování, chyby, incidenty a skutečně dodaný výsledek.
Ve vývoji může spojovacím bodem být ID úkolu uvedené ve větvi, pull requestu a AI relaci. V obchodě může jít o ID příležitosti v CRM, v marketingu o kampaň nebo obsahový výstup a na podpoře o číslo požadavku.
První verze nebude dokonalá. Hlavně tokeny může být složité propojit s konkrétním úkolem. Proto dává smysl začít pilotem a přesnost měření postupně zvyšovat.
6. Neměřte jen rychlost
Rychlost sama o sobě může vytvořit falešný obraz.
Tým může díky AI vyrobit více výstupů, ale současně strávit více času jejich kontrolou a opravami. DX Core 4 proto pracuje se čtyřmi oblastmi: rychlostí, efektivitou, kvalitou a dopadem na firmu.
Pro první pilot bych sledoval pět skupin ukazatelů.
Využití a náklady AI
- Kolik lidí AI používá.
- Na jaké typy práce.
- Jaké modely a nástroje používají.
- Kolik stojí licence, tokeny a případné překročení limitů.
- Kde je využití vysoké nebo nízké.
Celkový počet tokenů sám o sobě nestačí. Cena se liší podle modelu, poměru vstupních a výstupních tokenů, využití cache i způsobu účtování nástroje. Sledujte proto skutečnou fakturovanou cenu a spotřebu podle typu práce, ne pouze jedno velké číslo za celou firmu.
Rychlost
- Jak dlouho trvá dokončení srovnatelného úkolu.
- Jak se změnila doba kontroly.
- Jak dlouho práce čeká mezi jednotlivými kroky.
- Jak rychle se výsledek dostane k zákazníkovi nebo do provozu.
Skutečně dodaná práce
- Kolik měl tým naplánováno.
- Kolik skutečně dodal.
- Jestli se ušetřený čas proměnil v další dokončenou práci.
- Jestli tým věnoval více času úkolům s vyšší hodnotou.
- Jestli pouze nevytáhl dopředu práci, kterou by stejně dodal později.
Kvalita
- Kolik práce se muselo vrátit.
- Kolik vzniklo chyb.
- Kolik bylo potřeba kol kontroly.
- Jestli přibyly incidenty, reklamace nebo bezpečnostní problémy.
- Jestli se zvýšily následné náklady na údržbu.
Dopad na lidi
- Jestli AI snižuje, nebo zvyšuje mentální zátěž.
- Jak moc lidé výstupům důvěřují.
- Jestli se práce nepřesunula z tvorby do neustálé kontroly.
- Jestli mají lidé více času na soustředěnou práci.
- Jestli se neztrácí schopnost řešit problém bez pomoci nástroje.
Výzkum DevEx in Action pracuje s kombinací soustředění, rychlosti zpětné vazby a mentální zátěže. Jedna metrika nedokáže produktivitu týmu popsat.
DORA 2025 zároveň popisuje AI jako zesilovač fungování organizace. Silný systém práce může podpořit, slabá místa může naopak zvýraznit. Výsledek proto nevysvětluje pouze kvalita modelu, ale také způsob zadávání práce, řízení týmu, kontrola a schopnost změnu využít.
7. Oddělte pocit úspory od skutečného výsledku
Člověk může mít pocit, že mu AI ušetřila dvě hodiny. To je užitečná informace, ale zatím pouze odhad.
Potřebujete se podívat, co se stalo s celým úkolem.
- Dokončil se opravdu dříve?
- Neprodloužila se kontrola?
- Nevrátil se později k opravě?
- Nevznikla chyba nebo incident?
- Proměnil se ušetřený čas v další dodanou práci?
Studie METR z počátku roku 2025 ukázala u 16 zkušených open-source vývojářů 19% zpomalení, přestože sami účastníci po experimentu odhadovali, že je AI zrychlila o 20%.
METR dnes upozorňuje, že tento výsledek už nelze přenášet na současné modely. Novější měření naznačilo zlepšení, kvůli výběrovému zkreslení ale nedokázalo spolehlivě určit jeho velikost.
Hlavní poučení zůstává, že subjektivní pocit je potřeba porovnat s celým cyklem práce, od zadání až po výsledek.
8. Propojte rychlejší práci s výsledkem pro zákazníka a firmu
Zrychlení týmu je mezivýsledek. Vedení firmy potřebuje vědět, co se díky němu změnilo dál.
U nové funkcionality bych se ptal:
- Dostala se k zákazníkům dříve?
- Kolik zákazníků ji začalo používat?
- Pomohla získat nové zákazníky, zvýšit cenu nebo snížit churn-rate?
- Jak rychleji se dostala do produkce a začala nám vydělávat?
- Nezvýšily se současně náklady na podporu a opravy?
V obchodě nestačí, že vznikla nabídka rychleji. Potřebujete zjistit, zda obchodníci připravili více kvalitních nabídek, zkrátili dobu od poptávky k podpisu, zvýšili úspěšnost nebo věnovali získaný čas práci s důležitějšími zákazníky. Konečný dopad se ukáže v zakázkách, hrubé marži a délce obchodního cyklu.
V marketingu není výsledkem více textů. Podstatné je, zda se obsah dostal k relevantním lidem, pomohl firmě vstoupit do rozhodování zákazníka, vytvořil poptávku nebo zvýšil podíl správných příležitostí v sales pipeline.
Na zákaznické podpoře nestačí rychlejší první odpověď. Sledujte náklad na vyřešený případ, počet opakovaných kontaktů, dodržení SLA, spokojenost, reklamace a případný dopad na udržení zákazníků.
Každý typ práce potřebuje vlastní cestu od výstupu k ekonomice. Bez ní firma změří produktivitu, ale ne přínos.
9. Návratnost počítejte jen ze skutečně využitého přínosu
Sto ušetřených hodin automaticky neznamená sto hodin finanční úspory.
Pokud firma zaplatila stejné mzdy a žádnou další práci nedodala, nevznikla úspora. Vznikla volná kapacita, se kterou musí teprve něco udělat.
Uvolněnou kapacitu lze započítat jako realizovaný přínos pouze tehdy, když například:
- Vede k dalšímu prodanému nebo interně využitému výstupu.
- Umožní dodat hodnotnou práci dříve a urychlit výnos.
- Nahradí externí náklad.
- Umožní neobsadit plánovanou pozici bez zhoršení výsledku.
- Sníží přesčasy, provozní náklady nebo počet chyb.
Jinak jde o potenciál, ne o realizovanou finanční hodnotu. Potenciál je legitimní výsledek pilotu, jen se nesmí vydávat za úsporu.
Přínos AI bych počítal z těchto položek:
- Dodatečný hrubý zisk z výnosu, který by bez změny nevznikl.
- Úspora externích nebo provozních nákladů.
- Hodnota skutečně využité dodatečné kapacity.
- Hodnota rychlejšího dodání a dřívějšího peněžního toku.
- Náklady na chyby, incidenty nebo zpoždění, kterým firma předešla.
Od přínosu bych odečetl:
- Licence a tokeny.
- Zavedení nástroje, integrace, přípravu dat a zabezpečení.
- Školení, změnu způsobu práce a podporu adopce.
- Dodatečný čas na kontrolu.
- Opravy a přepracování.
- Náklady na chyby nebo incidenty.
- Průběžný provoz a údržbu.
Základní vztah potom vypadá takto:
ROI AI = (realizovaný přínos − celkové náklady na AI) / celkové náklady na AI
U rychlejšího uvedení funkcionality na trh počítejte pouze přínos za dobu, o kterou se výnos skutečně posunul. Pokud by funkcionalita bez AI vznikla o dva měsíce později, nelze AI připsat celý její roční výnos.
Stejnou hodnotu nezapočítávejte dvakrát. Ušetřené hodiny, neobsazená pozice a nižší externí náklad mohou být tři popisy stejného přínosu.
10. Vyhodnocujte tým a typ práce, ne jednotlivce
Spotřeba tokenů se nesmí stát hodnocením zaměstnanců.
Jakmile lidé dostanou cíl spotřebovat více tokenů, začnou optimalizovat spotřebu. Jakmile dostanou cíl vytvořit více kódu nebo obsahu, začnou vytvářet více kódu nebo obsahu. Firma pak dostane přesně to, co měří, ne nutně to, co potřebuje.
Metriky bych používal pro hledání vzorců na úrovni typu práce a celého týmu.
Srovnával bych:
- Stejný tým před pilotem a během něj.
- Podobné typy úkolů.
- Vývoj trendu, ne jeden izolovaný měsíc.
- Pokud je to možné, také pilotní tým s podobným týmem bez stejné změny.
Lidé musí od začátku vědět, co se měří, proč se to měří a že data nebudou použita jako jednoduché hodnocení jejich výkonu.
11. Měsíční výstup musí vést k rozhodnutí
Výstupem nemá být informace:
Tento měsíc jsme spotřebovali 12 milionů tokenů.
Vedení potřebuje vidět celý pohled, od použití AI po ekonomický dopad a vědět, jak spolehlivá data má k dispozici.
Sílu důkazu bych rozlišil jednoduše:
- Vysoká: data ze systémů a srovnatelné úkoly nebo kontrolní skupina.
- Střední: zřetelný trend, ale menší vzorek nebo částečně odlišné podmínky.
- Nízká: převážně odhady a rozhovory bez dostatečného provozního potvrzení.
Jak může vypadat závěr pilotu
Následující čísla jsou pouze modelová. Ukazují podobu závěru, ne výsledek konkrétní firmy:
AI zkrátila dobu dokončení sledovaných úkolů o 16% a tým dodal o 12% více naplánované práce. Kvalita zůstala stabilní, kontrola se ale prodloužila o 9%. Uvolněná kapacita vedla k dodání jedné další funkcionality, která zatím nemá platící zákazníky. Pilot proto ukázal provozní zlepšení, nikoliv ekonomickou návratnost. Další krok je změřit adopci a výnos nové funkcionality a současně zkrátit kontrolu výstupů AI.
Takové vyhodnocení umožňuje rozhodnout, co udělat dál:
- Rozšířit AI na další typ práce.
- Změnit nástroj nebo model.
- Doplnit školení.
- Upravit zadávání práce.
- Automatizovat nebo zjednodušit kontrolu.
- Změnit způsob využití uvolněné kapacity.
- Zastavit způsob použití, který nevytváří hodnotu.
Co bych udělal na vašem místě?
- Vybral jeden tým, několik opakujících se typů práce a jednoho člověka odpovědného za pilot.
- Určil si, co chce firma na základě pilotu rozhodnout a který výsledek má AI ovlivnit (některé použití AI zastavit, investovat do školení, změnit způsob práce atd.).
- Vytáhl dostupná data za posledních osm týdnů.
- Domluvil rozhovory s různými typy uživatelů AI, dle oddělení (vývoj, obchod, marketing), ve kterém řešíte měření přínosu AI.
- Zavedl maximálně deset jednoduchých štítků práce a jednoznačné ID úkolu.
- Vybral jednu metriku rychlosti, jednu kvality, jednu dodané práce, jednu dopadu na lidi, náklady na AI a jeden ukazatel dopadu na zákazníka nebo firmu.
- Spustil měření na 30 dnů.
- Na konci oddělil provozní zlepšení, potenciální přínos a skutečně realizovanou finanční hodnotu.
- Rozhodl, kde AI rozšířit, co upravit a kde její používání zatím nedává smysl.
Správná otázka není, kolik AI firma používá.
Správná otázka je, u kterého typu práce AI zlepšila celý proces od zadání až po výsledek, co díky tomu tým skutečně dodal a jak se změna propsala do nových funkcionalit, zlepšení zákaznické zkušenosti, vyšších výnosů, nebo snížení nákladů.
Teprve pak můžete říct, že tady začíná skutečný přínos AI pro firmu.
Zdroje
- Nicole Forsgren v Lenny’s Podcast: How to measure AI developer productivity in 2025 https://www.youtube.com/watch?v=SWcDfPVTizQ
- Frictionless Workbook https://developerexperiencebook.com/Frictionless-Workbook.pdf
- Taking Flight with Copilot https://queue.acm.org/detail.cfm?id=3582083
- DevEx in Action https://queue.acm.org/detail.cfm?id=3639443
- DX AI Measurement Framework https://getdx.com/whitepaper/ai-measurement-framework/
- DX Core 4 https://getdx.com/research/measuring-developer-productivity-with-the-dx-core-4/
- DORA 2025 https://dora.dev/research/2025/dora-report/
- METR: Early 2025 AI-Experienced Open-Source Developer Study https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- METR: 2026 Uplift Update https://metr.org/blog/2026-02-24-uplift-update/
