SnapCalorie využívá AI k odhadu kalorického obsahu jídla na základě fotografií

Spoluzaložil Google Lens, aplikaci společnosti Google využívající počítačové vidění, která zobrazuje informace týkající se objektů, které identifikuje. Ale ani to ho nedokázalo úplně uspokojit.

Před několika lety se proto Norris spojil se Scottem Baronem, systémovým inženýrem v leteckém průmyslu, a založili startup SnapCalorie zaměřený na zdraví. SnapCalorie, založený na umělé inteligenci, se snaží získat přesný počet kalorií a rozpis makroživin jídla z jediné fotografie pořízené chytrým telefonem.

Tento měsíc společnost SnapCalorie získala 2 miliony dolarů od investorů, mezi něž patří Accel, Index Ventures, bývalý generální ředitel CrossFitu Eric Roza a Y Combinator. Společnost již dříve získala 125 000 dolarů od neznámých investorů v předvstupním kole.

„Lidé nedokážou vizuálně odhadnout velikost porce jídla,“ řekl Norris. „SnapCalorie zlepšuje současný stav kombinací různých nových technologií a algoritmů.“

Aby bylo jasno, SnapCalorie není první aplikací pro počítání kalorií založenou na počítačovém vidění. Aplikace jako Calorie Mama, Lose It, Foodadvisor a Bite.AI se o to pokoušely s různým úspěchem. Podle Norrise se však SnapCalorie liší tím, že využívá hloubkové senzory na podporovaných zařízeních pro měření velikosti porcí a tým lidských hodnotitelů pro „přidanou úroveň kvality“.

„V průměru je tým schopen snížit kalorickou chybu na méně než 20 %,“ říká Norris. „Existují i jiné aplikace, které jsou schopné využívat umělou inteligenci ke sledování jídla na základě fotografií, ale žádná z nich nepomáhá s odhadem velikosti porce – což je pro snížení chybovosti nejdůležitější.“

Ve zdravotnickém průmyslu panuje velká skepse ohledně nástrojů pro odhadování kalorií na základě fotografií – a to z dobrého důvodu. Jedna studie z roku 2020, která porovnávala některé z nejpopulárnějších počítadel kalorií založených na umělé inteligenci, zjistila, že nejpřesnější z nich – Calorie Mama – se trefí jen v 63 % případů.

Chcete využít této příležitosti?

Jak se SnapCalorie zlepšila? Kromě použití hloubkových senzorů a recenzentů Norris poukazuje na algoritmus, který společnost vyvinula a který údajně dokáže lépe než člověk odhadnout kalorickou hodnotu potravin. Pomocí tohoto algoritmu SnapCalorie identifikuje typy potravin na fotografii a měří velikost porce každého z nich, aby odhadla obsah kalorií.

Výsledky lze zaznamenávat do stravovacího deníku SnapCalorie nebo exportovat do platforem pro sledování kondice, jako je Apple Health.

Norris uvádí, že vysoká výkonnost algoritmu vychází z jedinečného tréninkového souboru 5 000 jídel, který SnapCalorie vytvořila pořízením tisíců fotografií jednotlivých jídel – např. polévek, burrit, olejů, „záhadných omáček“ a dalších – pomocí robotického zařízení.

„Dali jsme si záležet na tom, aby měly všechny rozmanité a náročné podmínky, s nimiž se setkáte v reálném světě, a zvážili jsme každou jednotlivou složku na váze,“ řekl Norris. „Tradiční postup pro trénování modelu umělé inteligence spočívá ve stažení veřejných webových obrázků, zadání lidem, aby obrázky označili, a pak trénování modelu, aby tyto značky předpovídal. U potravin to není možné, protože lidé velmi nepřesně vizuálně odhadují velikost porcí, takže není možné, aby lidé obrázky dodatečně označovali.“

Norris připouští, že algoritmus SnapCalorie může být zaujatý americkými jídly, protože tým shromáždil většinu počátečních tréninkových dat v USA. Společnost však podle něj právě rozšiřuje tréninková data – na základě fotografií od uživatelů SnapCalorie i interních dat – o další kulturní kuchyně.

Někdo by mohl namítnout, že bez ohledu na přesnost algoritmu nemůže žádná aplikace poskytnout skutečně přesný údaj o tom, kolik kalorií jste snědli během jednoho jídla. Aplikace totiž nezohledňují řadu proměnných, jako jsou různé způsoby vaření a doba potřebná k rozkladu jednotlivých potravin.

Norris netvrdí, že SnapCalorie je stoprocentně přesná, a naznačuje, že nástroje aplikace pro odhad kalorií by měly být považovány za pouhý dílek větší skládačky výživy. Upozornil na další významnou funkci aplikace SnapCalorie, chatbota poháněného službou ChatGPT, který poskytuje návrhy jídel na základě cílů a dřívějších preferencí uživatele a také databáze nutričních hodnot aplikace SnapCalorie.

„Zjistili jsme, že zájem lidí o to, aby věděli, co dávají do svého těla, roste. Negativní zdravotní dopady takových věcí, jako jsou zpracované potraviny, jsou každým dnem jasnější,“ řekl Norris. „Slyšeli jsme, že naši uživatelé si aplikaci SnapCalorie velmi oblíbili zejména při stravování mimo domov, protože mnoho restaurací nezveřejňuje nutriční hodnoty a oni by jinak neměli možnost si jídlo zaznamenat.“

Co se týče jeho popularity, zdá se, že SnapCalorie roste zdravým tempem – tento měsíc překoná hranici 1 000 nových uživatelů. Společnost se v současné době zaměřuje na expanzi na rozdíl od monetizace, ale Norris popsal míru spalování jako „velmi konzervativní“.

„Zdá se, že naše neuvěřitelná míra organického růstu svědčí o tom, že naše nabídka má u spotřebitelů dobrý ohlas – lidé ji vyzkouší, zamilují si ji a doporučí ji svým přátelům a rodině,“ řekl.

Během práce ve společnosti Google chtěl Wade Norris vytvořit projekt, který by pozitivně ovlivnil životy lidí. Spoluzaložil Google Lens, aplikaci společnosti Google využívající počítačové vidění, která zobrazuje informace týkající se objektů, které identifikuje. Ale ani to ho nedokázalo úplně uspokojit. Před několika lety se proto Norris spojil se Scottem Baronem, systémovým inženýrem v leteckém průmyslu, a založili startup SnapCalorie zaměřený na zdraví. SnapCalorie, založený na umělé inteligenci, se snaží získat přesný počet kalorií a rozpis makroživin jídla z jediné fotografie pořízené chytrým telefonem. Tento měsíc společnost SnapCalorie získala 2 miliony dolarů od investorů, mezi něž patří Accel, Index Ventures, bývalý generální ředitel CrossFitu Eric Roza a Y Combinator. Společnost již dříve získala 125 000 dolarů od neznámých investorů v předvstupním kole. "Lidé nedokážou vizuálně odhadnout velikost porce jídla," řekl Norris. "SnapCalorie zlepšuje současný stav kombinací různých nových technologií a algoritmů." Aby bylo jasno, SnapCalorie není první aplikací pro počítání kalorií založenou na počítačovém vidění. Aplikace jako Calorie Mama, Lose It, Foodadvisor a Bite.AI se o to pokoušely s různým úspěchem. Podle Norrise se však SnapCalorie liší tím, že využívá hloubkové senzory na podporovaných zařízeních pro měření velikosti porcí a tým lidských hodnotitelů pro "přidanou úroveň kvality". "V průměru je tým schopen snížit kalorickou chybu na méně než 20 %," říká Norris. "Existují i jiné aplikace, které jsou schopné využívat umělou inteligenci ke sledování jídla na základě fotografií, ale žádná z nich nepomáhá s odhadem velikosti porce - což je pro snížení chybovosti nejdůležitější." Ve zdravotnickém průmyslu panuje velká skepse ohledně nástrojů pro odhadování kalorií na základě fotografií - a to z dobrého důvodu. Jedna studie z roku 2020, která porovnávala některé z nejpopulárnějších počítadel kalorií založených na umělé inteligenci, zjistila, že nejpřesnější z nich - Calorie Mama - se trefí jen v 63 % případů. Jak se SnapCalorie zlepšila? Kromě použití hloubkových senzorů a recenzentů Norris poukazuje na algoritmus, který společnost vyvinula a který údajně dokáže lépe než člověk odhadnout kalorickou hodnotu potravin. Pomocí tohoto algoritmu SnapCalorie identifikuje typy potravin na fotografii a měří velikost porce každého z nich, aby odhadla obsah kalorií. Výsledky lze zaznamenávat do stravovacího deníku SnapCalorie nebo exportovat do platforem pro sledování kondice, jako je Apple Health. Norris uvádí, že vysoká výkonnost algoritmu vychází z jedinečného tréninkového souboru 5 000 jídel, který SnapCalorie vytvořila pořízením tisíců fotografií jednotlivých jídel - např. polévek, burrit, olejů, "záhadných omáček" a dalších - pomocí robotického zařízení. "Dali jsme si záležet na tom, aby měly všechny rozmanité a náročné podmínky, s nimiž se setkáte v reálném světě, a zvážili jsme každou jednotlivou složku na váze," řekl Norris. "Tradiční postup pro trénování modelu umělé inteligence spočívá ve stažení veřejných webových obrázků, zadání lidem, aby obrázky označili, a pak trénování modelu, aby tyto značky předpovídal. U potravin to není možné, protože lidé velmi nepřesně vizuálně odhadují velikost porcí, takže není možné, aby lidé obrázky dodatečně označovali." Norris připouští, že algoritmus SnapCalorie může být zaujatý americkými jídly, protože tým shromáždil většinu počátečních tréninkových dat v USA. Společnost však podle něj právě rozšiřuje tréninková data - na základě fotografií od uživatelů SnapCalorie i interních dat - o další kulturní kuchyně. Někdo by mohl namítnout, že bez ohledu na přesnost algoritmu nemůže žádná aplikace poskytnout skutečně přesný údaj o tom, kolik kalorií jste snědli během jednoho jídla. Aplikace totiž nezohledňují řadu proměnných, jako jsou různé způsoby vaření a doba potřebná k rozkladu jednotlivých potravin. Norris netvrdí, že SnapCalorie je stoprocentně přesná, a naznačuje, že nástroje aplikace pro odhad kalorií by měly být považovány za pouhý dílek větší skládačky výživy. Upozornil na další významnou funkci aplikace SnapCalorie, chatbota poháněného službou ChatGPT, který poskytuje návrhy jídel na základě cílů a dřívějších preferencí uživatele a také databáze nutričních hodnot aplikace SnapCalorie. "Zjistili jsme, že zájem lidí o to, aby věděli, co dávají do svého těla, roste. Negativní zdravotní dopady takových věcí, jako jsou zpracované potraviny, jsou každým dnem jasnější," řekl Norris. "Slyšeli jsme, že naši uživatelé si aplikaci SnapCalorie velmi oblíbili zejména při stravování mimo domov, protože mnoho restaurací nezveřejňuje nutriční hodnoty a oni by jinak neměli možnost si jídlo zaznamenat." Co se týče jeho popularity, zdá se, že SnapCalorie roste zdravým tempem - tento měsíc překoná hranici 1 000 nových uživatelů. Společnost se v současné době zaměřuje na expanzi na rozdíl od monetizace, ale Norris popsal míru spalování jako "velmi konzervativní". "Zdá se, že naše neuvěřitelná míra organického růstu svědčí o tom, že naše nabídka má u spotřebitelů dobrý ohlas - lidé ji vyzkouší, zamilují si ji a doporučí ji svým přátelům a rodině," řekl.