Společnost také představila novou multiplatformní desktopovou aplikaci Highlight, která pro uživatele funguje jako kontextový asistent s umělou inteligencí.

Aplikace zachycuje obsah na obrazovce a na základě tohoto kontextu umožňuje pokládat otázky rozsáhlému jazykovému modelu (LLM).

Henry Gladwyn, partner společnosti OMERS Ventures, uvedl, že riziková firma vidí příležitost využít základní technologii Medal a aplikovat ji na LLM.

„Základní technologie Medal je založena na myšlence porozumět tomu, co se děje v něčím zařízení, ať už jde o video, zvuk a věci, které se dějí kolem. To se původně používalo pro ořezávání.

Nyní společnost tuto technologii přebírá a používá ji pro LLM pro podněty, což je chytré využití, “ řekl Gladwyn.

Gladwyn dodal, že Medal vnímá spíše jako produkt pro záznam nejlepších kousků virtuálního života než jen jako herní společnost. A aplikace Highlight je přirozeným rozšířením tohoto paradigmatu.

Jak aplikace Highlight funguje?

V průběhu let se společnosti snažily vytvořit užitečného asistenta pro uživatele, který by využíval informace na obrazovce.

Společnost Google se o to pokouší již několik let se službami Google Now, Google Assistant a nyní Gemini.

Společnost Apple se do této oblasti pustila, když minulý měsíc na Světové vývojářské konferenci (WWDC) představila Apple Intelligence a její schopnost porozumět kontextovým informacím na obrazovce.

Generativní umělou inteligenci využívá také Microsoft s funkcí Windows Recall, která pomáhá uživatelům najít obsah, který si v minulosti prohlíželi – po původním oznámení se Microsoft rozhodl spuštění funkce Recall odložit.
Highlight se snaží realizovat i pro desktop.

V současné iteraci žije aplikace jako plovoucí tlačítko na ploše. Kdykoli na ikonu najedete, zachytí obsah na obrazovce a předá jej jako kontext různým modelům.

Můžete si vybrat, zda chcete klást další otázky pomocí různých nástrojů, jako je ChatGPT, Anthropic’s Claude, Perplexity a další.

Na základě různých modelů aplikace předvyplní některé otázky, které vám pomohou začít. Zachycení probíhá lokálně a aplikace neukládá žádný obsah.

Společnost vytváří vlastního asistenta podobného ChatGPT, který může být pro některé úlohy méně schopný než modely založené na cloudu – tento asistent by však časem mohl běžet lokálně ve vašem zařízení.

Kromě obsahu na obrazovce můžete Highlightu jako kontext předat také dokument a systémovou zvukovou paměť.

Pro využití zvukového využití společnost vytváří lokální aplikaci pro přepis schůzek, která se podobá nástrojům jako Granola, Limitless a Krisp.

Budování aplikace Highlight

Pim de Witte, jeden ze spoluzakladatelů společnosti Medal, uvedl, že společnost začala loni přemýšlet o tom, jak by mohla využít technologii zachycování klipů Medal.tv a spojit ji s umělou inteligencí.

„Víme, že činnosti spojené s rekódováním budou pro operační systémy důležité. A viděli jsme, že některé velké technologické společnosti takové kroky dělají. Chceme poskytnout otevřenou platformu pro propojení uživatelů s asistenty, modely a rozhraními,“ řekl de Witte.

Zmínil také, že chtěl vytvořit aplikaci s umělou inteligencí, kterou by mohli používat lidé všech věkových kategorií, i když o této technologii nemají ani tušení. Proto bude aplikace zobrazovat kontextové návrhy podnětů na základě zachycení.

Společnost také buduje otevřenou platformu pro vývojáře, kteří mohou na platformě Highlight nasadit své vlastní aplikace.

Jedná se o určitou obdobu aplikace Raycast launcher pro Mac, která umožňuje instalovat rozšíření vytvořená vývojáři. Zásadní rozdíl však spočívá v tom, že Highlight je k dispozici jak pro Mac, tak pro Windows.

Gladwyn ze společnosti OMERS Ventures uvedl, že díky tomu, že je Highlight nezávislý a nemá zájem vás vtáhnout do jednoho ekosystému, má výhodu.

Cesta vpřed

Medal.tv je úspěšný produkt a společnost jej chce i nadále podporovat a přidávat nové funkce. Společnost však vyčlení některé zaměstnance, kteří budou pracovat na Highlightu.

Highlights je zatím zdarma, ale de Witte ho chce zpeněžit pomocí modelu obchodu s aplikacemi. Startup také zkoumá možnost prémiového předplatného, které by umožňovalo přístup k některým vlastním aplikacím a funkcím, jako jsou například modely local-first.

Společnost také rozděluje granty až do výše 30 000 dolarů pro vývojáře, kteří zároveň získají přístup k týmu Highlight, aby mohli rozvíjet ekosystém aplikací.