Jedním z důvodů je, že AI nezapadá do stávajících pracovních postupů softwarového inženýrství, protože doslova nemluví stejným jazykem. Například LLM vyžadují spoustu přemlouvání, aby poskytly validní JSON.

Právě zde přichází na scénu americký startup Dottxt, který slibuje, že „přiměje umělou inteligenci mluvit počítačově“. Společnost vede tým stojící za open source projektem Outlines, který pomáhá vývojářům získat od ChatGPT a dalších generativních modelů AI to, co potřebují, aniž by se museli uchylovat k hrubým taktikám.

Softwarové knihovny, jako je Outlines, knihovna v jazyce Python, nebo Guidance od společnosti Microsoft či LMQL (neboli Language Model Query Language), umožňují navádět LLM sofistikovanějším způsobem, než je pouhé nabourávání výzev – pomocí přístupu, který je známý jako strukturované generování (nebo někdy také omezené generování).

Jak název napovídá, technika se zaměřuje spíše na výstupy LLM než na vstupy. Nebo jinak řečeno, jde o to říkat modelům umělé inteligence, jak mají odpovídat, říká generální ředitel společnosti Dottxt Rémi Louf.

Tento přístup „umožňuje návrat k tradičnímu inženýrskému pracovnímu postupu,“ uvedl Louf. „Zpřesňujete gramatiku, dokud se vám to nepodaří.“

Dottxt se snaží vytvořit výkonné řešení pro strukturované generování tím, že je modelově agnostický a nabízí více funkcí – a jak říká, lepší výkon – než open source projekt (Outlines), z něhož vzešel.

Louf, Francouz s doktorátem a několika tituly, má zkušenosti s bayesovskou statistikou – stejně jako několik dalších členů týmu Dottxt. Tento základ v teorii pravděpodobnosti jim pravděpodobně otevřel oči pro potenciál strukturovaného generování. V jejich rozhodnutí vybudovat společnost zaměřenou na pomoc ostatním s užitečným využitím generativní umělé inteligence hrála roli také obeznámenost s IT mimo oblast umělé inteligence.

Loufův odkaz na gramatiku není náhodný. Společnost Dottxt vychází z předpokladu, že většina textu, s nímž přicházíme do styku, je silně strukturovaná. Samozřejmě existuje kód, ale také mnoho dalších šablon, kterými by se LLM měla umět řídit, aby byla skutečně užitečná v pracovním prostředí.

Tvůrce GPT OpenAI nedávno představil formu strukturovaného generování, kterou nazývá Strukturované výstupy – a v rámci své „inspirace“ kývl na Outlines.

Společnost Louf mezitím vidí popularitu Outlines jako znamení, že existuje poptávka po dalším flexibilním přístupu s více zvonky a píšťalkami. A zdá se, že investoři souhlasí: Dottxt získal během několika měsíců 11,9 milionu dolarů.

Startup získal 3,2 milionu dolarů v rámci pre-seed kola vedeného firmou Elaia, která se zabývá rizikovým kapitálem v oblasti hlubokých technologií, v roce 2023 a následně 8,7 milionu dolarů v rámci seed kola vedeného společností EQT Ventures letos v srpnu.

V mezidobí se Louf a jeho spoluzakladatelé soustředili na práci na prokázání toho, že jejich přístup nemá vliv na výkonnost. Během této doby poptávka po open source aplikaci Outlines prudce vzrostla; podle jejich slov byla stažena více než 2,5 milionkrát – což je povzbudilo k velkým myšlenkám.

Získání dalších finančních prostředků mělo smysl ještě z jednoho důvodu: Spoluzakladatelé společnosti Dottxt nyní věděli, že chtějí peníze použít na najmutí dalších lidí, aby mohli reagovat na rostoucí poptávku po strukturovaných nástrojích pro generování. Tým startupu, který je plně vzdálený, dosáhne na konci měsíce počtu 17 lidí, což je podle Loufa nárůst z červnových osmi lidí.

Mezi novými zaměstnanci jsou dva odborníci na vztahy s vývojáři (DevRel), což odráží prioritu společnosti Dottxt, kterou je budování ekosystému. „Naším cílem v příštích 18 měsících je urychlit přijetí, a to více než na komerční straně,“ řekl Louf. Ačkoli podle jeho slov má být komercializace stále zahájena během příštích šesti měsíců se zaměřením na podnikovou klientelu.

To by mohl být potenciálně riskantní přístup, pokud by humbuk kolem AI skončil v době, kdy bude Dottxt usilovat o další financování. Startup je však přesvědčen, že za touto bublinou se skrývá podstata; jeho nadějí je právě pomoc podnikům odemknout skutečnou hodnotu z AI.

Technický ředitel Hugging Face Julien Chaumond, který je investorem společnosti Dottxt, nedávno nazval strukturovanou generaci „budoucností LLM“. Humbuk tedy zasahuje i do tohoto segmentu technologického zásobníku GenAI.

S dalšími protivětry, jako jsou agenti AI a vzestup menších modelů AI, by se sázka na přijetí společnosti Dottxt mohla vyplatit. „Za pár let bude strukturovanou generaci používat každý, o tom není pochyb,“ předpověděl Louf.