AI agenti i LLM integracija
Jezički modeli unutar proizvoda koji ima posao da obavi — a ne ćaskalica prikačena na naslovnu stranu.
Razmak između impresivnog demoa i funkcije koju ljudi koriste svakog dana skoro je u celini inženjering. Poziv modela je trivijalan. Znati šta treba dohvatiti, kako ograničiti zadatak, šta raditi kada model vrati besmislicu, kako držati troškove predvidivim i kako zadržati vaše dokumente van tuđih podataka za obuku — to je posao.
Gradim LLM funkcije u stvarne proizvode: asistente koji odgovaraju iz vašeg materijala umesto sa otvorenog interneta, cevi za pretragu po vašim dokumentima — uključujući potpuno samostalno hostovane modele kada podaci ne smeju da napuste vašu infrastrukturu — i agentske cevi koje višekoračni zadatak nose do rezultata, umesto da samo odgovore na pitanje i stanu.
Ovo sam ugradio u proizvod, a ne u demo — AI generisanje muzike u desktop aplikaciji, gde zanimljivo nije bio model nego sve oko njega: generisanje je posao sa stanjima, a ne poziv funkcije; callback o završetku stiže na server, a ne na aplikaciju koja drži otvorenu vezu; a rezultat mora da se pojavi tamo gde čovek ionako već radi. Tako izgleda najveći deo ovog posla.
Šta dobijate
Pretraga po vašem sadržaju
Vaši dokumenti, ugovori, katalog ili baza znanja postaju odgovorivi — sa izvorima, tako da odgovor može da se proveri, a ne da se veruje na reč.
Samostalno hostovano gde je važno
Kada podaci zaista ne smeju da napuste infrastrukturu: otvoreni modeli na vašem hardveru. Sporije za izgradnju, a ponekad jedini prihvatljiv odgovor.
Agenti koji završavaju zadatak
Višekoračne cevi sa alatima, kontrolnim tačkama i definisanim ponašanjem pri otkazu, tako da zadatak završi rezultatom ili jasnom greškom — nikada samouverenom halucinacijom predstavljenom kao gotov posao.
Troškovi i granice koje možete predvideti
Budžeti tokena, keširanje, izbor modela po koraku i rezervni put kada dobavljač padne. AI funkcije imaju tekući račun, i on ne bi trebalo da bude iznenađenje.
Kako to ide
- 01
Naći zadatak koji vredi automatizovati
Obično nije onaj koji se prvi predloži. Najbolji kandidati su velikog obima, podnose korak provere i danas ih ljudi rade čitajući i prekucavajući.
- 02
Napraviti proveru pre funkcije
Skup stvarnih slučajeva sa poznatim tačnim odgovorima. Bez toga je „sada deluje bolje“ jedina raspoloživa mera, a ona ne vredi ništa.
- 03
Pustiti iza čoveka
Prva verzija predlaže, čovek odobrava. Poverenje da se taj korak ukloni mora da se zaradi izmerenim rezultatima, a ne da se pretpostavi.
- 04
Stegnuti trošak i pouzdanost
Kada radi, treba da postane jeftino i dosadno: keširanje, manji modeli gde su dovoljni, ponavljanja i pristojno popuštanje pod opterećenjem.
Najčešće gradim sa
Gde sam ovo radio
Česta pitanja
Može li ovo bez slanja naših podataka OpenAI-ju ili Anthropicu?
Da. Otvoreni modeli na sopstvenoj infrastrukturi su stvarna opcija, a za ugovore, kadrovske dosijee ili bilo šta pod strogom zaštitom podataka često i jedina koja preživi pravnu proveru. Ustupak je stvaran: dobijate kontrolu i nemate račun po tokenu, u zamenu za hardver, sporiji razvoj i nešto slabije modele. Reći ću vam na kojoj strani te razmene stoji vaš slučaj.
Kako sprečavate izmišljanje odgovora?
Pretragom sa izvorima, tako da svaki odgovor pokazuje na izvor koji čovek može da otvori; ograničenim umesto otvorenim zadacima; i skupom za proveru koji hvata nazadovanje pre vaših korisnika. Halucinacije se ne mogu svesti na nulu — zato pošten dizajn zadržava čoveka u petlji svuda gde bi pogrešan odgovor bio skup.
Isplati li se to maloj firmi?
Ponekad ne, i tada ću tako i reći. Ako se zadatak dešava deset puta mesečno, čovek koji ga radi jeftiniji je od sistema koji traži održavanje. Računica se sklapa kada je obim veliki, a posao zaista ponavljajući — obrada dokumenata, klasifikacija, izvlačenje podataka, prvi nacrti.
Koliko košta održavanje u radu?
Hostovani modeli naplaćuju po tokenu, pa trošak raste sa upotrebom i mora da se projektuje — keširanje, manji modeli za jednostavnije korake i tvrde granice budžeta. Samostalno hostovanje to prebacuje na fiksni trošak hardvera. U oba slučaja dobijate procenu mesečnog iznosa pre gradnje, ne posle.
Imate sličan projekat?
Recite mi šta sistem treba da radi i sa čime treba da se poveže. Dobijate jasan odgovor o obimu, redosledu i tome šta bih prvo napravio — pre bilo kakve obaveze.
Započnite razgovor