Tehisintellekti agentide arendus ja MCP-serverite liidestus: keelemudelite ühendamine süsteemidega, mida juba kasutate

Kõik demod töötavad. Pilootprojekt, mis teie dokumentatsiooni kokku võttis, jättis mulje, prototüüp, mis tugiküsimustele vastas, tundus valmis, ja siis kohtus see päris CRM-i, päris õiguste mudeli ja päris andmetega ning polnud enam valmis.

See vahe ongi töö. Mitte mudel (mudel on nüüd lihtne osa), vaid kõik, mis jääb keelemudeli ja sellise süsteemi vahele, millel on oma arusaam autentimisest, päringupiirangutest, rentnike eraldatusest ja sellest, kes mida näha tohib.

Mida me ehitame

MCP-serverid teie sisesüsteemidele

Model Context Protocol on avatud standard tööriistade ja andmete kättesaadavaks tegemiseks tehisintellekti assistentidele viisil, mis on kõigis klientrakendustes ühtne. Sellest on saanud praktiline vastus küsimusele „kuidas lasta assistendil meie süsteeme kasutada, ilma et peaksime iga assistendi jaoks eraldi liidestuse kirjutama“.

Ehitame tootmiskõlblikke MCP-servereid nende süsteemide peale, millel teie äri tegelikult töötab: teie CRM, piletisüsteem, andmeladu, sisemised API-d, dokumendihoidla, ERP. Mitte demoserverit koodi kirjutatud tokeniga, vaid sellist, millel on korralik autentimine, kasutajapõhine autoriseerimine, mis järgib teie süsteemides juba kehtivaid õigusi, rentnike eraldatus, päringupiirangud, struktureeritud logimine ja veateated, mis annavad mudelile ebaõnnestunud päringu korral midagi kasulikku teada.

Eritellimusel tehisintellekti agendid ja assistendid

Agendid, mis teevad töö algusest lõpuni: sorteerivad sissetulevate päringute järjekorda, viivad kooskõlla kaks süsteemi, mis omavahel ei klapi, koostavad dokumendi esimese versiooni, mille inimene seejärel kinnitab, teevad uurimistöö sise- ja välisallikate põhjal. Ehitame need koos igavate osadega: korduskatsed, aegumised, kululaed, idempotentsus kõige puhul, mis andmeid kirjutab, ja inimese kinnitussamm kõikjal, kus tegevust on raske tagasi pöörata.

Otsing teie enda sisust

RAG, korralikult tehtuna: dokumentide sisselugemine ja tükeldamine, mis arvestab struktuuri, mitte tähemärkide arvu, vektoresitused (embeddings) ja vektorotsing, hübriidne märksõna- ja semantiline otsing, sest puhas vektorotsing jätab täpsed vasted kahe silma vahele, ümberjärjestamine ning viited allikale, et vastust saaks kontrollida. Lisaks vähem glamuurne pool: indeksi ajakohasena hoidmine, kui aluseks olevad dokumendid muutuvad, ja juurdepääsuõiguste järgimine, et otsing ei tooks kunagi välja dokumenti, mida kasutaja muidu avada ei saaks.

Töövoogude ja kontoritööde automatiseerimine

Kõik ei vaja agenti. Suur osa sellest, mida ettevõtted tehisintellektilt tahavad, on klassifitseerimine, andmete eraldamine ja suunamine: sissetuleva e-kirja lugemine ja otsustamine, mis see on, struktureeritud andmete väljavõtmine struktureerimata dokumendist, kirjelduse sobitamine kataloogikirjega. Need on odavamad, usaldusväärsemad ja lihtsamini hinnatavad kui agent, ning kui see on õige vastus, ehitame hoopis selle.

Hindamine, jälgitavus ja kaitsepiirded

Tehisintellekti funktsioon ilma hindamiseta on funktsioon, mida keegi ei saa parandada. Koostame testikomplektid teie päris juhtumitest, mõõdame nende vastu iga muudatuse järel, jälgime iga päringut koos sisendite, tööriistakasutuse, latentsuse ja kuluga ning seame piirangud paika enne, kui kontrolli alt väljunud tsükkel teie API-arve üles leiab. Viibasüst (prompt injection) on reaalne risk hetkest, mil agent loeb ebausaldusväärset sisu ja saab ka tegutseda. Kavandame tööriistade piiri nii, et pahatahtlik dokument ei saaks muutuda hävitavaks tegevuseks.

Kuidas töötame mudelipakkujatega

Me pole seotud ühegi pakkujaga. Ehitame Anthropicu Claude'i mudelite, OpenAI, Google'i ja teie enda taristul töötavate avatud kaaludega mudelite peale ning kavandame liidestuse nii, et mudel on asendatav komponent. See, millist peaksite kasutama, sõltub ülesandest, vajalikust latentsusest, päringu hinnast teie mahu juures ja (Euroopas üha sagedamini otsustav tegur) sellest, kuhu andmed tohivad minna.

Andmete asukohaga seotud piirangutega klientide jaoks paigaldame lahenduse ELi regioonidesse või isemajutatud järeldusena teie enda riistvarale ning ütleme ausalt, kus see teile võimekuse arvelt maksma läheb.

Mida me ei paku

Me ei ole tehisintellekti strateegia konsultatsioonifirma. Me ei korralda töötubasid millegi transformatiivse potentsiaali teemal.

Samuti ei ehita me agenti probleemile, mis seda ei vaja. Märkimisväärse osa tehisintellekti projektidest, mille kohta meilt küsitakse, lahendab paremini hästi määratletud API-liidestus, otsinguindeks või aluseks oleva andmekvaliteedi probleemi parandamine. Selle soovitamine maksab meile suurema projekti ja säästab teid süsteemist, mida peaksite hooldama.

Kus see tavaliselt tasub ära

Sisemised teadmised, mis on tehniliselt olemas, kuid praktiliselt kättesaamatud: tuhanded dokumendid vikis, jagatud kettal ja piletisüsteemis, kusjuures inimene, kes teab, milline neist on ajakohane, on puhkusel.

Suure mahuga sorteerimine: klienditoe järjekorrad, kahjunõuete vastuvõtt, sissetulev müük, taotluste läbivaatus. Kõik, kus inimene praegu midagi loeb, otsustab, mis see on, ja annab edasi.

Süsteemid, mis pole kunagi liidestust saanud: kaks tööriista, mis peaksid omavahel suhtlema, ei suhtle, ja lahenduseks on inimene arvutustabeliga. Agent, millel on MCP kaudu ligipääs mõlemale, on sageli lühem tee kui ametlik liidestusprojekt.

Dokumendimahukad tegevused: lepingud, arved, spetsifikatsioonid, regulatiivsed aruanded. Andmete eraldamine koos inimese ülevaatusega on piisavalt usaldusväärne, et muuta nende protsesside majandust juba täna.

Arendajate tootlikkus teie enda koodibaasis: sisemised tööriistad, abi koodi ülevaatusel, testide genereerimine ja MCP-serverid, mis annavad teie meeskonna assistentidele ligipääsu teie ehitussüsteemile, probleemide jälgimise süsteemile ja logidele.

Kuidas koostöö käib

Kaardistamine: üks kuni kaks nädalat. Vaatame protsessi, mida soovite muuta, seotud süsteeme ja seda, millised andmed tegelikult välja näevad. Tulemuseks on kirjalik hinnang selle kohta, mis on teostatav, kui palju selle käitamine teie mahu juures kuus maksab ja millised on tõrkeviisid. Mõnikord on selle järeldus, et seda ei tasu ehitada.

Kontseptsioonitõendus: kolm kuni kuus nädalat, päris andmetel kontrollitud keskkonnas. Eesmärk pole demo. Eesmärk on hindamistulemus, mida saate usaldada, mõõdetud täpsusnäitajaga teie valitud juhtumite põhjal.

Tootmisversiooni arendus: tavaliselt kaheksa kuni kuusteist nädalat, sealhulgas autentimine, autoriseerimine, seire, hindamisraamistik, kulukontroll ja dokumentatsioon. Paigaldatakse teie taristusse, teie repositooriumisse ja teie meeskond on kogu aeg kaasatud.

Käitamine või üleandmine. Kas teie meeskond võtab selle üle koos käsiraamatu ja hindamiskomplektiga või jätkame meie selle käitamist tugilepingu alusel. Mudelid muutuvad, viibad triivivad ja just hindamiskomplekt annab teile teada, kui miski on vaikselt halvemaks läinud.

Tehnoloogia

Agentide ja MCP töö jaoks Python ja TypeScript; otsingu jaoks PostgreSQL koos pgvectoriga, Qdrant, Weaviate või OpenSearch; AWS Bedrock, Azure OpenAI, pakkujate otse-API-d ning isemajutatud järeldus vLLM-i või Ollamaga, kui andmed ei tohi lahkuda; OpenTelemetryl põhinev jälitus; ning liidestuse poolel mis tahes teie olemasolev tehnoloogia, sest just seal töö tegelikult toimub.

Korduma kippuvad küsimused

Mis on MCP-server lihtsate sõnadega?

Väike teenus, mis teeb mingi võimekuse (andmebaasist lugemine, pileti loomine, dokumentidest otsimine) kättesaadavaks standardvormingus, millest tehisintellekti assistendid aru saavad. Ehitage üks ja iga MCP-ühilduv assistent saab seda võimekust kasutada, ilma et igaühe jaoks oleks vaja eraldi liidestust.

Kas peaksime ehitama MCP-serveri või tavalise API-liidestuse?

Kui üks tehisintellekti assistent vajab ühte süsteemi, on otseliidestus lihtsam. MCP tasub end ära, kui mitu assistenti või mitu meeskonda vajavad samu süsteeme, kui soovite, et võimekus oleks kättesaadav ka tööriistadele, mida te pole veel valinud, või kui soovite, et õigused ja auditilogid asuksid ühes kohas.

Kuidas takistate agendil midagi hävitavat tegemast?

Mitmes kihis. Kirjutavad tööriistad on lugevatest eraldatud ja kirjutavate tööriistade ulatus on nii kitsas, kui ülesanne lubab. Kõik pöördumatu läbib inimese kinnitussammu. Iga päring logitakse koos argumentidega. Ja agent töötab teenuse identiteediga, millel on ainult töö jaoks vajalikud õigused, nii et võimaliku kahju ulatust piirab teie enda autoriseerimismudel, mitte viip.

Kui palju selle käitamine maksab?

See sõltub peaaegu täielikult mahust ja sellest, kui palju konteksti iga päring kaasas kannab. Modelleerime selle kaardistamise käigus päris numbritega, sest erinevus lahenduse vahel, mis saadab igal sammul terve dokumendi, ja lahenduse vahel, mis otsib üles ainult asjakohase osa, võib igakuises kulus olla suurusjärgu võrra.

Kas see saab töötada nii, et meie andmed ELi-st välja ei lähe?

Jah. Suured pakkujad pakuvad ELi regioone ja avatud kaaludega mudeleid saab käitada teie kontrolli all oleval taristul. Tavaliselt kaasneb sellega võimekuse kompromiss ja me ütleme täpselt, milline see on, selle asemel et teeselda, et seda pole.

Meie eelmine tehisintellekti pilootprojekt ei jõudnud tootmisse. Miks see peaks jõudma?

Tavaliselt seetõttu, et pilootprojekt tõestas, et mudel suudab ülesandega hakkama saada, kuid ei puudutanudki autentimist, õigusi, veakäsitlust, hindamist ega kulusid, kus asub ülejäänud üheksakümmend protsenti tööst. Lähtume eeldusest, et mudel töötab, ja kulutame projekti kõigele muule.

Alustage

Kirjeldage protsessi, mida soovite muuta, ja süsteeme, mida see puudutab. Ütleme teile, kas agent on õige tööriist, milline näeb välja realistlik esimene versioon ning mis maksab selle ehitamine ja käitamine.

Võtke meiega ühendust, et leppida kokku tehniline kaardistamiskohtumine.

Seotud teenused

• Meeskonna laiendamine ja allhange: tehisintellekti insenerid teie meeskonnas
• ELi tehisintellekti määruse vastavuse inseneritöö: kui see, mida ehitate, kuulub määruse kohaldamisalasse
• AWS-i kulude optimeerimine: järeldus- ja otsingukoormused kipuvad inimesi üllatama