DI agentų kūrimas ir MCP serverių integracija: kalbos modelių prijungimas prie jūsų jau naudojamų sistemų

Demonstracijos visada veikia. Bandomasis projektas, kuris apibendrino jūsų dokumentaciją, buvo įspūdingas, prototipas, atsakinėjęs į klientų aptarnavimo klausimus, atrodė paruoštas, o tada jis susidūrė su tikra CRM, tikru teisių modeliu ir tikrais duomenimis ir nustojo būti paruoštas.

Būtent šis tarpas ir yra darbas. Ne modelis (modelis dabar yra lengvoji dalis), o viskas tarp kalbos modelio ir sistemos, kuri turi savo taisykles dėl autentifikavimo, užklausų limitų, nuomininkų atskyrimo ir to, kas ką gali matyti.

Ką kuriame

MCP serveriai jūsų vidinėms sistemoms

Model Context Protocol yra atviras standartas, leidžiantis DI asistentams vienodai prieiti prie įrankių ir duomenų, nepriklausomai nuo kliento. Jis tapo praktiniu atsakymu į klausimą, kaip leisti asistentui naudotis mūsų sistemomis nerašant atskiros integracijos kiekvienam asistentui.

Kuriame gamybinius MCP serverius tam, kuo jūsų verslas iš tikrųjų remiasi: jūsų CRM, užklausų valdymo sistemai, duomenų saugyklai, vidinėms API, dokumentų saugyklai, ERP. Ne demonstracinį serverį su įrašytu prieigos raktu, o serverį su tinkamu autentifikavimu, kiekvieno naudotojo autorizacija, paisančia teisių, kurias jūsų sistemos jau taiko, nuomininkų izoliacija, užklausų ribojimu, struktūrizuotu žurnalų vedimu ir klaidų pranešimais, kurie, nepavykus užklausai, modeliui pasako ką nors naudingo.

Individualūs DI agentai ir asistentai

Agentai, kurie atlieka darbą nuo pradžios iki galo: surūšiuoja gaunamų užklausų eilę, suderina dvi viena kitai prieštaraujančias sistemas, parengia pirmąją dokumento versiją, kurią vėliau patvirtina žmogus, atlieka tyrimą vidiniuose ir išoriniuose šaltiniuose. Kuriame juos su visomis nuobodžiomis dalimis: pakartotiniais bandymais, laiko limitais, išlaidų viršutinėmis ribomis, idempotentiškumu visur, kur rašomi duomenys, ir žmogaus patvirtinimu visur, kur veiksmą sunku atšaukti.

Paieška jūsų pačių turinyje

RAG, padarytas tinkamai: dokumentų įkėlimas ir skaidymas į dalis pagal struktūrą, o ne pagal simbolių skaičių, įterptiniai vektoriai ir vektorinė paieška, hibridinė raktažodžių ir semantinė paieška, nes vien vektorinė paieška praleidžia tikslius atitikmenis, rezultatų perrikiavimas ir nuorodos į šaltinį, kad atsakymą būtų galima patikrinti. Plius neįspūdingoji pusė: indekso atnaujinimas, kai keičiasi pagrindiniai dokumentai, ir prieigos teisių paisymas, kad paieška niekada neparodytų dokumento, kurio naudotojas kitaip negalėtų atidaryti.

Darbo eigos ir administracinių procesų automatizavimas

Ne viskam reikia agento. Didelė dalis to, ko įmonės nori iš DI, yra klasifikavimas, duomenų išgavimas ir nukreipimas: perskaityti gautą el. laišką ir nuspręsti, kas tai yra, ištraukti struktūrizuotus duomenis iš nestruktūrizuoto dokumento, susieti aprašymą su katalogo įrašu. Tai pigiau, patikimiau ir lengviau įvertinama nei agentas, ir kai tai yra teisingas atsakymas, kuriame būtent tai.

Vertinimas, stebėsena ir apsaugos priemonės

DI funkcijos, kuri nevertinama, niekas negali patobulinti. Iš jūsų tikrų atvejų sudarome testų rinkinius, pagal juos matuojame kiekvieną pakeitimą, sekame kiekvieną užklausą su jos įvestimis, įrankių naudojimu, delsa ir kaina, ir nustatome ribas, kol nevaldomas ciklas dar nepasiekė jūsų API sąskaitos. Raginimų injekcija (prompt injection) tampa realia rizika tą akimirką, kai agentas skaito nepatikimą turinį ir kartu gali veikti. Įrankių ribas projektuojame taip, kad kenkėjiškas dokumentas negalėtų virsti destruktyviu veiksmu.

Kaip dirbame su modelių tiekėjais

Nesame pririšti prie vieno. Kuriame su Anthropic Claude modeliais, OpenAI, Google ir atvirųjų svorių modeliais, veikiančiais jūsų pačių infrastruktūroje, o integraciją projektuojame taip, kad modelis būtų keičiamas komponentas. Kurį naudoti, priklauso nuo užduoties, reikiamos delsos, vienos užklausos kainos esant jūsų apimtims ir (Europoje vis dažniau lemiamas veiksnys) nuo to, kur duomenims leidžiama keliauti.

Klientams, kuriems taikomi duomenų buvimo vietos apribojimai, diegiame ES regionuose arba su savarankiškai talpinamu modelių vykdymu jūsų pačių įrangoje, ir sąžiningai pasakysime, kur tai kainuoja dalį galimybių.

Ko nedarome

Nesame DI strategijos konsultacijų įmonė. Nerengiame seminarų apie ko nors transformacinį potencialą.

Taip pat nekursime agento problemai, kuriai jo nereikia. Nemaža dalis DI projektų, dėl kurių į mus kreipiamasi, geriau išsprendžiami gerai apibrėžta API integracija, paieškos indeksu arba po jais slypinčios duomenų kokybės problemos ištaisymu. Tokia rekomendacija mums kainuoja didesnį užsakymą, o jums sutaupo sistemą, kurią tektų prižiūrėti.

Kur tai paprastai atsiperka

Vidinės žinios, techniškai prieinamos, bet praktiškai nepasiekiamos: tūkstančiai dokumentų vikyje, bendrame diske ir užklausų valdymo sistemoje, o žmogus, žinantis, kuris iš jų aktualus, atostogauja.

Didelės apimties rūšiavimas: klientų aptarnavimo eilės, žalų registravimas, gaunamos pardavimų užklausos, paraiškų peržiūra. Visur, kur šiandien žmogus ką nors perskaito, nusprendžia, kas tai yra, ir perduoda toliau.

Sistemos, kurios taip ir nesulaukė integracijos: du įrankiai, kurie turėtų susikalbėti, bet nesusikalba, o apeinamasis sprendimas yra žmogus su skaičiuokle. Agentas su MCP prieiga prie abiejų dažnai yra trumpesnis kelias nei formalus integracijos projektas.

Daug dokumentų reikalaujantys procesai: sutartys, sąskaitos faktūros, specifikacijos, reguliavimo dokumentai. Duomenų išgavimas su žmogaus peržiūra jau šiandien yra pakankamai patikimas, kad pakeistų šių procesų ekonomiką.

Programuotojų produktyvumas jūsų pačių kodo bazėje: vidiniai įrankiai, pagalba peržiūrint kodą, testų generavimas ir MCP serveriai, suteikiantys jūsų komandos asistentams prieigą prie jūsų kūrimo sistemos, užduočių sekimo sistemos ir žurnalų.

Kaip vyksta darbas

Tyrimas: nuo vienos iki dviejų savaičių. Išnagrinėjame procesą, kurį norite pakeisti, susijusias sistemas ir tai, kaip iš tikrųjų atrodo duomenys. Rezultatas yra rašytinis įvertinimas: kas įmanoma, kiek kainuos eksploatacija per mėnesį esant jūsų apimtims ir kokie gali būti gedimų scenarijai. Kartais jame parašyta: to nekurkite.

Koncepcijos įrodymas: nuo trijų iki šešių savaičių, su tikrais duomenimis kontroliuojamoje aplinkoje. Tikslas nėra demonstracija. Tikslas yra vertinimo rezultatas, kuriuo galite pasitikėti, su išmatuotu tikslumu pagal jūsų pačių pasirinktus atvejus.

Gamybinės versijos kūrimas: paprastai nuo aštuonių iki šešiolikos savaičių, įskaitant autentifikavimą, autorizaciją, stebėseną, vertinimo aplinką, išlaidų kontrolę ir dokumentaciją. Diegiama jūsų infrastruktūroje, jūsų repozitorijoje, visą laiką dalyvaujant jūsų komandai.

Eksploatavimas arba perdavimas. Arba sistemą perima jūsų komanda kartu su veiklos vadovu ir vertinimo rinkiniu, arba mes toliau ją eksploatuojame pagal palaikymo sutartį. Modeliai keičiasi, raginimai pamažu nukrypsta, o vertinimo rinkinys yra tai, kas jums pasako, kai kas nors tyliai suprastėjo.

Technologijos

Python ir TypeScript agentų ir MCP darbams; PostgreSQL su pgvector, Qdrant, Weaviate arba OpenSearch paieškai; AWS Bedrock, Azure OpenAI, tiesioginės tiekėjų API ir savarankiškai talpinamas modelių vykdymas su vLLM arba Ollama, kai duomenys negali išeiti; OpenTelemetry pagrindu veikiantis sekimas; o integracijos pusėje bet kokios jūsų esamos technologijos, nes būtent ten ir vyksta tikrasis darbas.

Dažnai užduodami klausimai

Kas yra MCP serveris paprastais žodžiais?

Nedidelė paslauga, kuri suteikia tam tikrą galimybę (skaityti iš duomenų bazės, sukurti užklausą, ieškoti jūsų dokumentuose) standartiniu formatu, kurį supranta DI asistentai. Sukūrus vieną, bet kuris su MCP suderinamas asistentas gali naudotis ta galimybe be atskiros integracijos kiekvienam.

Kurti MCP serverį ar įprastą API integraciją?

Jei vienam DI asistentui reikia vienos sistemos, tiesioginė integracija paprastesnė. MCP atsiperka, kai tų pačių sistemų reikia keliems asistentams ar kelioms komandoms, kai norite, kad galimybė būtų prieinama įrankiams, kurių dar nepasirinkote, arba kai norite vienos vietos, kurioje gyvena teisės ir audito žurnalai.

Kaip neleidžiate agentui padaryti ko nors destruktyvaus?

Keliais sluoksniais. Rašantys įrankiai atskirti nuo skaitančių, o rašančių įrankių teisės apribotos tiek, kiek leidžia užduotis. Viskas, kas negrįžtama, eina per žmogaus patvirtinimą. Kiekviena užklausa registruojama su jos argumentais. O agentas veikia su paslaugos tapatybe, turinčia tik tas teises, kurių reikia darbui, todėl galimą žalą riboja jūsų pačių autorizacijos modelis, o ne raginimas.

Kiek kainuoja eksploatacija?

Tai beveik visiškai priklauso nuo apimties ir nuo to, kiek konteksto perduodama kiekvienoje užklausoje. Tyrimo metu tai sumodeliuojame su tikrais skaičiais, nes skirtumas tarp sprendimo, kuris kiekviename žingsnyje siunčia visą dokumentą, ir sprendimo, kuris paima tik reikiamą dalį, mėnesio išlaidose gali siekti dešimt kartų.

Ar tai gali veikti, kad mūsų duomenys neišeitų iš ES?

Taip. Pagrindiniai tiekėjai siūlo ES regionus, o atvirųjų svorių modeliai gali veikti jūsų kontroliuojamoje infrastruktūroje. Paprastai tenka paaukoti dalį galimybių, ir konkrečiai pasakysime, kokią, o ne apsimesime, kad nieko aukoti nereikia.

Mūsų ankstesnis DI bandomasis projektas taip ir nepasiekė gamybos. Kodėl šis pasieks?

Dažniausiai todėl, kad bandomasis projektas įrodė, jog modelis gali atlikti užduotį, bet niekada nepalietė autentifikavimo, teisių, klaidų tvarkymo, vertinimo ar kainos, o būtent ten slypi likę devyniasdešimt procentų darbo. Pradedame nuo prielaidos, kad modelis veikia, ir visą darbo laiką skiriame visam kitam.

Pradėkite

Aprašykite procesą, kurį norite pakeisti, ir sistemas, kurias jis paliečia. Pasakysime, ar agentas yra tinkamas įrankis, kaip atrodytų reali pirmoji versija ir kiek kainuos ją sukurti ir eksploatuoti.

Susisiekite su mumis ir susitarkime dėl techninio tyrimo susitikimo.

Susijusios paslaugos

• Darbuotojų nuoma ir užsakomosios paslaugos: DI inžinieriai jūsų komandoje
• ES dirbtinio intelekto akto atitikties inžinerija: kai tai, ką kuriate, patenka į jo taikymo sritį
• AWS išlaidų optimizavimas: modelių vykdymo ir paieškos darbo krūviai mėgsta nustebinti