MI-ügynökök fejlesztése és MCP-szerver integráció: nyelvi modellek bekötése a már működő rendszereibe

A demók mind működnek. A pilot, amely összefoglalta a dokumentációt, meggyőző volt, a prototípus, amely a support kérdésekre válaszolt, késznek látszott: aztán találkozott az éles CRM-mel, az éles jogosultsági modellel és az éles adatokkal, és megszűnt késznek lenni.

Ez a szakadék maga a munka. Nem a modell (a modell mostanra a könnyebbik rész), hanem minden, ami egy nyelvi modell és egy olyan rendszer között van, amelynek határozott véleménye van a hitelesítésről, a rate limitekről, a bérlői elkülönítésről és arról, ki mit láthat.

Amit megépítünk

MCP-szerverek a belső rendszereihez

A Model Context Protocol nyílt szabvány arra, hogy eszközöket és adatokat a kliensek között egységes módon tegyünk elérhetővé MI-asszisztensek számára. Ez lett a gyakorlati válasz arra a kérdésre, hogy „hogyan engedjük hozzá az asszisztenst a rendszereinkhez anélkül, hogy minden asszisztenshez külön integrációt írnánk".

Éles üzemre szánt MCP-szervereket építünk azokra a rendszerekre, amelyeket a cége valóban használ: CRM, ticketrendszer, adattárház, belső API-k, dokumentumtár, ERP. Nem demószervert beégetett tokennel, hanem olyat, amelyben rendes hitelesítés van, felhasználónkénti jogosultságkezelés, amely tiszteletben tartja a rendszereiben már érvényesülő jogosultságokat, multi-tenant elkülönítés, rate limiting, strukturált naplózás, és olyan hibafelület, amely hívási hiba esetén használható információt ad vissza a modellnek.

Egyedi MI-ügynökök és asszisztensek

Ügynökök, amelyek végigvisznek egy munkát: triage-olnak egy beérkező sort, összeegyeztetnek két egymásnak ellentmondó rendszert, megírják egy dokumentum első változatát, amelyet aztán ember hagy jóvá, kutatási feladatot futtatnak belső és külső forrásokon. Az unalmas részekkel együtt építjük meg őket: újrapróbálkozás, időtúllépés, költségplafon, idempotencia mindenre, ami ír, és emberi jóváhagyási lépés mindenütt, ahol egy művelet nehezen vonható vissza.

Keresés a saját tartalmán

RAG, rendesen megcsinálva: dokumentumbetöltés és darabolás, amely a szerkezetet követi, nem karakterszámot, beágyazások és vektorkeresés, hibrid kulcsszavas és szemantikus visszakeresés (mert a tiszta vektorkeresés elvéti a pontos egyezéseket), újrarangsorolás, és forráshivatkozások, hogy egy válasz ellenőrizhető legyen. Plusz a hálátlanabbik fele: az index naprakészen tartása, ahogy a mögöttes dokumentumok változnak, és a jogosultságok betartatása, hogy a keresés soha ne hozzon elő olyan dokumentumot, amelyet a felhasználó egyébként nem nyithatna meg.

Munkafolyamat- és háttérirodai automatizálás

Nem mindenhez kell ügynök. Amit a cégek MI-től akarnak, annak jelentős része osztályozás, kinyerés és útvonalválasztás: elolvasni egy beérkező e-mailt és eldönteni, mi az, strukturált adatot kihúzni egy strukturálatlan dokumentumból, egy leírást hozzárendelni egy katalógustételhez. Ezek olcsóbbak, megbízhatóbbak és könnyebben kiértékelhetők, mint egy ügynök, és ha ez a helyes válasz, akkor ezt építjük meg helyette.

Kiértékelés, megfigyelhetőség és korlátok

Az a MI-funkció, amelyet nem értékelnek ki, olyan funkció, amelyet senki nem tud javítani. A valós eseteiből tesztkészletet építünk, minden változtatásnál mérünk ellene, minden hívást nyomon követünk a bemenetével, eszközhasználatával, késleltetésével és költségével együtt, és korlátokat teszünk a helyükre, mielőtt egy elszabadult ciklus rátalálna az API-számlájára. A prompt injection élő kockázat abban a pillanatban, amint egy ügynök nem megbízható tartalmat olvas, és egyben cselekedni is tud: az eszközhatárt úgy tervezzük meg, hogy egy rosszindulatú dokumentumból ne válhasson romboló művelet.

Hogyan dolgozunk a modellszolgáltatókkal

Nem vagyunk egyhez kötve. Az Anthropic Claude modelljeire, az OpenAI-ra, a Google-ra és a saját infrastruktúráján futó nyílt súlyú modellekre egyaránt építünk, az integrációt pedig úgy tervezzük, hogy a modell cserélhető komponens legyen. Hogy melyiket érdemes használnia, az a feladaton, a szükséges késleltetésen, az adott volumen melletti hívásonkénti költségen múlik, és Európában egyre inkább azon, hogy hová kerülhet az adat.

Az adatlokalizációs megkötésekkel dolgozó ügyfeleknél EU-régiókba telepítünk, vagy saját hardveren futó inferenciára, és őszintén megmondjuk, hol kerül ez képességbe.

Amit nem csinálunk

Nem vagyunk MI-stratégiai tanácsadó cég. Nem tartunk workshopokat bárminek az átalakító erejéről.

Olyan problémára sem építünk ügynököt, amelyhez nem kell. Azoknak az MI-projekteknek, amelyekről megkeresnek minket, számottevő része jobban megoldható egy jól specifikált API-integrációval, egy keresőindexszel, vagy a mögötte húzódó adatminőségi hiba kijavításával. Ezt javasolni nekünk egy nagyobb megbízásba kerül, Önnek pedig megspórol egy rendszert, amelyet karban kellene tartania.

Hol térül meg jellemzően

Belső tudás, amely technikailag rendelkezésre áll, gyakorlatilag elérhetetlen: több ezer dokumentum egy wikiben, egy megosztott meghajtón és egy ticketrendszerben, ahol az, aki tudja, melyik az érvényes verzió, épp szabadságon van.

Nagy volumenű triage: supportsorok, kárbejelentések, beérkező értékesítési megkeresések, pályázatok átnézése. Bármi, ahol ma egy ember elolvas valamit, eldönti, mi az, és továbbadja.

Rendszerek, amelyek soha nem kaptak integrációt: két eszköz, amelynek beszélnie kellene egymással, de nem teszi, és a kerülőút egy ember egy táblázattal. Egy ügynök, amely MCP-n keresztül mindkettőhöz hozzáfér, gyakran rövidebb út, mint egy formális integrációs projekt.

Dokumentumintenzív működés: szerződések, számlák, specifikációk, hatósági beadványok. Az emberi ellenőrzési lépéssel kiegészített adatkinyerés ma már elég megbízható ahhoz, hogy megváltoztassa ezeknek a folyamatoknak a gazdaságosságát.

Fejlesztői hatékonyság a saját kódbázisában: belső eszközök, kódreview-támogatás, tesztgenerálás, és MCP-szerverek, amelyek a csapata asszisztenseinek hozzáférést adnak a build rendszeréhez, a hibakövetőjéhez és a logjaihoz.

Hogyan zajlik egy együttműködés

Feltárás, egy-két hét. Megnézzük a folyamatot, amelyen változtatni szeretne, az érintett rendszereket, és azt, hogy valójában hogyan néznek ki az adatok. A végtermék írásos értékelés arról, mi valósítható meg, mennyibe kerül havonta az Ön volumene mellett üzemeltetni, és mik a hibamódok. Néha az van benne, hogy ezt ne építsük meg.

Proof of concept, három-hat hét, valós adatokon, kontrollált környezetben. A cél nem a demó, hanem egy megbízható kiértékelési eredmény, mért pontossági számmal, az Ön által kiválasztott eseteken.

Éles fejlesztés, jellemzően nyolc-tizenhat hét, hitelesítéssel, jogosultságkezeléssel, monitorozással, kiértékelési keretrendszerrel, költségkontrollal és dokumentációval együtt. Az Ön infrastruktúrájába telepítve, az Ön repójában, a csapata bevonásával, végig.

Üzemeltetés vagy átadás. Vagy a csapata veszi át, az üzemeltetési kézikönyvvel és a kiértékelési készlettel együtt, vagy mi üzemeltetjük tovább támogatási szerződéssel. A modellek változnak, a promptok elcsúsznak, és a kiértékelési készlet az, ami megmondja, ha valami észrevétlenül romlani kezdett.

Technológia

Python és TypeScript az ügynök- és MCP-munkához; PostgreSQL pgvectorral, Qdrant, Weaviate vagy OpenSearch a visszakereséshez; AWS Bedrock, Azure OpenAI, közvetlen szolgáltatói API-k, valamint saját üzemeltetésű inferencia vLLM-mel vagy Ollamával ott, ahol az adat nem hagyhatja el a házat; OpenTelemetry-alapú nyomkövetés; és az integrációs oldalon bármi, ami az Ön stackjében van, mert a munka valójában ott van.

Gyakori kérdések

Mi az az MCP-szerver, egyszerűen?

Kis szolgáltatás, amely valamilyen képességet (adatbázisból olvasást, ticket létrehozását, a dokumentumai közötti keresést) olyan egységes formában tesz elérhetővé, amelyet az MI-asszisztensek értenek. Ha egyszer megépíti, bármely MCP-kompatibilis asszisztens használni tudja anélkül, hogy külön integrációt kellene írni hozzá.

MCP-szervert építsünk vagy sima API-integrációt?

Ha egyetlen MI-asszisztensnek egyetlen rendszerre van szüksége, a közvetlen integráció egyszerűbb. Az MCP akkor hozza be az árát, ha több asszisztensnek vagy több csapatnak kell ugyanaz a rendszer, ha a képességet olyan eszközök számára is elérhetővé akarja tenni, amelyeket még ki sem választott, vagy ha egy helyen akarja tartani a jogosultságkezelést és az auditnaplózást.

Hogyan akadályozzák meg, hogy egy ügynök kárt okozzon?

Rétegesen. Az író eszközök el vannak választva az olvasóktól, és az író eszközök hatóköre olyan szűk, amennyire a feladat engedi. Ami visszafordíthatatlan, az emberi jóváhagyási lépésen megy át. Minden hívás naplózódik az argumentumaival együtt. Az ügynök pedig olyan szolgáltatásidentitással fut, amelynek csak a munkához szükséges jogosultságai vannak, így a kárhatás sugarát a saját jogosultsági modellje határolja, nem a prompt.

Mennyibe kerül ezt üzemeltetni?

Szinte teljes egészében a volumenen és azon múlik, mennyi kontextust visz magával egy hívás. Ezt a feltárás során valós számokkal modellezzük, mert a különbség egy olyan tervezés között, amely minden körben elküldi a teljes dokumentumot, és egy olyan között, amely a releváns részt keresi vissza, nagyságrendnyi eltérés lehet a havi költségben.

Futtatható úgy, hogy az adatunk ne hagyja el az EU-t?

Igen. A nagy szolgáltatók kínálnak EU-régiókat, a nyílt súlyú modellek pedig futtathatók az Ön által kontrollált infrastruktúrán. Ennek általában van képességbeli ára, és mi konkrétan megmondjuk, mi az, ahelyett hogy úgy tennénk, mintha nem lenne.

Az előző MI-pilotunk nem jutott el az élesig. Miért lenne ez más?

Rendszerint azért nem jutott el, mert a pilot azt bizonyította be, hogy a modell meg tudja csinálni a feladatot, és soha nem ért hozzá a hitelesítéshez, a jogosultságokhoz, a hibakezeléshez, a kiértékeléshez és a költségekhez: vagyis ahhoz, ahol a munka fennmaradó kilencven százaléka van. Mi abból indulunk ki, hogy a modell működik, és a projektet minden másra fordítjuk.

Kezdjen hozzá

Írja le a folyamatot, amelyen változtatni szeretne, és a rendszereket, amelyeket érint. Megmondjuk, hogy az ügynök a megfelelő eszköz-e, hogyan néz ki egy reális első verzió, és mennyibe kerül megépíteni és üzemeltetni.

Vegye fel velünk a kapcsolatot technikai feltáró megbeszélés egyeztetéséhez.

Kapcsolódó szolgáltatások

Személyzet Bővítés és Outsourcing: MI-mérnökök beépülve a csapatába
EU MI-rendelet megfelelőségi mérnökség: ha az, amit épít, hatály alá esik
AWS költségoptimalizálás: az inferencia- és keresési terhelés szokott meglepetést okozni