Tekoälyagentit ja MCP-palvelimet: kielimallit kiinni järjestelmiin, joita jo ajatte

Demot toimivat aina. Pilotti, joka tiivisti dokumentaationne, oli vaikuttava, ja prototyyppi, joka vastasi tukikysymyksiin, näytti valmiilta, kunnes se kohtasi oikean CRM:n, oikean käyttöoikeusmallin ja oikean datan eikä ollutkaan enää valmis.

Tuo väli on se työ. Ei malli (malli on nykyään helppo osa), vaan kaikki se, mikä on kielimallin ja sellaisen järjestelmän välissä, jolla on omat mielipiteensä tunnistautumisesta, kutsurajoista, asiakaskohtaisesta eriytyksestä ja siitä, kuka saa nähdä mitäkin.

Mitä rakennamme

MCP-palvelimet sisäisiin järjestelmiinne

Model Context Protocol on avoin standardi, jolla työkalut ja data tuodaan tekoälyavustajien käyttöön samalla tavalla asiakasohjelmasta riippumatta. Siitä on tullut käytännön vastaus kysymykseen "miten annamme avustajan käyttää järjestelmiämme kirjoittamatta erillistä integraatiota jokaiselle avustajalle".

Rakennamme tuotantokelpoisia MCP-palvelimia niiden päälle, mitä yrityksenne oikeasti pyörittää: CRM, tiketöinti, tietovarasto, sisäiset rajapinnat, dokumenttiarkisto, ERP. Ei demopalvelinta kovakoodatulla tokenilla, vaan palvelin, jossa on kunnollinen tunnistautuminen, käyttäjäkohtainen valtuutus, joka kunnioittaa järjestelmienne olemassa olevia käyttöoikeuksia, asiakaskohtainen eristys, kutsurajoitukset, rakenteinen lokitus ja virhepinta, joka kertoo mallille jotain hyödyllistä silloin kun kutsu epäonnistuu.

Räätälöidyt tekoälyagentit ja avustajat

Agentteja, jotka hoitavat tehtävän alusta loppuun: luokittelevat saapuvan jonon, täsmäyttävät kaksi keskenään eri mieltä olevaa järjestelmää, kirjoittavat ensimmäisen version dokumentista, jonka ihminen hyväksyy, tai tekevät selvitystyötä sisäisistä ja ulkoisista lähteistä. Rakennamme ne tylsät osat mukaan lukien: uudelleenyritykset, aikakatkaisut, kustannuskatot, idempotenssi kaikessa mikä kirjoittaa, ja ihmisen hyväksyntävaihe kaikkeen, mitä on vaikea perua.

Haku oman sisältönne päälle

RAG kunnolla tehtynä: dokumenttien sisäänluku ja paloittelu, joka kunnioittaa rakennetta eikä merkkimäärää, upotukset ja vektorihaku, hybridihaku avainsanoilla ja semantiikalla, koska pelkkä vektorihaku hukkaa tarkat osumat, uudelleenpisteytys sekä lähdeviitteet, joiden avulla vastaus voidaan tarkistaa. Lisäksi se epäglamurinen puolikas: indeksin pitäminen ajan tasalla dokumenttien muuttuessa ja käyttöoikeuksien kunnioittaminen niin, ettei haku koskaan nosta esiin dokumenttia, jota käyttäjä ei muutenkaan saisi auki.

Prosessien ja taustatoimintojen automaatio

Kaikki ei tarvitse agenttia. Suuri osa siitä, mitä yritykset tekoälyltä haluavat, on luokittelua, poimintaa ja ohjausta: saapuvan sähköpostin lukeminen ja sen päättäminen mistä on kyse, rakenteisen tiedon poimiminen jäsentämättömästä dokumentista, kuvauksen kohdistaminen tuoterekisterin riviin. Nämä ovat halvempia, luotettavampia ja helpommin arvioitavia kuin agentti, ja kun se on oikea vastaus, rakennamme sen sijaan sen.

Evaluointi, havainnoitavuus ja suojaukset

Tekoälyominaisuus ilman evaluointia on ominaisuus, jota kukaan ei voi parantaa. Rakennamme testijoukot teidän oikeista tapauksistanne, mittaamme niitä vasten jokaisella muutoksella, jäljitämme jokaisen kutsun syötteineen, työkalukutsuineen, viiveineen ja kustannuksineen ja asetamme rajat ennen kuin karkuun päässyt silmukka löytää rajapintalaskunne. Prompt injection on todellinen riski siitä hetkestä, kun agentti lukee epäluotettua sisältöä ja pystyy myös toimimaan: suunnittelemme työkalurajan niin, ettei haitallinen dokumentti muutu tuhoisaksi toiminnoksi.

Miten työskentelemme mallitoimittajien kanssa

Emme ole sidottuja yhteen. Rakennamme Anthropicin Claude-malleja, OpenAI:n ja Googlen malleja sekä omassa infrastruktuurissanne pyöriviä, avoimilla painoilla julkaistuja malleja vasten, ja suunnittelemme integraation niin, että malli on vaihdettava osa. Se, mitä kannattaa käyttää, riippuu tehtävästä, tarvittavasta viiveestä, kutsukohtaisesta hinnasta teidän volyymillanne ja (Euroopassa yhä useammin ratkaisevana tekijänä) siitä, minne data saa mennä.

Kun asiakkaalla on datan sijaintia koskevia rajoitteita, viemme ratkaisun EU-alueille tai omalle raudallenne itse ylläpidettävään mallipalveluun, ja kerromme rehellisesti, missä kohtaa se maksaa suorituskykyä.

Mitä emme tee

Emme ole tekoälystrategiatoimisto. Emme pidä työpajoja minkään mullistavasta potentiaalista.

Emme myöskään rakenna agenttia ongelmaan, joka ei sellaista tarvitse. Merkittävä osa niistä tekoälyprojekteista, joista meiltä kysytään, ratkeaa paremmin hyvin määritellyllä rajapintaintegraatiolla, hakuindeksillä tai korjaamalla alla oleva datanlaatuongelma. Sen suositteleminen maksaa meille isomman toimeksiannon ja säästää teiltä järjestelmän, jota olisitte joutuneet ylläpitämään.

Missä tästä yleensä on hyötyä

Sisäinen tieto, joka on teknisesti saatavilla mutta käytännössä tavoittamattomissa: tuhansia dokumentteja wikissä, verkkolevyllä ja tiketöinnissä, ja se ihminen, joka tietää mikä niistä on voimassa, on lomalla.

Suurivolyyminen luokittelu: tukijonot, korvaushakemusten vastaanotto, saapuvat myyntiyhteydenotot, hakemusten esikäsittely. Kaikki, missä ihminen tällä hetkellä lukee jotain, päättää mistä on kyse ja siirtää sen eteenpäin.

Järjestelmät, jotka eivät koskaan saaneet integraatiota: kaksi työkalua, joiden pitäisi keskustella, eivät keskustele, ja kiertotienä on ihminen ja taulukkolaskenta. Agentti, jolla on MCP-yhteys molempiin, on usein lyhyempi tie kuin muodollinen integraatioprojekti.

Dokumenttivaltainen työ: sopimukset, laskut, spesifikaatiot, viranomaisilmoitukset. Poiminta ihmisen tarkistusvaiheella on jo nyt riittävän luotettavaa muuttaakseen näiden prosessien talouden.

Kehittäjien tuottavuus omassa koodipohjassanne: sisäiset työkalut, koodikatselmoinnin tuki, testien generointi ja MCP-palvelimet, jotka antavat tiiminne avustajille pääsyn buildijärjestelmään, tiketöintiin ja lokeihin.

Miten toimeksianto etenee

Esiselvitys, yhdestä kahteen viikkoa. Katsomme prosessin, jota haluatte muuttaa, siihen liittyvät järjestelmät ja sen, miltä data oikeasti näyttää. Tuloksena on kirjallinen arvio siitä, mikä on toteutettavissa, mitä se maksaa kuukaudessa teidän volyymillanne ja mitkä ovat virhetilanteet. Toisinaan siinä lukee, ettei tätä kannata rakentaa.

Konseptin todennus, kolmesta kuuteen viikkoa, oikeaa dataa vasten hallitussa ympäristössä. Tavoite ei ole demo vaan evaluointitulos, johon voi luottaa, ja mitattu tarkkuusluku itse valitsemianne tapauksia vasten.

Tuotantototeutus, tyypillisesti kahdeksasta kuuteentoista viikkoa, sisältäen tunnistautumisen, valtuutuksen, valvonnan, evaluointikehikon, kustannusrajat ja dokumentaation. Viedään teidän infrastruktuuriinne, teidän repositorioonne ja teidän tiiminne ollessa mukana koko ajan.

Ylläpito tai luovutus. Joko tiiminne ottaa kokonaisuuden haltuun ohjeistuksen ja evaluointisarjan kanssa, tai me jatkamme sen ajamista tukisopimuksella. Mallit muuttuvat, kehotteet ajautuvat, ja evaluointisarja on se, mikä kertoo kun jokin on hiljaa mennyt huonompaan suuntaan.

Teknologia

Python ja TypeScript agentti- ja MCP-työhön; PostgreSQL pgvectorilla, Qdrant, Weaviate tai OpenSearch hakuun; AWS Bedrock, Azure OpenAI, suorat toimittajarajapinnat sekä itse ylläpidetty mallipalvelu vLLM:llä tai Ollamalla silloin, kun data ei saa lähteä; OpenTelemetryyn perustuva jäljitys; ja integraatiopuolella se, mikä teidän pinossanne on, koska siellä työ oikeasti tehdään.

Usein kysytyt kysymykset

Mikä MCP-palvelin on selkokielellä?

Pieni palvelu, joka tarjoaa jonkin kyvykkyyden (tietokannasta lukemisen, tiketin luonnin, dokumenttien haun) vakiomuodossa, jonka tekoälyavustajat ymmärtävät. Kun sen rakentaa kerran, mikä tahansa MCP-yhteensopiva avustaja voi käyttää sitä ilman erillistä integraatiota.

Kannattaako rakentaa MCP-palvelin vai tavallinen rajapintaintegraatio?

Jos yksi tekoälyavustaja tarvitsee yhtä järjestelmää, suora integraatio on yksinkertaisempi. MCP maksaa itsensä takaisin, kun useampi avustaja tai useampi tiimi tarvitsee samoja järjestelmiä, kun haluatte kyvykkyyden käytettäväksi myös työkaluihin, joita ette ole vielä valinneet, tai kun haluatte yhden paikan, jossa käyttöoikeudet ja audit-lokitus asuvat.

Miten estätte agenttia tekemästä jotain tuhoisaa?

Kerroksittain. Kirjoittavat työkalut erotetaan lukevista, ja kirjoittavat rajataan niin kapeasti kuin tehtävä sallii. Kaikki peruuttamaton kulkee ihmisen hyväksynnän kautta. Jokainen kutsu lokitetaan argumentteineen. Agentti ajaa palveluidentiteetillä, jolla on vain työn vaatimat oikeudet, joten vahingon laajuus rajautuu teidän omaan käyttöoikeusmalliinne eikä kehotteeseen.

Mitä tämän ajaminen maksaa?

Se riippuu lähes kokonaan volyymista ja siitä, kuinka paljon kontekstia jokainen kutsu kantaa. Mallinnamme tämän esiselvityksessä oikeilla luvuilla, koska ero sen välillä, että joka kierroksella lähetetään koko dokumentti, ja sen, että haetaan vain olennainen osa, voi olla kymmenkertainen kuukausikustannuksissa.

Voiko tämä toimia niin, ettei datamme lähde EU:sta?

Kyllä. Suurilta toimittajilta löytyy EU-alueet, ja avoimilla painoilla julkaistut mallit voivat pyöriä teidän hallitsemassanne infrastruktuurissa. Yleensä siihen liittyy kompromissi suorituskyvyssä, ja kerromme täsmällisesti mikä se on sen sijaan, että väittäisimme ettei sitä ole.

Edellinen tekoälypilottimme ei päätynyt tuotantoon. Miksi tämä päätyisi?

Yleensä siksi, että pilotti todisti mallin osaavan tehtävän eikä koskaan koskenut tunnistautumiseen, käyttöoikeuksiin, virheenkäsittelyyn, evaluointiin tai kustannuksiin, ja niissä on jäljellä oleva yhdeksänkymmentä prosenttia työstä. Me lähdemme oletuksesta, että malli toimii, ja käytämme toimeksiannon kaikkeen muuhun.

Näin pääsette alkuun

Kuvatkaa prosessi, jota haluatte muuttaa, ja järjestelmät, joihin se koskee. Kerromme, onko agentti oikea väline, miltä realistinen ensimmäinen versio näyttää ja mitä sen rakentaminen ja ajaminen maksaa.

Ottakaa yhteyttä ja sopikaa tekninen esiselvityskeskustelu.

Aiheeseen liittyvät palvelut

• Henkilöstövuokraus ja ulkoistus: tekoälykehittäjiä osaksi tiimiänne
• EU:n tekoälyasetuksen tekninen toteutus: kun se mitä rakennatte osuu soveltamisalaan
• AWS-kustannusoptimointi: päättely- ja hakukuormilla on tapana yllättää