Vi er stolt sponsor av AI+ konferansen og deltar på årets konferanse som arrangeres i Halden 17.-18.april. AI+ er en årlig internasjonal konferanse med fokus på kunstig intelligens. Målet er å fremme og diskutere de viktige spørsmålene om hvordan vi kan og bør anvende AI. LLMs (large language models) er dagens hot topic på konferansen.

Generative AI og LLMs (large language models) er dagens hot topic med god grunn. LLMs åpner for å jobbe med tekstdata på en helt ny måte. Man har muligheten til å jobbe med ustrukturert data som om det var strukturert. En slik applikasjon er å kunne søke på egne dokumenter og få svar på dine spørsmål på et menneskelig vis. Dette er noe vi hjelper en kunde i finanssektoren med. De har mye viktig dokumentasjon rundt policy og lovgivning som de ofte må referere til.

Vi hjelper dem med å lage en RAG applikasjon. Dette står for Retrieval Augmented Generation og er en metode for å bruke hentet informasjon til å informere svaret man generer med en Gen AI. Her blir LLMs brukt i to led. I det ene leddet blir en LLM brukt for å konvertere tekst (ustrukturert data) til en tallrekke (strukturert data). Når man har data som slike tallrekker, eller vektorer, så kan man veldig enkelt sammenligne dem og søke på dem. Noe som gjør at man rask kan finne relevant informasjon for et gitt spørsmål. Det andre leddet er at man bruker en LLM til å omskrive den innhentede informasjonen for å mer presist svare på det originale spørsmålet. På denne måten kan begrense en LLM, eller chatbot, til kun svare basert på den gitte informasjonen. Dermed kan man fjerne et av de store problemene ved å bruke LLMs, nemlig hallusinering.

I dag finnes det noen former for hyllevare løsninger for slike systemer, men de kommer ofte med noen begrensninger. Office Co-pilot kan sette opp slike systemer for deg hvis man jobber med Sharepoint og Teams, men har begrensninger på filstørrelser og man trenger å sette opp gode tilgangskontroller. Ellers kan det hende at noen får tilgang på data man ikke skal ha tilgang til slik som personaldata. Andre løsninger krever ofte at man laster opp sine data til en tredjepart, noe man ofte skal være forsiktig med av sikkerhetsmessige grunner. En løsning er å sette opp et slikt system selv, men dette krever en del kompetanse. Ikke så mye for å sette opp en løsning, men det som ofte er litt vanskelig er å optimalisere og få konsistens i svaret.

‍