Tag skridtet videre fra grundlæggende AI-brug til avanceret systemudvikling med LLM’er. På dette kursus lærer du at bygge robuste, dokumentbaserede AI-løsninger med retrieval-augmented generation (RAG), designe komplekse workflows med LangChain, integrere eksterne værktøjer og evaluere kvaliteten af AI-output – med fuld kontrol over kontekst og adfærd.

Beskrivelse

Dette kursus er for dig, der allerede arbejder med LLM’er og Python og nu vil udvikle mere komplekse, stabile og målrettede AI-løsninger. Fokus er på at udnytte egne data, optimere integration og sikre kvalitet og governance i AI-udvikling.

Vi starter med avanceret prompt engineering, hvor du lærer at bruge dynamiske og kontekstuelle prompts, role prompting, memory-styring og token-budgettering til at få modellerne til at levere præcist, relevant og konsistent output.

Derefter arbejder vi med retrieval-augmented generation (RAG), hvor AI’en kombinerer søgning i dine egne dokumenter med tekstgenerering. Du lærer at strukturere og indeksere dokumenter, bruge embeddings og similarity search, samt integrere med værktøjer som FAISS, Chroma og LlamaIndex.

Vi bygger herefter komplekse AI-pipelines med LangChain, der kan integrere eksterne værktøjer, databaser, API’er og webadgang, og som understøtter multi-step workflows, streaming og kontrol af samtaleforløb.

En vigtig del af kurset er evaluering og kvalitetssikring af LLM-output – herunder metoder til human og automatisk evaluering, måling af faithfulness og groundedness, samt logging og A/B-test.

Til sidst ser vi på robusthed, drift og governance, hvor du lærer at håndtere privacy, fallback-strategier, brugerfeedback, compliance og audit-forberedelse.

Efter kurset kan du:

• Udvikle og optimere RAG-pipelines
• Strukturere egne dokumenter til LLM-integration
• Integrere LLM’er med eksterne værktøjer og plugins
• Evaluere kvaliteten af AI-output med forskellige metoder
• Designe avancerede workflows med fuld kontekst- og adfærdskontrol

Forudsætninger

Inden man deltager på dette kursus, bør man have viden svarende til kurset NS0650 Generativ AI og LLM med Python – Grundlæggende anvendelser

Modul 1  Avanceret prompt engineering

•  
• Avanceret prompt engineering gør det muligt at få LLM’er til at opføre sig præcist og huske kontekst
• Dynamiske og kontekstuelle prompts
• Role prompting og memory-styring
• Token budgeting og truncation

Modul 2   RAG – Retrieval-Augmented Generation

•  
• RAG betyder, at modellen først søger i dine egne dokumenter og derefter bruger svaret til at generere output
• Embeddings og similarity search
• Dokument chunking og metadata tagging
• Integration med FAISS, Chroma og LlamaIndex

Modul 3  LangChain og pipelines

•  
• LangChain er et værktøj til at bygge komplekse AI-flows, hvor flere handlinger kobles sammen
• Brugerdefinerede chains og agents
• Tool integration: databaser, web, API-kald
• Streaming, multi-turn og workflow control

Modul 4  Kvalitet og evaluering

•  
• Man skal kunne vurdere om en LLM’s svar er gode, relevante og troværdige
• Eval metoder: human vs. LLM eval
• Faithfulness, groundedness og hallucination
• Logging, metrics og A/B-testning

Modul 5  Robusthed, drift og governance

•  
• Drift og governance handler om at sikre, at AI-løsninger er stabile, etiske og lovlige i brug
• Privacy, logging, fallback-strategier
• Bruger-feedback og prompt-baseret justering
• Forberedelse på audit og compliance