RAG-ontwikkelingsabonnement

RAG (Retrieval-Augmented Generation) is tegenwoordig het meest voorkomende LLM-patroon in de productie. De pitch is eenvoudig: sluit je documenten in, haal de relevante op voor elke zoekopdracht, stop ze in de prompt en genereer ze. De realiteit is complexer: de meeste RAG-systemen halen middelmatige resultaten op, en de LLM-antwoorden speels op basis van wat er ook maar opdook, waarbij ze hallucineerden waar het ophalen miste.

Chunking is de meest overgeslagen optimalisatie. Naïeve brokken van 1000 tekens splitsen zinnen en concepten. Beter: verdeel de semantische grenzen (paragrafen, koppen, codeblokken) en overlappen de delen met 100-200 tekens om de context te behouden. Nog beter: sla het deel plus de metagegevens van het bovenliggende document op, zodat de LLM een pad naar de bron heeft.

Hybride zoeken verslaat puur semantisch zoeken. Vectorovereenkomst is geweldig voor "documenten over X vinden", maar slecht voor "documenten vinden die de exacte zin Y bevatten". BM25 (zoeken op trefwoord) is het omgekeerde. Het combineren ervan – RRF (reciprocal rank fusion) of gewogen score – levert een dramatisch betere ophaalmogelijkheid op dan elk afzonderlijk.

Herrangschikking is de RAG-verbetering met de hoogste impact. Nadat het aanvankelijk ophalen 50 kandidaten heeft geretourneerd, scoort een cross-encoder-reranker (Cohere Rerank, Voyage Rerank of open-source) de top 50 op basis van de zoekopdracht en retourneert de top 5. De reranker heeft volledige aandacht voor zowel documenten als zoekopdrachten, in tegenstelling tot het inbedden van gelijkenis die beide in vectoren comprimeert. Resultaat: top-5 kwaliteit maakt een flinke sprong.

AsyncForge heeft senior engineers die productie-RAG-systemen verzenden. Dien documentladers, chunkingstrategieën, ophaalpijplijnen, rerankers, evaluaties of volledige RAG-builds in. Licht 4 dagen, Standaard 48 uur, Pro 1 dag.