Jeg er nok en gang sjokkert over hvor mye bedre bildegjenfinningsytelse du kan få hvis du legger inn svært meningsfulle sammendrag av et bilde, et sammendrag som kom ut av en visuell språkmodell, enn å bruke CLIP-innbygginger selv. Hvis du forteller LLM at sammendraget skal bygges inn og brukes til å søke nedstrøms. Jeg fikk ett system til å gå fra 28 % tilbakekalling ved 5 ved bruk av CLIP til 75 % tilbakekalling ved 5 ved hjelp av et LLM-sammendrag. Og det tok meg bare omtrent 40 minutter å forbedre oppsummeringsspørsmålet.