CLIP 埋め込み自体を使用するよりも、視覚言語モデルから得られた要約である画像の非常に独断的な要約を埋め込んだ場合、画像検索のパフォーマンスがどれほど優れているかに改めてショックを受けています。要約が埋め込まれ、下流の検索に使用されることをLLMに伝えると。あるシステムは、CLIP を使用して 5 時の 28% の再現率から、LLM サマリーを使用して 5 時の 75% の再現率にしました。そして、要約プロンプトを改善するのに約40分しかかかりませんでした。