Um caso de uso realmente bom para modelos locais seria um modelo treinado pesadamente em RL para ser bom em uma coisa: descobrir o contexto adequado (arquivos, snippets) necessário para resolver uma determinada tarefa. (Muita E/S local, leituras paralelas de arquivos, etc.) Em seguida, use o modelo remoto para planejar + código.
4,11K