Die meisten Menschen realisieren nicht, dass die Temperatur nur die Lüftergeschwindigkeit des GPU-Clusters anpasst, der Ihnen dient.
gojo
gojo15. Aug., 23:20
Ich habe buchstäblich mit diesem "LLM-Forscher" über die Einstellung der Temperatur in LLMs gesprochen und ich habe gefragt, weißt du, warum das Senken oder Erhöhen der Temperatur zu deterministischeren oder zufälligeren Ausgaben führt, oder? Und er sagte, ja, es ändert die Art und Weise, wie Tokens dargestellt werden. Junge, was zur Hölle, Leute im verdammten Feld haben keine Ahnung von Boltzmann-Statistiken oder sogar Softmax. Ich werde weinen.
262