la maggior parte delle persone non si rende conto che la temperatura sta solo regolando la velocità della ventola nel cluster GPU che ti serve.
gojo
gojo15 ago, 23:20
Stavo letteralmente parlando con questo "ricercatore LLM" riguardo alla regolazione della temperatura negli LLM e ho chiesto, sai, perché abbassare o alzare la temperatura porta a risultati più deterministici o casuali, giusto? E lui ha detto sì, cambia il modo in cui i token sono rappresentati. Ragazzo, che cazzo, le persone NEL cazzo di campo non hanno idea delle statistiche di Boltzmann o anche del softmax. Sto per piangere.
259