de fleste skjønner ikke at temp bare justerer viftehastigheten på GPU-klyngen som betjener deg
gojo
gojo15. aug., 23:20
Jeg snakket bokstavelig talt med denne "LLM-forskeren" om å stille inn temperatur i LLM-er, og jeg spurte at du vet hvorfor senking eller heving av temperaturen resulterer i mer deterministiske eller tilfeldige utganger, ikke sant? Og han sa ja, det endrer måten tokens representeres på. gutt wtf, folk i det jævla feltet har ingen anelse om botzmann-statistikk eller til og med softmax. Jeg kommer til å gråte.
264