Na biologia, as leis de escala funcionam... ...até não funcionarem. Para a previsão de fitness, o desempenho do modelo de linguagem de proteínas aumenta com o tamanho do modelo até atingir um platô e depois degrada. À medida que a perda de treino (NLL) diminui, os modelos começam a prever maiores probabilidades de sequência e correlacionam-se menos com o fitness subjacente. Exemplo 10.001 de porque a IA para a biologia requer uma consideração cuidadosa das distribuições subjacentes, objetivos de treino e dezenas de outros detalhes. A interseção é rica, mas requer um trabalho cuidadoso em ambas as disciplinas.

Ótimo trabalho de detetive do Shen Lab na Columbia: