Ранее я представил своим товарищам четыре статьи @SentientAGI, которые были приняты @NeurIPSConf, и среди них наиболее ценным является OML 1.0, который попал на основной конкурс. OML (Open Model License / Ownership Marking Layer) — это технология, позволяющая «помечать» большие языковые модели «защитными знаками». Она может встраивать тысячи «отпечатков» внутрь модели, не влияя на ее производительность — как будто в модели скрыто множество невидимых водяных знаков, которые служат для подтверждения идентичности и происхождения модели. Ранее методы создания отпечатков моделей имели много ограничений: ❶ максимум можно было встроить десятки отпечатков, больше — и модель «ломалась»; ❷ отпечатки легко обнаружить или удалить; они теряли свою эффективность после дообучения, дистилляции или объединения; ❸ не могли действительно поддерживать отслеживание авторских прав и коммерциализацию открытых моделей. OML встраивает невидимые ключи-ответы в «крайние области» модели, которые не используются часто, позволяя модели вести себя совершенно одинаково при нормальном использовании, но только вводя определенные ключи, можно получить специальные ответы, что позволяет проверить подлинность модели. В реальных тестах Sentient встроил 24,576 независимых ключей-ответов в дообученную версию Llama-3.1-8B, при этом производительность оставалась стабильной, и они продолжали существовать после дообучения, дистилляции или смешивания. OML позволяет моделям иметь «подпись», как у человеческих произведений. Это открывает множество важных возможностей: - Отслеживание модели: знать, откуда пришла модель и кто ее обучал. - Лицензирование и коммерциализация: открытые модели могут легально распространяться и лицензироваться за плату. - Защита от подделок и изменений: предотвращение плагиата и выдачи дообученных моделей за оригинальные. - Достоверный аудит: возможность проверки принадлежности модели к определенному издателю в реальных условиях. Проще говоря, OML — это первый шаг к тому, чтобы модели ИИ имели «механизм защиты авторских прав», и это основа, на которой Sentient может реализовать сообщество-ориентированный открытый AGI.