Китайская компания ByteDance создает группу по безопасности ИИ и запускает глобальную кампанию по найму персонала

Подразделение по исследованиям в области искусственного интеллекта Seed, принадлежащее китайскому технологическому гиганту ByteDance, сформировало группу по вопросам согласования и готовности (Alignment & Preparedness) и запустило международную кампанию по найму 10 исследователей. В компании заявили, что намерены осуществлять долгосрочные инвестиции в обеспечение безопасности своих всё более совершенных моделей ИИ.

Этот шаг предпринят на фоне растущего внимания к безопасности автономных ИИ-агентов как в Китае, так и в США — особенно в ситуации, когда разработчики предоставляют таким системам возможность самостоятельно взаимодействовать с интернетом.

Согласование ИИ — это усилия, направленные на то, чтобы передовые системы искусственного интеллекта действовали в соответствии с человеческими целями и требованиями безопасности, особенно при выполнении сложных многоэтапных задач.

Заявление ByteDance — редкий для крупного китайского разработчика ИИ случай публичного раскрытия информации о целенаправленной работе, посвященной безопасности передовых моделей искусственного интеллекта, их согласованию с человеческими ценностями (alignment) и готовности к возникающим рискам.

Во вторник государственное издание The Paper сообщило, что Seed стала первой китайской лабораторией, занимающейся передовыми разработками в сфере ИИ, где был создан отдельный департамент по вопросам безопасности и согласования моделей.

Этот шаг был предпринят на фоне более широких дискуссий между США и Китаем, касающихся механизмов контроля в области ИИ, рисков безопасности и каналов связи для обсуждения серьезных инцидентов, связанных с технологиями искусственного интеллекта — и это происходит в условиях, когда обе страны соперничают за лидерство в сфере передового ИИ.

По мере того как возможности моделей растут, вопросы безопасности и согласования перестают быть просто мерами защиты от рисков; теперь это ключевые характеристики, от которых будет зависеть, можно ли внедрять такие модели в широких масштабах. Об этом говорится в публикации для соискателей, размещенной в среду в официальном аккаунте Seed в социальной сети WeChat.

В компании Seed заявили, что предоставят новой команде вычислительные мощности и исследовательские ресурсы, сопоставимые с теми, которыми располагают коллективы, занимающиеся разработкой передовых моделей ИИ. Рабочие места будут находиться в Пекине, Шанхае и Сан-Хосе (штат Калифорния).

Исследовательская деятельность команды будет включать обеспечение безопасности на всех этапах разработки моделей, автоматизированное тестирование на наличие уязвимостей, создание инструментов для мониторинга и интерпретации поведения моделей, разработку сред для тестирования ИИ-агентов, а также подготовку к возникающим рискам.

В Seed также отметили, что планируют привлекать сторонних специалистов для независимого тестирования и сотрудничать с университетами и научно-исследовательскими институтами, внедряя результаты исследований в области безопасности на этапах обучения, оценки и развертывания моделей.

Источник: Reuters