«Научную» нейросеть Galactica пользователи быстро научили плохому — она должна была генерировать тексты и помогать в написании статей
В минувший вторник Meta* AI и Papers with Code запустили демо-версию новой языковой модели Galactica на базе нейросети. Эта система предназначалась для «хранения, объединения и анализа научных знаний». Однако через несколько дней систему закрыли, поскольку пользователи начали генерировать с её помощью совершенную чепуху.
Разработчики планировали, что нейросеть поможет писать научные статьи, конспекты и так далее. Технические «Галактика» представляет собой подобие GPT-3 от OpenAI. Сервис включает 120 миллиардов параметров, его можно запустить на одном графическом процессоре NVIDIA A100.
Утверждалось, что Galactica обучается на высококачественном наборе научных данных NatureBook, чтобы работать с терминологией, формулами и исходными кодами.
Однако пользователи, по данным СМИ, начали генерировать контент с расистским и оскорбительным содержанием, а также создавать наукоподобные статьи с потенциально опасными последствиями. Например, один из пользователей …