27 апреля на сайте LMSYS Chatbot Arena появилась новая модель под названием gpt2-chatbot. Она показала подозрительно хорошие результаты и, судя по реакции тех, кто успел её протестировать, превосходит Gpt-4 и последние версии Opus и Llama 3. 30 апреля модель была удалена с сайта. Неизвестно, откуда она появилась и почему исчезла. Некоторые предполагают, что gpt2-chatbot — это неофициальный релиз Gpt-5 от OpenAI.
Chatbot Arena — это опенсорсный проект, разработанный для того, чтобы способствовать развитию ИИ. На сайте пользователи могут сравнить между собой две выбранные модели и оценить результат непредвзято.
Пользователи заметили, что в списке моделей появилась gpt2-chatbot. Результаты, которые выдавал этот ИИ, вызвали множество дискуссий в социальных сетях. Например, модель может создавать программы для рисования (скрин 1). Пользователь под ником Ippi акцентирует внимание на том, что другие модели, которые он пробовал, с подобной задачей не справились.
Другой пользователь попросил gpt2-chatbot сгенерировать svg с простой картинкой динозавра и сравнил результаты с ответом от GPT-4. GPT-4 с задачей не справился, а «GPT-2» нарисовал вполне себе симпатичную иллюстрацию.Скриншоты из социальной сети X (Twitter)
Некоторые просили модель нарисовать ASCII-рисунки. Результат вы можете сравнить сами — Claude и даже недавно релизнутая Llama-3 значительно уступают загадочной gpt2-chatbot.Скриншоты из социальной сети X (Twitter)
Модель даже способна справляться с математическими задачками. Пользователь Andrew Gao пишет: «gpt2-chatbot только что решил задачу из Международной Математической Олимпиады (IMO) с первой попытки. Задачи на IMO чрезвычайно сложные».
Однако, протестировать модель самостоятельно уже не получится. LMSYS удалили gpt2-chatbot с сайта и оставили на главной странице уведомление с ссылкой на их политику оценки моделей.
Вот что заявил официальный аккаунт LMSYS в X (Twitter) в ответ на вопросы об исчезновении gpt2-chatbot: «Хочу уточнить, что, следуя нашей политике, мы сотрудничаем с некоторыми разработчиками, чтобы они могли проводить предварительные тестирования сообществом на нашей платформе. Такие модели предназначены исключительно для тестирования и не будут включены в лидерборд, пока не станут общедоступными».Скриншот с сайта LMSYS
А это комментарий от профессора в области ИИ из University of Pennsylvania Итана Моллика: «Никто не знает, кто создал модель и что это вообще такое, но я немного поиграл с gpt2-chatbot, и, похоже, этот ИИ примерно на том же уровне, что и GPT-4».
Помимо производительности, подозрения вызывают ответы модели на прямые вопросы о её создателях. Пользователи спросили gpt2-chatbot о том, какая компания её разработала, и получили следующий ответ: «Я был создан OpenAI, исследовательской организацией, которая занимается разработкой и продвижением искусственного интеллекта безопасным и полезным способом. Компания OpenAI разработала несколько версий языковых моделей в рамках серии GPT (Generative Pre-trained Transformer), и я основываюсь на архитектуре GPT-4». После таких ответов, версия о том, что gpt2-chatbot на самом деле может быть новой моделью от OpenAI, кажется более правдоподобной.Изображения взяты из социальной сети X (Twitter)
Каких-либо комментариев по поводу этой модели OpenAI пока не дали. Версию о том, что на самом деле gpt2-chatbot это Gpt-4.5 или Gpt-5, в компании пока не подтвердили, но и не опровергли.
30 апреля в официальном аккаунте в X (Twitter) Сэма Альтмана (CEO OpenAI) появился пост следующего содержания. Это может являться намеком или подсказкой на причастность компании к загадочной gpt2-chatbot, а может быть простым троллингом над теми, кто поднял шум вокруг модели и построил множество теорий.Скриншот из социальной сети X (Twitter)
А как вы думаете, может ли gpt2-chatbot быть ранним или случайным релизом GPT-5? Поделитесь своими мыслями!"
Источник новости: habr.com
