OpenAI ChatGPT o1 иногда «думает» на китайском из-за особенностей обучения и оптимизации модели, вызвав вопросы у пользователей
Модель o1 от OpenAI, в теории, обещает улучшенное качество ответов за счёт более сложного процесса «мышления».
Однако пользователи заметили странное поведение модели: во время рассуждений, алгоритм иногда переключается на китайский язык, даже если запросы были полностью на английском или других языках.
Реакция пользователей
- Rishab Jain, пользователь X.com, написал: «Почему o1 pro случайно начал думать на китайском? Вся беседа была на английском. Очень интересно… влияние обучающих данных?»
- Nero, ещё один пользователь X.com, 5 января отметил: «Почему мой gpt o1 думает на китайском, лол?»
Оба сообщения получили широкое внимание, однако официального ответа от OpenAI на момент публикации не последовало.
Возможные объяснения
Эксперты по искусственному интеллекту выдвинули несколько гипотез:
- Влияние обучающих данных: Алгоритм мог быть обучен на массивных наборах данных на китайском языке, что позволяет ему иногда обращаться к этой информации для оптимизации внутреннего процесса рассуждений.
- Эффективность токенизации: ИИ-инженер Рохан Пол отметил: «Некоторые языки могут предлагать более эффективную токенизацию или упрощённые пути для решения конкретных задач. Это может быть причиной, по которой o1 переходит на китайский для оптимизации вычислений».
- Абстрактные концепции в общей латентной среде: Эксперт Радж Мехта пояснил: «Большие языковые модели, такие как o1, оперируют абстрактными концепциями, не привязанными к конкретным языкам. Алгоритм может «рассуждать» на языке, который лучше всего подходит для решения конкретной задачи».
Проблема чёрного ящика
По словам исследователя Лука Солдейни из Allen Institute for AI, природа работы алгоритмов OpenAI остаётся непрозрачной.
Это ограничивает возможности объяснения поведения моделей. «Такого рода наблюдения невозможно доказать из-за непрозрачности этих систем. Это подчёркивает важность прозрачности в разработке ИИ», — заявил Солдейни.
Иронично, кстати, что компания с названием OpenAI, заявляющая о своей миссии открытого технологического развития, сталкивается с критикой за закрытость своих алгоритмов.