ИИ умнеет, скачёк наверное уже близок

Исследование ученых из Принстонского университета по поводу языковых моделей (LLM), таких как GPT-3 и GPT-4, представляет интересные результаты и вызывает некоторые вопросы. Давайте проанализируем основные аспекты и выводы исследования:

Опровержение термина "стохастический попугай":

Ученые опровергли мнение о том, что большие языковые модели являются просто "стохастическими попугаями". Это мнение подразумевает, что модели просто комбинируют фрагменты текста, не понимая их смысла. Исследование использует теорию случайных графов для демонстрации, что при увеличении параметров модели и объема данных для обучения, она начинает формировать "навыки", включая понимание иронии, метафор, и прочего.
Обобщение и творчество чат-ботов:

Ученые предполагают, что чат-боты, основанные на таких моделях, способны к обобщению и творчеству. Это предположение подкрепляется созданием специального теста "skill-mix", в котором GPT-4 успешно демонстрирует способность генерировать текст, сочетая заданный набор "навыков".
Автоматизированный процесс тестирования:

Интересной является автоматизация процесса тестирования, где GPT-4 оценивает тексты, сгенерированные ей же или другими моделями. Это предполагает отсутствие "памяти" у модели, и, следовательно, невозможность определения, что она сама создала.
Оценка экспертов и Джеффри Хинтон:

Работа убедила многих авторитетных специалистов, включая Джеффри Хинтона, в том, что GPT-4 не является просто "стохастическим попугаем". Это представляет собой важное доказательство того, что эти модели способны к настоящему пониманию создаваемого ими контента.
Вопросы о точности и достоверности:

Вопросы о точности утверждений чат-ботов остаются открытыми. Исследование Ароры признает оригинальность текстов GPT-4, но не дает однозначного ответа на вопрос о достоверности создаваемого контента.
Скорость прогресса и будущее:

Ученые отмечают удивительный прогресс в области языковых моделей и задают вопрос о возможных будущих скачках. Вопросы о том, насколько хорошо эти модели могут справляться с более сложными и абстрактными задачами остаются открытыми.
Исследование предоставляет ценную информацию о возможностях языковых моделей и вызывает обсуждение о том, насколько они способны к настоящему пониманию и творчеству. Однако вопросы о точности, достоверности и общей этике использования таких технологий остаются актуальными.