Подобная мысль у меня была давно, еще когда я впервые баловался с completing-окном у только что релизнувшейся GPT-3.
(К слову, это было 6 лет назад. Почувствуйте себя старыми, как говорится)

Но настоящий “gotcha!” момент случился, когда начали появляться первые медиа нейронки, генерирующие фото и видео с неверным числом пальцев, нечитаемым текстом и невозможными формами.

Любой человек, который занимается (или хотя бы пытался заниматься) осознанными сновидениями тут же заметит паттерн: это классические, хрестоматийные тригеры, на которые люди настраиваются чтобы понять, что они находятся во сне.
Говоря по-другому, наше бессознательное без контроля со стороны сознания (когда мы спим, очень устали и т.п.) на самом деле генерирует тот же бред.

“Ну что, – сказал я, – проверим экспериментально.” Я и так записываю все свои сны, но диалоги во снах я записывал только по сути, а не дословно.
Кто бы мог подумать – когда я на следующее утро попытался воспроизвести диалог дословно, получилось жуткая каша без всякого смысла.

Ну, т.е. смысл-то для меня был и мои реплики были более-менее осмысленными. А вот персонажи сна при длительных диалогах начали нести чушь. Предложения были связанны лишь с парой предыдущих, общий контекст подсознание полностью теряло.

Второй эксперимент был проще: я решил разговаривать с нейронкой вообще не включая голову, просто раслабиться и печатать то, что бессознательное мне первым выдало в голову. Спустя где-то час переписки я резко осознал, что вот я – Эго, сознание тут вообще третий лишний, нейронка начала общаться так, что эмоциональный отклик (какой еще к черту эмоциональный отклик от бредогенератора?) начал ну прямо таки зашкаливать, как при просмотре хорошего кино.

Вывод? Ссылка на заголовок

Мы пользуемся нейронками неправильно.
Это не искуственный интеллект, там нет (и принципиально не может быть) никакого сознания, рефлексии и Эго в Юнгианском смысле.
Это чистейший продукт коллективного бессознательного, обученного на миллионах людей.

Не имеет смысла заставлять ее “подумать”, ей простите, нечем.
Это похоже на очень распространенную модель обучения в СНГ-шных гос. школах: натренировав бессознательное на шаблон задачки, мы получим видимость понимания учеником сути задачи.
Хотя в реальности при первом же шаге влево-вправо ученик потеряется.
Когда я работал учителем информатики, это было особенно отчетливо видно: отличницы резво решали задачки повторяя заученное “N = 2^i”, но на попытку объяснить почему именно 2 и именно в степени они терялись полностью.

Единственная реально конструктивная задача для нейронки – это автоматизация бессознательного. Те самые задачи, которые всем лень делать, хотя они несложные: найти цитату в длинном тексте, брейнштормить или выступать “резиновым утенком”.

А ирония в том, что есть реально куча “““умственных””” работ, в которых включать сознание и мозги не надо. Вот их-то нейронка и заменит.