Mathematical Models of the Real World

Прочитал книгу Стивена Вольфрама Stephen Wolfram "Как устроен ChatGPT", некоторые мои выводы:
1. То что большая языковая модель, представляющая собой большую нейросеть, обученную на огромном наборе данных для продолжения предъявляемых ей фраз, выдает вполне осмысленный текст, а не синтаксически правильную белиберду (типа: "Дверь готовит честные кирпичи для покраски космической нравственности") является достаточно неожиданным открытием и почему это работает не в полной мере понятно. Оказалось, что генерировать связный логичный текст не такая и сложная задача, достаточно лишь иметь нейросеть с порядка 100 миллиардами весов.
2. Большая языковая модель делает много ошибок свойственных и человеку, в частности, у нее большие проблемы с численными вычислениями с большими числами. В этом плане может быть полезно объединение языковых моделей с системами компьютерной математики, в частности, в книге рассматривается ChatGPT + Wolfram Language.

👍7

www.tgoop.com/MathModels/1204

227 viewsedited  Apr 12 at 08:43

Прочитал книгу Стивена Вольфрама Stephen Wolfram "Как устроен ChatGPT", некоторые мои выводы:
1. То что большая языковая модель, представляющая собой большую нейросеть, обученную на огромном наборе данных для продолжения предъявляемых ей фраз, выдает вполне осмысленный текст, а не синтаксически правильную белиберду (типа: "Дверь готовит честные кирпичи для покраски космической нравственности") является достаточно неожиданным открытием и почему это работает не в полной мере понятно. Оказалось, что генерировать связный логичный текст не такая и сложная задача, достаточно лишь иметь нейросеть с порядка 100 миллиардами весов.
2. Большая языковая модель делает много ошибок свойственных и человеку, в частности, у нее большие проблемы с численными вычислениями с большими числами. В этом плане может быть полезно объединение языковых моделей с системами компьютерной математики, в частности, в книге рассматривается ChatGPT + Wolfram Language.

BY Mathematical Models of the Real World