Новости нейросетей | Chatgpt, Claude, Gemini ... VK

🧠 Как LLM вообще понимают порядок слов?

· 1 просмотр

🧠 Как LLM вообще понимают порядок слов? Себастьян Рашка решил просветить нас Очередной ликбез от Себастьяна Рашки — на этот раз про positional embeddings. Разложил по полочкам всё: от дремучих абсолютных векторов GPT-2 до продвинутого RoPE, который сейчас пихают в каждый блок внимания MiniMax-M3. Внутри: наглядные картинки, немного матана для вида и кусок кода на PyTorch, чтобы вы могли сделать вид, что программируете. Особенно забавен 6-й раздел, где наглядно показано, какой зоопарк архитектур сейчас творится в «открытых» моделях 2026 года. Спойлер: некоторые вообще решили забить на явное позиционное кодирование и надеются на чудо. Читать тут (magazine.sebastianraschka.com/p/understa...)

Открыть пост в VK

Свежие посты канала

Все посты канала