Новости нейросетей | Chatgpt, Claude, Gemini и тд MAX
🧠 Как LLM вообще понимают порядок слов?
🧠 Как LLM вообще понимают порядок слов? Себастьян Рашка решил просветить нас
Очередной ликбез от Себастьяна Рашки — на этот раз про positional embeddings. Разложил по полочкам всё: от дремучих абсолютных векторов GPT-2 до продвинутого RoPE, который сейчас пихают в каждый блок внимания MiniMax-M3.
Внутри: наглядные картинки, немного матана для вида и кусок кода на PyTorch, чтобы вы могли сделать вид, что программируете. Особенно забавен 6-й раздел, где наглядно показано, какой зоопарк архитектур сейчас творится в «открытых» моделях 2026 года. Спойлер: некоторые вообще решили забить на явное позиционное кодирование и надеются на чудо.
Читать тут