Новости нейросетей | Chatgpt, Claude, Gemini и тд MAX

🧠 Как LLM вообще понимают порядок слов?

· 2 просмотра

🧠 Как LLM вообще понимают порядок слов? Себастьян Рашка решил просветить нас Очередной ликбез от Себастьяна Рашки — на этот раз про positional embeddings. Разложил по полочкам всё: от дремучих абсолютных векторов GPT-2 до продвинутого RoPE, который сейчас пихают в каждый блок внимания MiniMax-M3. Внутри: наглядные картинки, немного матана для вида и кусок кода на PyTorch, чтобы вы могли сделать вид, что программируете. Особенно забавен 6-й раздел, где наглядно показано, какой зоопарк архитектур сейчас творится в «открытых» моделях 2026 года. Спойлер: некоторые вообще решили забить на явное позиционное кодирование и надеются на чудо. Читать тут

Открыть пост в MAX

Свежие посты канала

Все посты канала