Добро пожаловать в мой блог 👋

Статья в процессе написания.

Как работают трансформеры: понятное объяснение Так, вернёмся же опять к трансформерам и попробуем как-то разобраться как они работают - как обычно, минимум заумных формул и сгенерированного ИИ текста. Автор не претендует на статус истины в последней инстанции и вполне может где-то и приврать 1. Зайдем с чего то попроще А давайте освежим в памяти как работали рекуррентные сети - то есть «возвращающиеся к себе», как тут не вспомнить Гегеля и его Абсолютный Дух что проходит путь отчуждения от себя и возвращения к себе же — таки гегелевская рекуррентность в чистом виде. ...

«Учиться, учиться и учиться!» (с) В.И. Ленин Зачем это все? Итак — задача: реализовать ИИ-ассистента, использующего SLM (Small Language Model) для извлечения персонализированной информации о пользователе. Почему SLM? Ну, приватность — данные не уходят никому, экономия опять же. Детали нам не нужны тут — важно понять, возможно ли это вообще с приемлемым качеством, какие тернии нас ждут, кто виноват и что делать? Поехали! SLM Глянем, что есть на Hugging Face — остановимся на свеженькой Qwen3.5-0.8B — вроде близко к тому, что нам нужно, 0.8B параметров, вполне. Теперь наша задача — выяснить, насколько модель умна для наших задач — а тут не всё просто. Наша цель в идеале что-то вроде Google Memory Bank. Кстати, Google выложил своё видение Context Engineering: Sessions and Memory и это очень интересно — особенно раздел Memory Generation: Extraction and Consolidation. Вкратце перечислим основные тезисы: ...

Агенты, кругом одни агенты… Наши иконы самые красивые (с) Предисловие: зачем вообще? Как вы знаете - в ИТ нет понятия “ничего не делал”. У нас это называется - “ресерчил”. Это тот момент, когда, едва проснувшись перед дейли, вы конвульсивно пытаетесь придумать за несколько секунд, как обосновать вчерашнее безделие. Но даже исследования ваши могут подразумевать наличие каких-то артефактов, которые возможно предъявить, уверяя, что вы работали над этим день и ночь. Не говоря уже о вполне прагматичных задачах - исследование каких-то новых тем, терминов, дабы произвести впечатление и поднять авторитет (и протянуть еще на контракте в наши скорбные времена). ...

О Дивный Новый Мир На написание данной статьи и некоторых философских рассуждений автора натолкнул свежий опыт взаимодействия с коллегами, а также набитые шишки в части создания и организации работы ИИ-агентов - чем автор и спешит поделиться с благодарным читателем. Что касается вообще мотива экспериментов автора в этом поле - кроме очевидной необходимости удержаться ещё какое-то время на плаву, также присущая автору эргофобия. Но сперва немного философских наблюдений. Трепещи, кожаный Вы заметили, как для некоторых работников клавиатуры слова “ИИ”, или не дай Бог “сгенерированный” стали аналогом ругательства? Что интересно, генерация кода в старые времена до появления ИИ (те же стабы gRPC) их ранее не смущала, а сейчас это прям маргинез - куда же этому сгенерированному (будь это код, документация да хоть что) до их гениальной утончённой работы. И вот уже, расправив крылья праведного негодования, коршуном пикируют они на малейший огрех Железного Болвана (к себе те же критерии оценки собственных продуктов жизнедеятельности, естественно, они не применяют). ...