Деплой LLM on-prem: Это наша корова и мы ее доим!
Деплой LLM on-prem: Это наша корова и мы ее доим! Кто виноват? Что делать?(с) Заметили, что в наше веселое турбулентное время рождения многополярного мира все больше запросов на он-прем деплоймент ЛЛМ - а так как подводных камней там много, а опыта мало - то попробуем разобраться с вопросом. — Как дела с проектом? — Мы на финальной стадии! — Супер, сдаете? — Нет, ищем виноватого! Итак - вот пришли к вам с типичными требованиями - хотим все в закрытом периметре. Чтобы Железный Болван болтал с клиентами на их языке, не выходил за периметр корпоративной сети, отвечал только по проверенным бумагам и, едва запахнет сомнением, — тут же переключал на живого оператора. А заодно — связывал воедино все отделы, рисовал отчёты для начальства, конверсию поднял нам до небес, рулил всеми бизнес-процессами, проходил проверки регуляторов и ещё, пожалуйста, уложился бы в фиксированный бюджет с гарантией на несколько лет. И да, демонстрацию можно посмотреть послезавтра? ...