ChatGPT, нам с тобой не по пути
Василий Крикунов, эксперт по ИИ компании Axenix
Бизнес активно следит за развитием решений на базе генеративного искусственного интеллекта (ГенИИ). После периода экспериментов компании осознали, как могут адаптировать ГенИИ к специфике своих задач с учетом региональных ограничений. Однако есть проблема — использование API от ChatGPT для ряда компаний в России оказалось невозможным в связи с внутренними политиками информационной безопасности.
Русский чат-бот: какой он
На российском рынке наблюдается явная тенденция — компании отдают предпочтение Open Source моделям генеративного ИИ (например, Llama, Gemma, Wizard, Qwen), а также доменным (узкопрофильным) чат-ботам, которые удовлетворяют не только требованиям ИБ, но и осуществляют цифровизацию специфических бизнес-процессов.
Одной из ключевых архитектур для создания доменно-специфического (domain-specific) чат-бота на базе генеративного ИИ является архитектура RAG (Retrieval-Augmented Generation). RAG — метод работы с большими языковыми моделями, когда пользователь пишет свой запрос, к которому на программном уровне «подмешивается» дополнительная информация из каких‑либо внешних источников и подается на вход языковой модели.
Иными словами, RAG автоматически добавляет в контекст запроса к языковой модели информацию, на основе которой пользователю может быть дан более полный и точный ответ.
Как это работает?
Процесс начинается с выбора подходящей базы данных — это может быть векторная (ChromaDB, QDrant), ориентированная на документы (ElasticSearch, OpenSearch), реляционная (PostgreSQL, MySQL, Oracle) или же графовое представление данных (Neo4J, OrientDB). БД станет основой для хранения и поиска информации.
Далее подключается модель ИИ, которая будет использовать базу знаний в качестве источника. Взаимодействие с моделью происходит на естественном языке: пользователь формулирует запрос, а ретривер (инструмент в рамках RAG-архитектуры) выбирает наиболее подходящий фрагмент информации, используя методы оценки семантической близости вопроса и фрагмента.
Если находится релевантный фрагмент, ретривер передает его в контекст модели, и она генерирует ответ. Все устроено так, как если бы кто-то помогал человеку сформулировать максимально корректный ответ с помощью подсказок.
Простые и недорогие в части развертывания и эксплуатации ИИ-модели без подключения к интернету могут не справляться со сложными запросами. Однако архитектура RAG позволяет компенсировать такие ограничения и даже на базе «бюджетных» ИИ-моделей обеспечивать высокое качество ответов.
Этот подход делает кастомизированные чат-боты на генеративном ИИ не только доступными, но и эффективными инструментами для бизнеса в РФ, несмотря на ограничения взаимодействия с ChatGPT и решениями других зарубежных вендоров.
Всем пример
Примером эффективности доменного чат-бота может служить создание «медицинского» ИИ-ассистента.
Процесс начинается с подготовки базы данных по медицинским исследованиям, включающей в себя не только тематическое насыщение БД, но и форматирование, а также структуризацию данных. ИИ-модель устанавливает последовательность обработки запросов: обращение к базе данных, поиск релевантных фрагментов, их отправка на обработку в модель, выгрузка.
Другой пример: создание цифрового ассистента для оптимизации цепочек поставок (supply chain). Используемый фреймворк SCOR обладает древовидной структурой, что делает предпочтительным использование графовой базы данных для хранения информации.
Процесс работы схож: сначала осуществляется поиск той ноды графа, которая хранит наиболее релевантную информацию, после чего информация из этой ноды и всех дочерних извлекается ретривером и отправляется в контекст модели для формирования ответа.
Это общий шаблон для создания доменно-специфичного чат-бота, который может эффективно работать в узкой области знаний. Использование же open-source компонентов для RAG-архитектуры позволяет построить недорогой инструмент для работы со специфической отраслевой информацией.
Через тернии
Реализация платформ для запуска ботов генеративного ИИ в России сегодня сталкивается с рядом сложностей.
Одной из главных задач является проектирование архитектуры, учитывая возможное наличие множества взаимозаменяемых моделей в рамках такой платформы. Кроме того, подготовка данных требует не только их размещения в БД, но и генерации описаний полей в таблицах и других необходимых метаданных — а это кропотливая, нередко почти полностью ручная работа.
Open Source модели генеративного ИИ, у которых до 70 миллиардов параметров, обеспечивают довольно качественное покрытие текущих потребностей. Однако здесь нужно учитывать их стоимость и требования к ИТ-ресурсам по сравнению с использованием API OpenAI.
Тем не менее, при некоторых доработках (fine-tuning, RAG) они отлично справляются с большинством задач текстовой модальности, обеспечивая требуемый уровень информационной безопасности и SLA. Поэтому для отечественной ИИ-отрасли важно скорее не конкурировать с OpenAI, а помогать компаниям интегрировать подобные инструменты в ИТ-ландшафт для быстрого получения бизнес-ценности.
Например, оптимизация работы металлургического предприятия с помощью чат-бота может быть менее интересна крупным игрокам, но она представляет собой уникальный нишевой проект. Он требует специализированного подхода, и тогда на авансцену выходят небольшие, но компетентные в рамках отраслевого направления разработчики и интеграторы.
Сможем?
В России лидеры рынка активно развивают ИИ, и даже если не сотрудничают напрямую, то взаимодействуют и координируют усилия. На уровне инженеров и технических специалистов диалог и взаимодействие происходят на постоянной основе, что позволяет объединять усилия для создания мощных решений.
Кто-то обладает кадрами и технологической базой, кто-то финансовыми ресурсами и GR-поддержкой, кто-то имеет отраслевые компетенции. Объединение усилий может привести к синергетическому эффекту, который может вылиться в успешное решение целого ряда текущих задач.
Тем не менее, важно осознавать, что дефицит кадров, инвестиций в наукоемкие производства и науку в целом, а также деиндустриализация в части разработки собственного «железа» и тотальная зависимость от поставок зарубежных компонентов откинули нас на годы назад.
Наша задача — искать способы скоординированно нагонять это отставание. Вопрос реиндустриализации — крайне острый, комплексный и требует системных решений.
Частные договоренности между компаниями-разработчиками и провайдерами могут стимулировать развитие сегмента ИИ через предоставление льготных тарифов на соответствующий стек — машины в оптимальной конфигурации, софт, биллинг и т.д.
Главное преимущество России — сила горизонтальных связей как между специалистами, так и на уровне компаний.
■ erid:LjN8K9VFzРекламодатель: ООО "Акстим"ИНН/ОГРН: 7705476338/1027705028405Сайт: https://axenix.pro/