Открытие генеративного искусственного интеллекта

Эти технологии уже влияют на индустрию программного обеспечения: IDC обнаружила, что 40 процентов ИТ-руководителей считают, что генеративный ИИ «позволит нам создавать гораздо более инновационное программное обеспечение», а по оценкам GBK Collective, 78 процентов компаний планируют использовать ИИ для разработки программного обеспечения в ближайшие три-пять лет. По данным исследования Game Developer Conference, около половины компаний, занимающихся видеоиграми, уже используют генеративный искусственный интеллект в своих рабочих процессах.

Все эти сигналы показывают, что использование генеративного ИИ растет. Однако число разработчиков, обладающих необходимыми навыками для работы над созданием генеративных приложений на базе искусственного интеллекта, ограничено. Для предприятий, которые хотят создавать и использовать свои собственные генеративные сервисы на базе искусственного интеллекта, а не потреблять услуги от поставщика, интеграция будет иметь важное значение для более эффективного использования данных компании.

Руководитель отдела по связям с разработчиками DataStax.

Где пробелы?

Так какие же проблемы существуют в отношении генеративного ИИ? Первый из них касается подготовки данных для генеративных систем искусственного интеллекта. Второй — как интегрировать эти системы вместе и как разрабатывать программное обеспечение на основе возможностей генеративного искусственного интеллекта.

Чтобы решить эту проблему, необходимы такие методы, как Retrival Augmented Generation (RAG). RAG описывает, как компании могут получать свои данные, делать их доступными для запросов, а затем доставлять эту информацию в LLM для включения. Эти данные могут существовать в различных форматах: от баз знаний компаний или каталогов продукции до текста в PDF-файлах или других документах. Данные необходимо собрать и преобразовать в векторы, которые кодифицируют данные в числовые значения, сохраняющие семантическую информацию и связи.

Этот процесс включает в себя процесс, называемый фрагментированием — разделение текста на дискретные единицы, которые затем могут быть представлены векторами. Здесь возможно несколько подходов: от рассмотрения отдельных слов до предложений или абзацев. Чем меньший объем данных вы используете, тем больше емкости и затрат потребуется; и наоборот, чем больше каждый фрагмент, тем менее точные данные вы получите. Фрагментирование данных по-прежнему является новой областью, и здесь все еще разрабатываются лучшие практики, поэтому вам, возможно, придется поэкспериментировать со своим подходом, чтобы получить наилучшие результаты.

После того как ваши данные разбиты на части и преобразованы в векторы, вам необходимо сделать их доступными как часть вашей генеративной системы искусственного интеллекта. Когда поступает пользовательский запрос, он преобразуется в вектор, который затем можно использовать для поиска по вашим данным. Сравнивая поисковый запрос вашего пользователя с векторными данными вашей компании, вы можете найти наилучшие семантические совпадения. Эти совпадения затем можно передать вашему LLM и использовать для предоставления контекста, когда LLM создает ответ пользователю.

Данные RAG имеют два основных преимущества: во-первых, они позволяют вам предоставлять информацию вашей службе LLM для обработки, но без добавления этих данных в LLM, чтобы их можно было использовать в любом другом ответе. Это означает, что вы можете использовать генеративный искусственный интеллект с конфиденциальными данными, поскольку RAG позволяет вам контролировать использование этих данных. Во-вторых, вы также можете предоставлять в своих ответах более чувствительные ко времени данные — вы можете постоянно обновлять данные в своей базе данных векторов, чтобы они были как можно более актуальными, а затем делиться ими с клиентами, когда поступает правильный запрос.

Внедрение RAG является потенциальной проблемой, поскольку оно опирается на множество систем, которые в настоящее время являются очень новыми и быстро развиваются. Число разработчиков, знакомых со всеми задействованными технологиями — фрагментацией данных, векторным встраиванием, LLM и т. д. — все еще относительно невелико, и на эти навыки существует большой спрос. Таким образом, облегчение работы с RAG и генеративным искусственным интеллектом для большего числа разработчиков поможет всем.

Здесь могут возникнуть проблемы для разработчиков. Генеративный ИИ больше всего ассоциируется с Python — языком программного обеспечения, используемым учеными-исследователями данных при построении конвейеров данных. Однако согласно исследованию Stack Overflow на 2023 год Python занимает лишь третье место в списке самых популярных языков. Расширение поддержки других языков, таких как JavaScript (самый популярный язык программирования), позволит большему количеству разработчиков участвовать в создании генеративных приложений искусственного интеллекта или их интеграции. с другими системами.

Абстрагирование ИИ с помощью API

Одним из подходов, который может упростить этот процесс, является поддержка API, с которыми хотят работать разработчики. Рассмотрев наиболее распространенные языки и предоставив для них API, разработчики смогут быстрее и эффективнее освоить генеративный ИИ.

Это также помогает решить еще одну серьезную проблему для разработчиков, связанную с генеративным ИИ: как заставить все составные части эффективно работать вместе. Приложения генеративного искусственного интеллекта будут охватывать широкий спектр вариантов использования: от расширения сегодняшних ботов обслуживания клиентов или функций поиска до более автономных агентов, которые смогут выполнять полные рабочие процессы или запросы клиентов. Каждый из этих шагов будет включать в себя несколько компонентов, работающих вместе для выполнения запроса.

Эта работа по интеграции будет сопряжена со значительными накладными расходами, если мы не сможем абстрагироваться от нее с помощью API. Каждым соединением между компонентами системы необходимо будет управлять, обновлять и изменять по мере необходимости увеличения функциональности или добавления новых элементов в приложение ИИ. Вместо этого, используя стандартизированные API, разработчикам со временем будет легче управлять этой работой. Это также откроет генеративный ИИ для большего числа разработчиков, поскольку они смогут работать с компонентами через API как с сервисами, вместо того, чтобы создавать и запускать свои собственные экземпляры для векторных данных, интеграции данных или их фрагментирования. Разработчики также могут выбрать LLM, с которым они хотят работать, и переключиться, если найдут лучшую альтернативу, вместо того, чтобы быть привязанными к конкретному LLM.

Это также упрощает интеграцию генеративных систем искусственного интеллекта в среды разработки интерфейсов, такие как React и Vercel. Расширение возможностей разработчиков по внедрению генеративного искусственного интеллекта в свои приложения и веб-сайты сочетает в себе дизайн и доставку внешнего интерфейса с внутренней инфраструктурой, поэтому упрощение стека будет иметь важное значение для привлечения большего числа разработчиков. Если компании собираются использовать генеративный искусственный интеллект в своем бизнесе, потребуется упростить работу с полным набором технологий Retrival Augmented Generation (или RAGStack).