Использование GitHub Models для разработки приложений на основе искусственного интеллекта в вашей организации

GitHub Models позволяет разработчикам создавать приложения с поддержкой искусственного интеллекта в масштабе, пока ваше предприятие поддерживает контроль, соответствие требованиям и эффективность затрат.

Почему GitHub Models?

• Централизованное управление моделями: управление моделями ИИ и поставщиками, доступными разработчикам в вашей организации.
• Разработка ИИ на скорости: быстрое прототип, оценка и оптимизация запросов и моделей.
• Доступ к API: используйте REST API GitHub Models для автоматизации и интеграции с корпоративными рабочими процессами.
• Интеграция пользовательских моделей. Приведите собственные ключи API LLM для подключения внешних или пользовательских моделей, что дает вашей организации большую гибкость и контроль над тем, какие модели доступны в GitHub Models, а также в соответствии с существующими методами оплаты, кредитами и поставщиками.
• Управление и контроль соответствия требованиям. Применение стандартов организации и мониторинг использования моделей.
• Оптимизация затрат. Избегайте непредвиденных затрат из высокоценных моделей.
• Совместная работа: предоставление общего доступа к запросам и результатам с помощью стандартных методов разработки GitHub .
• Архитектура, ориентированная на безопасность: убедитесь, что данные остаются в пределах GitHub и Azure и не совместно используются поставщиками моделей.
• Визуальный интерфейс: разрешить участникам команды, не являющихся техническими, участвовать вместе с разработчиками.
• Управление версиями: все изменения запроса и модели проходят через стандартный GitHub фиксацию и поток запроса на вытягивание, чтобы узнать, когда и почему запрос изменился.

См . раздел AUTOTITLE.

Рекомендации по использованию GitHub Models в масштабе

Сравнение и оценка моделей ИИ для управления и соответствия требованиям

Просмотрите и сравните доступные модели искусственного интеллекта с учетом требований к управлению, безопасности данных и соответствию требованиям вашей компании. Это можно сделать в любом репозитории GitHub или в каталоге GitHub Models из каталога GitHub Marketplace по адресу https://github.com/marketplace?type=models. Ваши рекомендации могут включать:

• Управление и безопасность. Проверьте соответствие каждой модели стандартам и нормативным требованиям, таким как GDPR, SOC 2 и ISO 27001, и убедитесь, что данные не сохраняются за пределами вашей организации, если явно не зарегистрировано согласие.
• Производительность модели. Выполнение тестовых вычислений на внутренних наборах данных для оценки причин, хранения контекста и галлюцинации.
• Управление API и видимость. Требуют детального контроля над квотами использования, проверкой запросов и ограничениями скорости на уровне команды или организации.
• Оптимизация затрат: включите цены на токены, скорость вывода и доступность вариантов модели для многоуровневого использования. Например, можно использовать более дешевые модели для создания тестового варианта по сравнению с расширенными моделями для обсуждения архитектуры.

Когда вы решите, какие модели вы хотите использовать, вы можете ограничить доступ в организации только этими моделями, см . autoTITLE.

Оптимизация и предоставление общего доступа к запросам между командами

Разработчики могут использовать редактор запросов в GitHub Models для создания и уточнения запросов. Teams может экспериментировать с различными вариантами запросов и моделями в стабильной нерабокой среде, которая интегрируется с рабочими процессами разработки GitHub . Визуальный интерфейс позволяет не техническим заинтересованным лицам участвовать вместе с разработчиками. См. раздел "Использование редактора запросов".

Упрощенное средство оценки позволяет команде сравнивать результаты между общими метриками, такими как задержка, релевантность и заземленность, или создавать пользовательские вычислители. Сравните производительность запросов и моделей для конкретных вариантов использования искусственного интеллекта, таких как создание кода, тестов, документации или предложения по просмотру кода.

По мере создания эффективных запросов команда может сохранить их в виде файлов YAML и поделиться ими для проверки с помощью запросов на вытягивание GitHub . Зафиксированные запросы доступны другим командам и рабочим процессам и могут быть согласованы со стандартами вашей компании. Этот централизованный и совместный подход к управлению запросами ускоряет разработку и помогает применять рекомендации по всей организации.

Оценка и оптимизация затрат на использование модели

При внедрении приложения с использованием искусственного интеллекта и улучшения моделей ИИ используйте GitHub Models для оценки затрат и производительности различных моделей и обновлений моделей. Выберите наиболее экономичные варианты потребностей вашей организации и управление затратами в качестве масштабирования использования в нескольких командах.

Использование REST API или расширений REST API GitHub Models для программного управления

Для более эффективного управления ресурсами во всех командах можно использовать REST API GitHub Models для:

• Управление и обновление параметров организации: программное обновление разрешений на доступ к модели и параметров управления в нескольких командах одновременно, чтобы обеспечить согласованность и соответствие требованиям.
• Вывод списка и получения запросов: перечисление, извлечение и аудит запросов, используемых различными командами, для мониторинга использования, совместного использования запросов и поддержания центрального репозитория рекомендаций.
• Выполнение запросов вывода модели: выполнение запросов вывода для определенных моделей и параметров, таких как штраф частоты, максимальный маркер, формат ответа и штраф на наличие.

Вы также можете использовать эти расширения для выполнения запросов вывода и управления запросами:

• Расширение GitHub Models для GitHub CLI
• Расширение GitHub Models для Чат GitHub Copilot
• GitHub Models Расширение VS Code

Мониторинг, итерацию и интеграцию

С помощью встроенных функций управления можно отслеживать использование моделей и обеспечивать постоянное соответствие политикам компании. Журналы аудита обеспечивают видимость доступа к или изменению моделей и запросов. Интеграция репозитория GitHub Models позволяет всем заинтересованным лицам постоянно выполнять итерацию в приложениях, использующих ИИ.

Пример. Использование GitHub Models с GitHub Actions для суммирование проблем

Крупные проекты разработки программного обеспечения часто содержат вопросы, полные технических сведений. С помощью GitHub Models и GitHub Actionsможно развернуть сводки проблем с искусственным интеллектом.

Предварительные требования. Включите GitHub Models в организации и задайте модели и издатели, которые вы хотите сделать доступными для отдельных репозиториев.

1. Создание запроса в репозитории

   На вкладке "Модели" репозитория создайте запрос с помощью редактора запросов.

   Пример системного запроса:

   Вы являетесь сводкой проблем с GitHub. Подчеркнуть ключевые технические моменты или важные вопросы.

   Пример запроса пользователя:

   Сводные сведения об этой проблеме : {input}}

2. Выполнение и итерацию в запросе

   Запустите запрос. Укажите пример содержимого проблемы в области "Переменные" в качестве значения {{input}}.

   Попробуйте использовать разные модели (например, OpenAI GPT-4o) и сравнить результаты. Настройте такие параметры, как максимальные маркеры и температура. Выполните итерацию до тех пор, пока вы не удовлетворены результатами.

3. При необходимости выполните более обширные тесты

   Представление "Сравнение" позволяет одновременно запускать несколько запросов к разным моделям и видеть, как результаты сравниваются в представлении сетки. Вы также можете определить и использовать вычислители, чтобы убедиться, что результаты содержат определенные ключевые слова или соответствуют другим стандартам.

4. Фиксация запроса

   Присвойте запросу имя и зафиксируйте изменения для прохождения потока запроса на вытягивание. Например, если вы назовете запрос summarize, вы получите summarize.prompt.yaml файл на корневом уровне репозитория, который выглядит примерно так:

   messages:
     - role: system
       content: >-
         You are a summarizer of GitHub issues. Emphasize key technical points or
         important questions.
     - role: user
       content: 'Summarize this issue, please - {{input}}'
   model: gpt-4o
   modelParameters:
     max_tokens: 4096
   

   После проверки и объединения запроса на вытягивание запрос будет доступен для всех пользователей, которые будут использоваться в репозитории.

5. Вызов запроса в рабочем процессе

   Сведения о создании рабочих процессов см. в разделе Написание рабочих процессов.

   Необходимо задать models: read разрешение, чтобы разрешить вызов запроса в рабочем процессе.

   Ниже приведен пример рабочего процесса, который добавляет сводку, созданную СИ, в качестве комментария к любой недавно созданной проблеме:

   YAML

   name: Summarize New Issue
   
   on:
     issues:
       types: [opened]
   
   permissions:
     issues: write
     contents: read
     models: read
   
   jobs:
     summarize_issue:
       runs-on: ubuntu-latest
       steps:
         - name: Checkout repository
           uses: actions/checkout@v4
   
         - name: Install gh-models extension
           run: gh extension install https://github.com/github/gh-models
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Create issue body file
           run: |
             cat > issue_body.txt << 'EOT'
             ${{ github.event.issue.body }}
             EOT
   
         - name: Summarize new issue
           run: |
             cat issue_body.txt | gh models run --file summarize.prompt.yml > summary.txt
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Update issue with summary
           run: |
             SUMMARY=$(cat summary.txt)
             gh issue comment ${{ github.event.issue.number }} --body "### Issue Summary
             ${SUMMARY}"
           env:
             GH_TOKEN: ${{ github.token }}
   

6. Мониторинг и итерацию

   Вы можете отслеживать производительность действия и выполнять итерацию по запросу и выбору модели с помощью редактора запроса GitHub Models. Вы также можете использовать расширение CLI для локального тестирования или использовать GitHub Models [REST API , чтобы программно обновить параметры запроса и модели.

   Вы также можете рассмотреть возможность сохранения ответа модели в виде файла в репозитории, чтобы можно было просматривать и итерировать производительность модели с течением времени. Это позволяет постоянно улучшать качество сводок и обеспечивать их соответствие потребностям вашей команды.