Как сократить разбор сотен задач с недели до двух дней с помощью ИИ: гайд по кейсу Росгосстраха

Что понадобится

• Доступ к большой языковой модели (LLM — модель, обученная предсказывать следующий токен; например, через API или веб-интерфейс).
• Таблица с задачами: минимум колонки «ID», «Название», «Описание», «Критерии оценки» (например, влияние на комплаенс, сложность, срочность).
• Скрипт на Python для пакетной обработки (устанавливается через pip install openai pandas).
• API-ключ от выбранного провайдера LLM. Храните его в переменной окружения, не в коде.
• Примеры задач с уже выставленными оценками (хотя бы 10–20 штук) для проверки качества.

Шаг 1. Соберите задачи в единую таблицу

Выгрузите все задачи из трекера (Jira, YouTrack и т.п.) в CSV. Убедитесь, что у каждой задачи есть текстовое описание и хотя бы один числовой критерий. В кейсе РГС на первом цикле было около 500 задач. Сохраните файл как tasks.csv.

Пример структуры:

id,title,description,compliance_score
1,Обновить политику паролей,Требуется смена паролей каждые 90 дней,3
2,Добавить логирование доступа,Логировать все входы в систему,5

Шаг 2. Настройте доступ к LLM

Установите библиотеку и задайте ключ. Ключ берите в личном кабинете провайдера (например, OpenAI, YandexGPT, GigaChat). В примере используется OpenAI-совместимый API.

pip install openai pandas

import os
os.environ["OPENAI_API_KEY"] = "ВАШ_КЛЮЧ"  # замените на реальный ключ

Шаг 3. Напишите промпт для оценки задач

Промпт (запрос к модели) должен содержать критерии и формат ответа. Чем чётче критерии, тем стабильнее результат. В кейсе РГС оценивали по нескольким критериям, включая ИТ-комплаенс.

PROMPT_TEMPLATE = """
Ты — эксперт по ИТ-комплаенсу. Оцени задачу по шкале от 1 до 5, где 5 — максимальное влияние на соблюдение законодательства.
Ответь только числом.

Задача: {title}
Описание: {description}
"""

Шаг 4. Запустите пакетную обработку

Прочитайте CSV, примените промпт к каждой задаче и сохраните оценки в новый файл. Используйте цикл с задержкой, чтобы не превысить лимиты API.

import pandas as pd
from openai import OpenAI
import time

client = OpenAI()
df = pd.read_csv("tasks.csv")

scores = []
for _, row in df.iterrows():
    prompt = PROMPT_TEMPLATE.format(title=row["title"], description=row["description"])
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}],
        temperature=0
    )
    score = response.choices[0].message.content.strip()
    scores.append(score)
    time.sleep(0.5)  # пауза между запросами

df["ai_score"] = scores
df.to_csv("tasks_scored.csv", index=False)

Шаг 5. Проверьте качество на контрольной выборке

Возьмите 10–20 задач, для которых у вас уже есть экспертная оценка. Сравните с ответами модели. Если расхождение больше 1 балла в 30% случаев, пересмотрите промпт: добавьте примеры (few-shot) или уточните критерии.

# Пример проверки: считаем среднюю абсолютную ошибку
control = df[df["expert_score"].notna()]
mae = (control["ai_score"].astype(float) - control["expert_score"]).abs().mean()
print(f"Средняя ошибка: {mae:.2f}")

Шаг 6. Отсортируйте задачи по оценке

Отсортируйте итоговую таблицу по убыванию AI-оценки. Задачи с высоким баллом требуют внимания в первую очередь. В кейсе РГС это позволило сократить время разбора с пяти рабочих дней до двух.

df_sorted = df.sort_values("ai_score", ascending=False)
df_sorted.to_csv("tasks_priority.csv", index=False)

Шаг 7. Внедрите в процесс

Покажите результаты команде. Объясните, что модель — вспомогательный инструмент, финальное решение принимает эксперт. Начните с пилота на одном направлении, как в РГС (два «поезда»). После успешного цикла расширяйте на другие команды.

Типичные ошибки и как их узнать

• Модель выдаёт нечисловые ответы. Решение: добавьте в промпт инструкцию «Ответь только числом от 1 до 5» и проверяйте регулярным выражением.
• Оценки сильно расходятся с экспертными. Причина: размытые критерии. Уточните формулировки, добавьте примеры правильных ответов в промпт.
• Превышение лимитов API. Симптом: ошибки 429. Увеличьте паузу между запросами или используйте пакетный режим, если провайдер поддерживает.
• Утечка ключа. Никогда не коммитьте ключ в репозиторий. Используйте переменные окружения или секреты CI.
• Слишком много задач для одного запроса. Разбейте на батчи по 50–100 штук.

Итог

Подход не требует навыков программирования сверх базового Python и бюджета на разработку. Главное — качественный промпт и проверка на контрольной выборке. В кейсе РГС время разбора сократилось с недели до двух дней, но точные цифры экономии не раскрываются.