Программа построена вокруг сквозного кейса. За четыре занятия ты проходишь путь от анализа архитектуры и модели угроз до защищённого прототипа ИИ-агента, его тестирования и требований к безопасной эксплуатации.
// занятие 1
Архитектура ИИ-систем и модель угроз
Где ИИ появляется в корпоративной инфраструктуре, когда его применение оправдано и как внедрение меняет поверхность атаки.
Темы занятия
- сценарии ИИ в AppSec, SecOps и DevSecOps
- выбор между правилами, ML, LLM, RAG и ИИ-агентом
- архитектура LLM-приложений
- RAG, embeddings и векторные базы
- устройство агента: модель, planner, memory, tools
- активы, потоки данных и trust boundaries
- data leakage, prompt injection, identity abuse, excessive agency
- человеческий контроль и безопасный отказ
ПрактикаМоделирование угроз для сквозного кейса. Результат — архитектурная схема, модель угроз и решение о применимости ИИ.
// занятие 2
Безопасность ИИ-агентов и MCP
Как ограничить полномочия агента и безопасно подключить его к данным, инструментам и корпоративным системам.
Темы занятия
- цикл работы ИИ-агента
- MCP: клиенты, серверы, tools, resources, prompts
- machine identity, service accounts, OAuth scopes, RBAC/ABAC
- least privilege, allowlist инструментов и действий
- action validation, policy enforcement, sandbox execution
- approval workflow, журналирование tool calls
- indirect prompt injection, tool poisoning, memory poisoning
- privilege escalation, безопасность сторонних MCP-серверов
ПрактикаРазработать на Python и FastMCP безопасный инструмент с ограничением полномочий и журналированием. Результат — прототип агента с безопасным MCP-инструментом и матрицей действий.
// занятие 3
Secure AI SDLC
Как встроить ИИ и агентные инструменты в разработку, не разрушая существующие процессы AppSec и DevSecOps.
Темы занятия
- AI coding assistants и автономные coding agents
- риски AI-generated кода, утечки кода и секретов
- галлюцинированные пакеты и небезопасные зависимости
- SAST, DAST, SCA, secret scanning, SBOM
- sandboxing shell-команд, repository permissions
- security gates в CI/CD
- функциональные и безопасностные eval-наборы
- poisoning, backdoor, drift и повторный допуск
ПрактикаПодготовить функциональные и безопасностные тесты, определить security gates, оценить готовность к внедрению. Результат — набор тестов, перечень gates и решение о готовности.
// занятие 4
MLSecOps: Runtime Security и AI Governance
Как контролировать ИИ-систему после внедрения и распределить ответственность за её безопасную эксплуатацию.
Темы занятия
- prompt, response и tool-call logging
- трассировка последовательности действий агента
- мониторинг качества и обнаружение аномалий
- AI Gateway, guardrails, DLP, блокировка и rollback
- расследование опасных действий, восстановление
- AI inventory, реестр моделей и MCP-серверов
- классификация данных, правила использования ИИ
- минимальный AI Security Framework
ПрактикаПодготовить требования к мониторингу, журналированию и реагированию. Результат — план мониторинга, incident-response сценарий и базовый AI Security Framework.
