3 апреля 2025 года вышло свежее исследование "Systematic Evaluation of Large Vision-Language Models for Surgical Artificial Intelligence".

Его провели эксперты из топовых научных и технологических центров — Стэнфордского университета, Google DeepMind, Университета Гуманитас и Университета Джонса Хопкинса.

Они протестировали, как продвинутые модели ИИ (Large Vision-Language Models, или VLMs) могут помогать хирургам — от распознавания инструментов до оценки навыков. Результаты — просто огонь, и сейчас расскажем, что к чему, простыми словами!

Что хотели узнать?
Команда задалась целью проверить, насколько ИИ может разбираться в операциях — от распознавания инструментов до оценки мастерства хирурга. Это важно, ведь в хирургии данные редки, а каждая операция — это динамика, вариативность и куча нюансов.

Какие модели тестировали?
GPT-4o — универсальный лидер
Gemini 1.5 Pro и Med-Gemini — мощные игроки от Google
SurgVLP — спец по хирургии
CLIP и OpenCLIP — мастера контрастов
Qwen2-VL, PaliGemma, LLaVA-NeXT, InternVL 2.0, Phi-3.5 Vision — открытые автогенеративные модели

Что получилось? 8 ключевых достижений:

ИИ — мастер наблюдения: Модель GPT-4o на тесте Cholec80 распознала инструменты на 48% лучше конкурентов (F1=0.46), хотя до идеала (0.62) ещё далеко.

Учится на лету: Добавили примеры во время теста — и точность ИИ выросла в 3 раза. Адаптивность — его козырь!

Специалист рулит: SurgVLP, созданная специально для хирургии, обогнала всех в оценке безопасности (на 200% лучше GPT-4o) и распознавании сложных этапов.

Анатомия и инструменты — легко: ИИ уверенно определяет, что где лежит в операционной — от крючков до органов.

Проблемы с видео: Задачи вроде "когда началась ошибка" или жесты в видео пока даются тяжело (F1<0.1 для жестов).

Обходит классику: Вне привычных условий VLMs порой превосходят старые модели, обученные специально под задачу.

Помощник для новичков: ИИ может указать на ошибки или дать совет по улучшению навыков — например, как лучше держать лапароскоп.

Будущее операций: От автоматических отчётов до подсказок в реальном времени — ИИ готов упростить жизнь хирургам.

Почему это важно?
Ежегодно в мире проводится более 300 миллионов операций, и их исход зависит от мастерства и решений врача. Исследование показало: ИИ уже сейчас может снизить ошибки и повысить безопасность, хотя до совершенства ещё работать и работать.

Представьте: скоро ваш хирург сможет опираться на умного ИИ-ассистента, который видит всё, что происходит на столе!

#AiWiz #AI #ИскусственныйИнтеллект #Медицина #Хирургия #Технологии