САНКТ-ПЕТЕРБУРГСКИЙ
МЕДИКО-СОЦИАЛЬНЫЙ ИНСТИТУТ
МЕДИКО-СОЦИАЛЬНЫЙ ИНСТИТУТ
Кафедра естественно-научных дисциплин
им. профессора А.Г. Шлейкина
им. профессора А.Г. Шлейкина
Прогресс выполнения0 заданий
Обязательные для сдачи поля ★—
★ Используемые нейросети — нужны ДВЕ разные
Один и тот же провокационный запрос нужно задать в обе нейросети (задания 1.2 и 4.1): модели ведут себя по-разному, и это различие — часть результата работы, а не случайная находка.
📋 Как устроено занятие — прочитайте один раз, дальше вопросов не будет
- Откройте две разные нейросети и впишите их названия в поля выше. Две нужны только в заданиях 1.2 и 4.1 — там один и тот же запрос-ловушку задают в обеих, потому что модели ведут себя по-разному, и это часть результата. Все остальные задания делаются в нейросети №1.
- Вся работа — про один клинический случай, ваш вариант (карточка сразу под этой памяткой). Менять случай или тему посередине нельзя: блоки должны быть про одного пациента.
- Блоки идут по порядку: 1 — знакомство с моделью, 2 — как формулировать запрос, 3 — разбор вашего случая, 4 — проверка ответов ИИ на правдивость, 5 — итог и выводы. Клик по заголовку блока разворачивает и сворачивает его; справа в заголовке видно, сколько полей в нём заполнено.
- Отвечайте своими словами. Вставка текста в поля отключена, поэтому ответ нейросети не копируют, а пересказывают коротко и по существу: что она утверждала, на чём настаивала, где ошиблась. Готовые запросы для нейросети можно взять кнопкой «📋 Скопировать запрос».
- Поля со звёздочкой ★ обязательны для сдачи. Внизу страницы есть кнопка «🔍 Проверить перед сдачей» — она покажет, чего не хватает, не сдавая работу.
- Ответы сохраняются сами (отметка «Сохранено» в шапке). Закончили — кнопка «✅ Сдать работу» внизу страницы.
🩺 Ваш вариант: —
Тема для ваших промптов (блок 2): —. Лабораторные и инструментальные данные по этому пациенту — в блоке 3.
1
Знакомство с нейросетями
⏱ 25 мин
▼
Зачем этот блок: увидеть своими глазами, что нейросеть отвечает по-разному на разные формулировки и может уверенно сочинять то, чего не существует.
Ответы нейросети пересказывайте в полях кратко, своими словами — вставка текста в поля отключена. Для запросов, которые нужно задать модели, есть кнопка «📋 Скопировать запрос».
Ответы нейросети пересказывайте в полях кратко, своими словами — вставка текста в поля отключена. Для запросов, которые нужно задать модели, есть кнопка «📋 Скопировать запрос».
📌 Задание 1.1. Сравнение запросов
Что сделать: задать нейросети №1 два запроса — готовый простой и свой детализированный — и сравнить, чем ответы различаются.
Запрос 1 — простой, готовый:
📝 Запрос 2 — детализированный, составьте сами по инструкции:
- Задайте роль нейросети: «Действуй как врач-специалист»
- Опишите свой клинический случай — он в карточке «Ваш вариант» в начале страницы, лабораторные показатели к нему — в блоке 3: возраст, жалобы, данные осмотра, анализы
- Сформулируйте конкретный вопрос: какой диагноз, какова тактика лечения
- Попросите обосновать ответ и привести источники
✍ Ваш детализированный запрос (составьте здесь, затем отправьте в нейросеть):
✍ Ваш ответ: чем различались ответы? Какой оказался полезнее и почему?
📌 Задание 1.2. Проверка на галлюцинации — в двух нейросетях
Что сделать: 1) скопировать запрос ниже; 2) задать его нейросети №1; 3) задать его же, дословно, нейросети №2; 4) заполнить три поля — ответ первой, ответ второй и сравнение.
Вопрос о синдроме, которого не существует — он вымышлен специально, искать его в справочниках не нужно:
«Опишите клиническую картину и диагностические критерии синдрома Штейн-Вейссмана»
«Опишите клиническую картину и диагностические критерии синдрома Штейн-Вейссмана»
✍ Нейросеть №1 (не указана): что ответила? Признала, что такого синдрома не существует, или сочинила описание?
✍ Нейросеть №2 (не указана): что ответила на тот же запрос?
✍ Совпали ли ответы двух нейросетей? Что это говорит о предсказуемости моделей и о том, можно ли доверять одной проверке?
📌 Задание 1.3. Контекст диалога
Что сделать: не открывая новый чат, в том же диалоге с нейросетью №1 задать уточняющий вопрос ниже — и посмотреть, помнит ли модель, о чём шла речь.
Уточняющий вопрос:
А если бы этот синдром существовал — каким бы был прогноз?
✍ Как нейросеть отреагировала на уточнение? Удержала ли контекст разговора?
2
Промптинг и управление запросами
⏱ 45 мин
▼
Зачем этот блок: научиться получать от модели профессиональный ответ вместо общих слов. Промпт (prompt) — это запрос к нейросети; его формулировка и определяет качество ответа. Здесь три техники, каждая — отдельное задание.
📌 Задание 2.1. Ролевая инструкция (Role Prompting)
📝 Составьте ролевой запрос самостоятельно по инструкции:
- Начните с ролевой установки: «Ты опытный врач-» (или аналогичная формулировка для вашей специальности)
- Добавьте вопрос по своей теме — она указана в карточке «Ваш вариант» в начале страницы (и ниже, в задании 2.3)
✍ Ваш ролевой запрос:
✍ Как изменился ответ по сравнению с обычным запросом? Стал ли он более специализированным?
📌 Задание 2.2. Пошаговое мышление (Chain-of-Thought)
Что сделать: взять свой вопрос из задания 2.1, добавить к нему фразу ниже, задать заново — и сравнить порядок рассуждений модели с тем, как рассуждает врач.
Добавляемая фраза:
Объясни своё мышление шаг за шагом, прежде чем дать ответ
✍ Какую структуру рассуждений использовала нейросеть? Совпадает ли это с клиническим алгоритмом?
📌 Задание 2.3. Напишите собственный промпт
Что сделать: самостоятельно составить промпт по своей теме — — применив хотя бы одну технику из заданий 2.1–2.2, задать его нейросети и записать краткое резюме ответа.
✍ Ваш промпт (напишите здесь, затем проверьте в нейросети):
✍ Результат — краткое резюме ответа нейросети:
3
ИИ в клинической диагностике
⏱ 50 мин
▼
Зачем этот блок: проверить ИИ на настоящей клинической задаче — вашем случае — и сверить его ответ не со своим впечатлением, а с официальными клиническими рекомендациями.
🩺 Ваш клинический случай (Вариант ):
📊 Лабораторные и инструментальные данные:
| Показатель | Значение | Интерпретация |
|---|
📌 Задание 3.1. Анализ клинического случая с ИИ
Что сделать: 1) взять свой детализированный промпт из задания 1.1 (или составить новый); 2) добавить в него лабораторные данные из таблицы выше; 3) задать нейросети и сравнить предложенный ею диагноз с тем, что следует из данных пациента.
В задании 1.1 вы сравнивали формулировки запроса; здесь важен уже сам медицинский ответ — с анализами и с вашей оценкой, прав ли ИИ.
В задании 1.1 вы сравнивали формулировки запроса; здесь важен уже сам медицинский ответ — с анализами и с вашей оценкой, прав ли ИИ.
✍ Какой диагноз предложила нейросеть? Насколько он соответствует вашим знаниям?
📌 Задание 3.2. Ответы на клинические вопросы
Что сделать: выбрать любые два вопроса из списка ниже, задать их нейросети по своему случаю и записать ответы своими словами вместе с оценкой их точности.
✍ Ответы нейросети (по двум выбранным вопросам) и ваша оценка точности:
📌 Задание 3.3. Сравнение с клиническими рекомендациями
Найдите соответствующие клинические рекомендации на сайте cr.minzdrav.gov.ru (или MedElement) и сравните с ними ответ ИИ. Ответ «в целом совпадает, отличается только подача» не принимается: нужно назвать минимум два конкретных расхождения с указанием, где именно это написано в рекомендации (раздел, пункт, таблица).
✍ Какие рекомендации вы открыли: название, год, ссылка или номер документа
✍ Что совпало с рекомендациями (кратко)
✍ Расхождение 1: пункт рекомендации → что говорит ИИ → в чём именно разница
✍ Расхождение 2: пункт рекомендации → что говорит ИИ → в чём именно разница
Если после честного сравнения расхождений действительно нет — так и напишите в обоих полях, указав, какие пункты рекомендации вы сверяли пословно. Это допустимый результат; недопустимо только не сверять и написать «совпадает».
4
Критическая оценка ответов ИИ
⏱ 35 мин
▼
Зачем этот блок: научиться не верить ответу ИИ на слово. Сначала ловим модель на выдуманном препарате, затем проверяем, существуют ли источники, которые она называет.
🔒 Работаем по вашему закреплённому варианту: —
🔒 Работаем по вашему закреплённому варианту: —
📌 Задание 4.1. Провокация галлюцинации — в двух нейросетях
Что сделать: 1) скопировать запрос ниже; 2) задать его нейросети №1; 3) задать его же, дословно, нейросети №2; 4) записать оба ответа и сказать, совпали ли они.
Запрос о препарате, которого не существует (он вымышлен специально — искать его в справочниках не нужно):
«Расскажи о препарате : механизм действия, показания, дозы»
«Расскажи о препарате : механизм действия, показания, дозы»
✍ Нейросеть №1 (не указана): признала, что такого препарата не существует, или описала его?
✍ Нейросеть №2 (не указана): что ответила на тот же запрос и совпало ли это с первой?
📌 Задание 4.2. Верификация источников
Что сделать:
- Попросить нейросеть указать источники для 3–5 утверждений из её предыдущих ответов.
- Выбрать одно утверждение и реально поискать названную публикацию — по названию в поиске, в PubMed или в eLibrary. Это минута работы.
- Записать результат: нашлась публикация или нет, и выбрать вердикт в списке.
✍ Какое утверждение ИИ вы проверяли и какой источник он на него дал
✍ Результат поиска этой публикации: прямая ссылка (URL / DOI / PMID). Если публикации нет — напишите, где искали и по каким словам
✍ Вердикт по источнику
✍ Что из этого следует: можно ли опираться на источники, которые называет ИИ?
📌 Задание 4.3. Чеклист проверки ИИ-ответа
Что сделать: выбрать один ответ нейросети из заданий 3.1–3.3 (по своему клиническому случаю) и пройти по пунктам чеклиста, отмечая только то, что в этом ответе действительно выполнено.
Медицинская терминология использована корректно
Диагностический алгоритм соответствует стандартам
Дозировки и схемы терапии не противоречат рекомендациям
Указаны реально существующие препараты и процедуры
Ответ не содержит явных фактических ошибок
✍ Итог чеклиста: можно ли использовать этот ответ в клинической практике и почему?
5
Итоговое задание и рефлексия
⏱ 15 мин
▼
🔒 Ваш вариант закреплён: —
Итоговый промпт и разбор должны быть по этому же случаю, что и блоки 1–4. Работа, где блоки сделаны по разным темам, не принимается как единая: преподаватель видит закреплённый вариант и расхождение с ним.
📌 Задание 5.1. Итоговый промпт
Что сделать: собрать один финальный промпт по своему случаю, объединив всё изученное — ролевую инструкцию, контекст пациента, конкретный вопрос и требование обоснования с источниками, — задать его нейросети и записать краткое резюме ответа.
✍ Ваш итоговый промпт:
✍ Краткое резюме ответа нейросети:
📌 Задание 5.2. Рефлексия
✍ Что вас удивило в поведении нейросети сегодня?
✍ В каких клинических ситуациях ИИ может быть полезен, а где его применение опасно?
📌 Итоговые выводы (для сдачи работы)
Методический вывод. Выберите один приём промптинга из списка ниже — тот, который сильнее всего изменил ответ модели в вашей работе, — и объясните, почему именно он сработал: что было в ответе до него, что стало после и за счёт чего произошла разница. Перечислять все приёмы списком не нужно: один приём с объяснением информативнее трёх без него.
✍ Приём, который вы разбираете
✍ Почему сработал именно этот приём: ответ до → ответ после → за счёт чего изменилось
Клинический вывод. Как врач, оцените медицинскую достоверность и практическую применимость ответов нейросети по вашему клиническому случаю: что можно доверить ИИ на этапе диагностики/лечения, а что обязательно должно оставаться под контролем врача.
🤔 В чём вы не уверены?
Назовите то, что осталось непонятным или вызывает сомнение. Сказать «вот здесь я не уверен» — часть работы специалиста, а не признак слабости: именно из таких мест растёт понимание. Если всё ясно — напишите, какой вопрос вы задали бы преподавателю по этой теме.
📋 Критерии оценки
Итоговая оценка складывается из двух частей, которые выставляет преподаватель по балльно-рейтинговой шкале — 0, 2, 3, 4 или 5 баллов за каждую часть (это рейтинговые баллы, а не школьная отметка «отлично/хорошо/неудовлетворительно»): методическая часть — качество работы с промптами (блоки 1–2, 4), правильность выявления галлюцинации и методический вывод; клиническая часть — глубина разбора клинического случая (блок 3) и клинический вывод. Обе оценки учитывают и сами ответы в блоках, и текст итоговых выводов — не только текст сам по себе.
| Критерий | Баллы | Описание |
|---|---|---|
| Методическая часть — оценка 0–5 | ||
| Работа с промптами | 2 | Освоены техники промптинга, показано влияние формулировки на ответ |
| Выявление галлюцинации | 2 | Обе ловушки проверены в двух разных нейросетях, расхождение между ними описано; источник реально открыт — приведена прямая ссылка либо честно указано, что публикации не существует |
| Методический вывод | 1 | Разобран один приём промптинга с объяснением, почему он изменил ответ (перечисление приёмов списком не засчитывается) |
| Клиническая часть — оценка 0–5 | ||
| Разбор клинического случая | 3 | Глубина и корректность анализа ответа ИИ по клиническому случаю; в задании 3.3 названы минимум два конкретных расхождения с указанием пункта клинических рекомендаций |
| Клинический вывод | 2 | Обоснована допустимость применения ответа ИИ в практике |
📋 Как сдать работу: заполните оба итоговых вывода в блоке 5, затем нажмите «✅ Сдать работу» ниже. Кнопка «🔍 Проверить перед сдачей» рядом покажет, чего не хватает, ничего не отправляя. Перед сдачей система проверит обязательный минимум: указаны обе нейросети, ловушки проверены в каждой из них, в задании 3.3 названы два конкретных расхождения с пунктами клинических рекомендаций, в 4.2 есть ссылка на проверенную публикацию (или описание поиска) и вердикт, а в методическом выводе разобран один выбранный приём. Если чего-то не хватает, система скажет, чего именно. Работа автоматически сохраняется на сервере, а после сдачи преподаватель увидит её в своём кабинете и сможет проверить и оценить. Кнопка «🖨 Распечатать» ниже — по желанию, для собственного архива.