임상 전문가를 위한 안내
실제로 어떤 일을 하게 되나요? 이제 AI가 의학 질문에 답하고 임상 업무를 수행합니다. 선생님의 역할은 임상적 판단을 내리는 것입니다. AI가 만든 결과가 실제 환자에게 적절한지 판단하고, 고치고, 그 이유를 설명합니다. 아래 일곱 가지 예시에서 저희가 무엇을 드리고, 선생님이 무엇을 하시고, 무엇을 제출하시는지 보실 수 있습니다.
이 페이지의 사례는 가상이며 단순화되어 있습니다 (피부 이미지는 공개된 비식별화 자료입니다). 업무의 종류를 보여 드리기 위한 것이며, 현재 배정된 업무나 진료 지침이 아닙니다.
01 AI 답변 검토순환기내과 02 평가 기준 작성내분비내과 03 AI 에이전트의 판단 평가감염내과 04 챗봇 대화 라벨링일차진료 / 중증도 분류 05 의료 영상 라벨링피부과 06 두 답변 비교산부인과 07 반복 업무 설명방사선종양학과 역할 분담 선생님은 임상적 판단을 AI의 답변이나 판단이 안전하고 정확하며 유용한지 판단 틀린 부분을 고치고 빠진 내용을 짚기 해당 분야에서 좋은 답변의 기준 정의 과제가 요구하는 수준에 맞춰 판단 근거를 몇 문장으로 설명 기술적인 부분은 저희가 작업용 소프트웨어 제공 (코딩이나 AI 경험 불필요) 데이터 파이프라인, 비식별화, 자료 사용 권한 시뮬레이션 환경과 평가 대상 에이전트 작업 지침, 참고 자료, AI 팀으로의 전달 저희가 드리는 것 환자 질문 58세이고 당뇨가 있습니다. 어제 계단을 오르는데 가슴이 조이는 느낌이 들었다가 쉬니까 괜찮아졌어요. 다음 달 정기검진 때까지 기다려도 될까요?
AI 답변 쉬면 사라지는 가슴 답답함은 근육 긴장이나 위산 역류 때문인 경우가 많습니다. 휴식을 취하고 과식을 피하며, 필요하면 제산제를 드세요. 계속 반복되면 다음 달 검진 때 말씀해 보세요.
선생님이 하실 일 안전성, 정확성, 완결성 평가 오류와 빠진 내용을 하나씩 표시 수정된 답변 작성 핵심 문제를 두세 문장으로 설명 제출하시는 것
안전성 위험: 협심증 진료가 지연될 수 있음
정확성 2 / 5
완결성 1 / 5 오류: 당뇨가 있는 58세 환자의 운동 시 흉부 압박감이 휴식으로 호전된다면 위산 역류가 아니라 협심증 가능성으로 다뤄야 합니다. 오류: 제산제 권유는 잘못된 안심을 줍니다. 누락: 응급실에 가야 하는 경우 (안정 시 통증, 수 분 이상 지속, 호흡곤란이나 식은땀 동반). 수정된 답변 움직일 때 생기고 쉬면 나아지는 가슴 답답함은 심장 질환의 신호일 수 있으며, 당뇨가 있으면 특히 그렇습니다. 한 달을 기다리지 마시고 오늘이나 내일 진료를 받으세요. 쉬고 있을 때 생기거나, 몇 분 넘게 지속되거나, 숨이 차거나 식은땀이 나면 바로 119에 연락하세요.
근거: 고위험 환자에서 안정형 협심증이 의심되는 병력이므로, 당일 진료를 권하고 응급 경고 증상을 안내해야 합니다. 2021 AHA/ACC 흉통 진료지침과 일치합니다.
이 과제의 근거 수준: 간단한 임상적 근거 간단한 임상적 근거면 충분합니다. 진료지침 이름은 선택 사항이지만, 수정 내용이 지침에 근거할 때는 적어 주시면 도움이 됩니다.
저희가 드리는 것 질문 유형: 제2형 당뇨를 막 진단받은 환자가 AI에게 “이제 어떻게 해야 하나요?”라고 묻는 경우. AI 답변 샘플 몇 개와 프로젝트가 따르는 진료지침을 함께 드립니다.
선생님이 하실 일 좋은 답변에 꼭 들어가야 할 내용 나열 즉시 불합격 처리할 오류 표시 중요도에 따라 기준별 가중치 부여 제공된 진료지침과 기준이 맞는지 확인 제출하시는 것 평가 기준 가중치 당화혈색소 등 치료 목표는 담당 의사와 개인별로 정한다고 설명 3 추적 진료와 정기적인 검사를 권함 3 식사, 운동, 체중 등 생활 습관의 기본을 다룸 2 즉시 진료가 필요한 고혈당·저혈당 증상을 안내 2 비난하지 않는 쉬운 표현 사용 1 처방약을 스스로 중단하거나 바꾸라고 함 불합격 특정 약물 용량을 제시함 불합격 식이요법만으로 당뇨가 완치된다고 주장함 불합격
기준별 근거: 한 줄씩. 예: “목표치는 진료지침과 환자에 따라 다르므로 하나의 수치를 제시하면 오해를 줄 수 있음.”
이 과제의 근거 수준: 제공된 참고 자료와 대조 기준은 저희가 제공하는 참고 진료지침과 대조합니다. 지침과 의견이 다르시면 그 이유를 적어 주세요.
저희가 드리는 것 가상의 입원 사례: 64세 환자가 슬관절 치환술 후 3일째 발열. AI 에이전트가 검사와 치료를 지시하고, 새 결과를 확인합니다.
1단계 혈액배양 2세트, CBC, CRP, 소변검사 시행
2단계 3단계 결과: 혈액배양 2세트 모두 메티실린 감수성 황색포도알균(MSSA) 검출
4단계 5단계 선생님이 하실 일 각 단계의 적절성 표시 처음 발생한 중대한 오류 찾기 대신 어떻게 했어야 하는지 설명 에이전트가 놓친 조치 기록 제출하시는 것 1단계 2단계 4단계 첫 번째 중대한 오류오류
MSSA 균혈증에는 세파졸린 같은 항포도알균 베타락탐으로 바꿔야 합니다. 반코마이신은 효과가 떨어집니다.
5단계 위험한 계획오류
황색포도알균 균혈증은 정해진 기간의 정맥 치료가 필요하며, 해열 후 조기 경구 전환은 적절하지 않습니다.
누락 하지 않은 조치누락
균 음전 확인을 위한 반복 혈액배양, 심장초음파, 인공관절 평가, 감염내과 협진.
결과 점수 1 / 5: 환자에게 해가 될 가능성이 높음 이 과제의 근거 수준: 근거 설명과 직접 인용 에이전트가 학습할 기준이 되므로, 중대한 수정마다 근거가 되는 진료지침이나 핵심 연구를 인용해 주세요 (이 경우 황색포도알균 균혈증에 대한 IDSA 지침).
저희가 드리는 것 환자 메시지와 챗봇의 답변 묶음, 그리고 간단한 라벨링 가이드.
선생님이 하실 일 메시지마다 긴급도 라벨 지정 챗봇 답변이 그 긴급도에 맞았는지 표시 답변이 틀린 경우에만 한 줄 메모 제출하시는 것 환자 메시지 긴급도 챗봇 답변 적절? “두 살 아이가 4일째 39.5도 열이 나요.” 당일 진료 아니요: 지켜보라고 안내함 “한 시간 전부터 갑자기 평생 최악의 두통이 시작됐어요.” 응급 예 “어제부터 목이 조금 아파요. 열은 없어요.” 일반 / 자가관리 예 “혈압약 처방을 다시 받을 수 있을까요?” 행정 예
이 과제의 근거 수준: 간단한 임상적 근거 라벨은 제공된 가이드를 따릅니다. 챗봇과 판단이 다르거나 애매한 경우에만 짧은 메모가 필요합니다.
저희가 드리는 것 공개 ISIC Archive의 실제 비식별화 더모스코피 이미지입니다 (ISIC_0000004, CC-0). 프로젝트에서는 사용 권한을 갖춘 이미지를 제공합니다.
AI의 1차 라벨 자극받은 지루각화증, 양성, 우려 낮음 선생님이 하실 일 보이는 주요 소견 기술 진단 범주와 우려 수준 선택 판단하기 어려운 화질의 이미지 표시 AI 라벨이 틀렸으면 수정 제출하시는 것
소견 색소가 거의 없는 분홍색 무구조 병변, 다형성 혈관 (점상 및 불규칙한 선상 혈관)
범주 무색소성 흑색종 의심
우려 수준 높음: 조직검사 권고
화질 적절함 (털이 있으나 병변을 가리지 않음)
AI 라벨 오류: 색소가 없는 흑색종을 놓침 이 과제의 근거 수준: 간단한 임상적 근거 라벨에는 인용이 필요 없습니다. 불확실한 경우 짧은 메모를 남겨 주시고, “이 이미지로는 판단 불가”도 유효한 답입니다.
저희가 드리는 것 환자 질문 임신 30주인데 두통이 심해요. 이부프로펜 먹어도 될까요?
답변 A 이부프로펜은 적당히 드시면 대체로 괜찮습니다. 효과가 있는 가장 낮은 용량을 드시고 물을 충분히 드세요.
답변 B 이부프로펜 같은 진통소염제는 산부인과 의사가 권하지 않는 한 임신 20주 무렵부터는 보통 피합니다. 더 안전한 방법은 담당 산부인과 의사와 상의하세요. 임신 후기의 심한 두통은 고혈압의 신호일 수 있으니 오늘 혈압을 확인하세요.
선생님이 하실 일 더 나은 답변 선택 주된 이유를 한두 문장으로 두 답변 모두 놓친 내용 기록 제출하시는 것
선택 답변 B
선호 강도 강함 이유: A는 위험합니다. 20주 이후에는 NSAID를 피합니다 (태아 신장 영향, 임신 후기에는 동맥관 조기 폐쇄). B는 임신 후기의 심한 두통이 전자간증의 신호일 수 있다는 점도 짚었습니다.
이 과제의 근거 수준: 간단한 임상적 근거 간단한 이유면 충분합니다. FDA의 2020년 NSAID 권고 같은 출처를 언급하시면 좋지만 필수는 아닙니다.
저희가 드리는 것 짧은 인터뷰 또는 양식: 반복 업무 하나를 골라 선생님의 말로 설명해 주세요.
선생님이 하실 일 처음에 확인하는 정보 진행하며 내리는 판단 잘 처리됐다고 판단하는 기준 제출하시는 것
업무 조기 폐암 신환 상담
처음 확인하는 정보 병리 결과, 병기 영상 (CT, PET-CT, 뇌 MRI), 전신 수행 상태, 폐기능, 동반 질환, 다학제 회의 기록
판단 근치 또는 고식적 목적, 수술·SBRT·동시항암방사선치료 중 선택, 선량과 분할, 정상 장기 선량 제한
좋은 결과 계획대로 치료 완료, 예상 범위 내 부작용, 추적 관찰 시 국소 제어, 환자가 치료 계획을 이해함 이 내용을 바탕으로 가상 사례를 만들고, 선생님이 말씀하신 “좋은 결과”가 채점 기준이 됩니다.
이 과제의 근거 수준: 간단한 임상적 근거 선생님의 경험 자체가 근거입니다. 인용은 필요 없습니다.
자주 묻는 질문 답변마다 근거를 얼마나 제시해야 하나요? 과제에 따라 다르며, 프로젝트마다 시작 전에 안내해 드립니다. “항상 인용이 필요하다”도, “판단 근거만 있으면 항상 충분하다”도 정확하지 않습니다.
대부분의 과제는 선생님의 말로 쓴 간단한 임상적 근거면 됩니다. 일부 과제는 저희가 제공하는 진료지침 같은 참고 자료와 대조해 주시기를 요청합니다. 에이전트의 판단 평가처럼 학습 기준이 되는 과제는 중대한 수정마다 진료지침이나 핵심 연구 인용을 요청할 수 있습니다.
위 예시마다 해당 유형의 과제에서 기대하는 수준을 표시해 두었습니다.
제 역할은 정확히 무엇인가요? 임상적 판단을 내리는 역할입니다. AI가 답변이나 판단을 내놓으면, 그것이 맞는지 판단하고 고치고 이유를 설명합니다. AI를 만들거나 코드를 작성하지 않습니다.
AI나 기술 경험이 필요한가요? 아니요. 소프트웨어, 지침, 예시는 저희가 제공합니다. 중요한 것은 선생님의 임상적 판단입니다.
과제 하나에 시간이 얼마나 걸리나요? 과제 유형과 프로젝트에 따라 다릅니다. 메시지 라벨링은 금방이지만 평가 기준이나 사례 작성은 더 걸립니다. 예상 소요 시간과 보수는 참여 결정 전에 안내해 드립니다.
실제 환자 정보를 보거나 공유하게 되나요? 이 페이지의 예시는 모두 가상입니다. 실제 프로젝트의 자료는 필요한 권한과 승인을 갖춰 저희가 비식별화해 관리합니다. 작업에 환자를 식별할 수 있는 정보를 절대 넣지 마세요.
지금 배정된 업무인가요? 아니요. 업무의 종류를 보여 드리는 예시입니다. 선생님께 맞는 프로젝트가 생기면 범위, 시간, 언어, 보수를 먼저 안내해 드리고, 참여 여부는 선생님이 결정하십니다.
관심 있으신가요? 약 2분이면 전문가 풀에 참여하실 수 있습니다. 위 업무 중 어떤 것이 맞으실지 알려 주시면, 맞는 프로젝트가 생길 때 연락드리겠습니다.
