식약처 의료기기심사부에서 임상통계 심사 업무를 하다
Medical AI 제품을 만드는 회사에 Biostatistician 으로
이직한 지도 2년이 넘어간다.
식약처에서 일할 때 2017년 하반기부터 AI를 사용한 의료기기
(주로 의료영상판독과 관련된 소프트웨어) 임상시험계획서들이
처음 들어오기 시작했고 2018년부터는 그 승인된 임상시험계획서를
기반으로 진행된 임상시험 결과를 가지고 허가를 받은
업체들도 나오고 그랬었다.
Medical AI 소프트웨어의 임상시험계획서 심사를 처음 시작했을 때는
AI 관련 개념과 Training vs Validation set 등 알고리즘을 정해지는
과정에 대한 대략적인 이해를 해보려고도 자료들을 많이 찾아봤다.
계획서 심사 단계에서는 sample size 추정이나 성공기준 입증과
관련해서 MRMC(Multi Reader Multi Case) study design,
JaFROC, LROC 등과 같은 연구 디자인이나 평가 척도 등에
대한 개념을 이해하고 또 계획서 상에 잘 반영이 되었는 지에
대한 평가에 집중을 했었다.
그러다가 2019년부터는 Medical AI 제품을 만드는 회사에서
Biostatistician으로 일하고 있다.
회사엔 제품의 AI 알고리즘을 연구, 개발하는 부서도 있고
제품을 사용자에게 배포, 설치하고 관리를 해주는 부서 등
하는 일과 성격이 다른 여러 부서가 있다.
내가 속한 부서에서는 Software as a Medical Device인
회사 제품이 규제기관(국내 식약처, US FDA)에서 인허가를
받기위한 업무를 하고 있다.
인허가를 받기위한 임상 연구와 AI 알고리즘을 개선,
개발하기 위한 연구는 평가 metric이나 구체적인 목적이
달라서 차이가 있다.
특히 실제 임상에서 여러 명의 판독의가 회사 제품을
참조(with AI)해서 판독을 했을 때와 참조하지 않았을
때(without AI)의 차이에 대한 평가를 하기위한
분석 방법론에 대해서는 이래저래 설명할 일이 자주 있다.
근데 이 통계분석방법론이란게 석사과정에서 접한 방법론들
자체와 완전 동떨어져서 새로운 통계학 이론을 다시 만들고
이런 건 또 아니어서 나름 또 할 만하다.
Medical AI 제품은 규제기관에서 인허가를 받은 선례가 아직
적고 기존의 의료기기나 의약품에 대한 기존 규격이나 기준을
그대로 따르기에는 맞지 않는 부분도 많다.
미국 FDA에서 품목 심사와 관련된 여러 가이던스가 공개되어
있고 국내 식약처에서도 민원인 안내서와 공무원 지침서 등의
형태로 제공되는 문서들이 있어 개별 규제기관의 심사기준이나
문서 제출양식 등을 가늠하는 데 도움이 된다.
그래서 규제기관에서 공개되는 이런 내용들을 숙지하는 것과
회사 제품의 특성과 유효성에 대한 이해를 하는 것이 내가
Biostatistician으로 업무를 할 때 가장 필수적인 내용이다.
그리고 통계비전공자이면서 각자의 전문성이 다른 회사
다른 팀원들이나 규제기관 심사자들에게 하는 업무와
관련된 통계 issue를 명확하게 설명하는 것도 업무를
하다보면 참 필요한 요령이다.
식약처 의료기기심사부에서 임상통계 심사 업무를 하다
Medical AI 제품을 만드는 회사에 Biostatistician 으로
이직한 지도 2년이 넘어간다.
식약처에서 일할 때 2017년 하반기부터 AI를 사용한 의료기기
(주로 의료영상판독과 관련된 소프트웨어) 임상시험계획서들이
처음 들어오기 시작했고 2018년부터는 그 승인된 임상시험계획서를
기반으로 진행된 임상시험 결과를 가지고 허가를 받은
업체들도 나오고 그랬었다.
Medical AI 소프트웨어의 임상시험계획서 심사를 처음 시작했을 때는
AI 관련 개념과 Training vs Validation set 등 알고리즘을 정해지는
과정에 대한 대략적인 이해를 해보려고도 자료들을 많이 찾아봤다.
계획서 심사 단계에서는 sample size 추정이나 성공기준 입증과
관련해서 MRMC(Multi Reader Multi Case) study design,
JaFROC, LROC 등과 같은 연구 디자인이나 평가 척도 등에
대한 개념을 이해하고 또 계획서 상에 잘 반영이 되었는 지에
대한 평가에 집중을 했었다.
그러다가 2019년부터는 Medical AI 제품을 만드는 회사에서
Biostatistician으로 일하고 있다.
회사엔 제품의 AI 알고리즘을 연구, 개발하는 부서도 있고
제품을 사용자에게 배포, 설치하고 관리를 해주는 부서 등
하는 일과 성격이 다른 여러 부서가 있다.
Medical AI 제품은 규제기관에서 인허가를 받은 선례가 아직
적고 기존의 의료기기나 의약품에 대한 기존 규격이나 기준을
그대로 따르기에는 맞지 않는 부분도 많다.
미국 FDA에서 품목 심사와 관련된 여러 가이던스가 공개되어
있고 국내 식약처에서도 민원인 안내서와 공무원 지침서 등의
형태로 제공되는 문서들이 있어 개별 규제기관의 심사기준이나
문서 제출양식 등을 가늠하는 데 도움이 된다.
그래서 규제기관에서 공개되는 이런 내용들을 숙지하는 것과
회사 제품의 특성과 유효성에 대한 이해를 하는 것이 내가
Biostatistician으로 업무를 할 때 가장 필수적인 내용이다.
그리고 통계비전공자이면서 각자의 전문성이 다른 회사
다른 팀원들이나 규제기관 심사자들에게 하는 업무와
관련된 통계 issue를 명확하게 설명하는 것도 업무를
하다보면 참 필요한 요령이다.