Diagnostic accuracy and classification performance

진단 정확도/성능 관련 척도 

• Accuracy

  • Sensitivity 민감도 = # True Positives/(#True Positives + #False Negatives)

  • Specificity 특이도 = # True Negatives/(#True Negatives + #False Positives)

    • Diagnostic test vs dichotomized gold standard 비교 가능

  • LR (Likelihood Ratios)

  • AUC (Area Under the ROC Curve )

Factors affecting on sample size for diagnostic accuracy

진단 정확도 표본수 산출에 영향을 미치는 요소들 

• predetermined value from previous studies

  • 이전 연구에서 미리 정한 값들(성공기준 등)

• confidence level(1-alpha) for statistical judgement

  • 통계적 판정과 관련된 신뢰도(1-alpha)

• precision of estimates of sensitivity or specificity 

  • 민감도나 특이도의 추정치

Sample size for studies with binary test outcome

1. For adequate sensitivity/specificity 

• 통계 가설 검정을 위한 표본수 계산식이 아님(* 검정력 고려하지 않음)

• true value P(민감도 or 특이도)를 maximum marginal error d, (1-alpha)% (e.g, alpha = 5%, 1 - alpha = 95%) 신뢰구간의 추정에 필요한 n수를 계산하기 위한 공식임
  
  

• 공식

• Case와 Control의 수는 prevalence를 고려하여 정함

• Ntotal = Ncontrols/(1-Prevalence)

• Ncontrols = Ntotal - Ncases = Ntotal(1-Prevalence)

2. For testing sensitivity or specificity of single diagnostic test

• 통계 가설  

  H0: Se = P0, H1: Se != P0 (or Se = P1)

  
  

  

  
  

• 진단 검사가 민감도나 특이도의 특정 기준치(P0)를 만족하는 지 검정하기 위해 필요한 n수를 계산하는 공식

• 

3. For comparing the sensitivity or specificity of two diagnostic tests

• 두 Test(검사법)의 민감도(or 특이도) P1 vs P2를 비교

  • 통계 가설 H0: P1 = P2 vs H1: P1  != P2

• Sample size formula

• 

Sample size for studies of ROC index of accuracy

1. For estimating accuracy index

• Sample Size Formula
  

2. For testing accuracy of quantitative diagnostic test of single modality

• 통계 가설

  •  H0: AUC = AUC0 vs H1: AUC != AUC0 (i.e. AUC = AUC1)

• Sample Size Formula

Reference

1. Hajian-Tilaki K. Sample size estimation in diagnostic test studies of biomedical informatics. J Biomed Inform. 2014 Apr;48:193-204. doi: 10.1016/j.jbi.2014.02.013. Epub 2014 Feb 26. PMID: 24582925. 

Sample Size 산출 기능을 제공하는 websites

https://clincalc.com/stats/samplesize.aspx
https://cardiomoon.shinyapps.io/SampleSize/