EBM 연구자지원을위한 문헌검색서비스 · 2019-06-19 · Practice Guideline 개발 1....
Transcript of EBM 연구자지원을위한 문헌검색서비스 · 2019-06-19 · Practice Guideline 개발 1....
EBM 연구자 지원을 위한
문헌검색서비스
PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement.J Clin Epidemiol. 2016 Jul;75:40-6. doi: 10.1016/j.jclinepi.2016.01.021
http://handbook-5-1.cochrane.org/
Practice Guideline 개발
1. 신청 단계
검색서비스 Flow
2. 검색어 선정
Systematic Review 투고
선행연구(SR, Meta-analysis)와신청 조건에 맞는 검색을 함께…
Search Strategy 작성
서지 DB에서 검색 수행
5. 제공 및
피드백
Practice Guideline 검색
• NICE 등의 기관사이트• 서지 DB
3. 선행 연구
Search Strategy 작성
서지 DB에서 검색 수행
4. 검색 수행
Systematic Reviews & Practice Guidelines
1) 개발계획
2) 개발과정
3) 검토 및 수정
4) 승인
5) 발행 및 배포
6) 실행- 지침에 따른 진료, 간호 등
# 2011- HIRA(한국 건강보험심사평가원)
체계적 문헌고찰 지침서
1) 수행팀/자문단 구성, 프로토콜 작성
2) 검색전략 세우기 및 검색 수행
3) 문헌 선택 및 배제
4) 데이터 추출
5) 비뚤임 위험 평가
6) 데이터 통합
7) 논문 OR 보고서 작성하기
Comparison
intervention
Population or Problem
Outcome
Intervention
The PICO Framework (Sackett et al, 1997)
1. 임상문제 구조화하기 (PICO)
PICO 설계 및 입수
2. PICO Question examples
POPULATION INTERVENTION COMPARISON OUTCOME
Pregnant women with
diabetesInsulin pump therapy
Conventional insulin
therapy
glucose levels
pregnancy
effectiveness
Treatment outcome
1) 당뇨를 가진 임신한 여성에서 Insulin pump 치료가 효과적인가?
POPULATION INTERVENTION COMPARISON OUTCOME
early breast cancermodified radical
mastectomy
• conserving surgery
• Mastectomy, Segmental
• long-term survival
• Mortality
2) 조기 유방암에서 변형 근치적 절제술과 보존술은 장기 생존률에 차이가 있는가?
PICO 설계 및 입수
다양한 정보원에서 가능한 모든 문헌을
검색하고자 하는 노력 *
Pubmed(Medline)만으로 충분하지 않음
통제주제어와 자연어의 조합
제한된 검색 지양
Boolean, Truncation의 적절한 활용
연구방법: 아티클타입+통제주제어+자연어
Cochrane Review, SR 아티클 등에서
동일주제의 검색전략을 참고
파일럿 검색(예: Mesh 위주)으로
포함되어야 할 검색어(자연어) 확인
* 김현정(2014) 코크란 체계적 논문고찰 워크숖 자료집
Controlled vocabulary(통제 주제어)
주요 Database Has Controlled vocabulary?
Pubmed(Medline) MeSH (Medical subject headings)
Cochrane Library MeSH (Medical subject headings)
CINAHL CINAHL Headings
EMBASE EMTREE
Scopus EMTREE를 문헌에 제공 (But 검색방법 없음)
Web of science
NO (텍스트 검색 기반)EBM 전문 DB
Google 등 기타
검색어 선정
Controlled vocabulary(통제 주제어) 고려사항
1. 상위 통제주제어(MeSH, Emtree)로 색인되어 있을 가능성 확인
-> explode(explosion) 적용하여 함께 포함
ex 1) Total Parenteral Nutrition(TPN)관련 논문의 MeSH 색인
Parenteral nutrition, Total[Mesh]
Parenteral nutrition [Mesh:NoExp]
ex 2) COPD 관련 논문의 MeSH 색인
Pulmonary Disease, Chronic Obstructive[Mesh]
Lung Diseases, Obstructive[Mesh:NoExp]
ex 3) Non-small Cell Lung cancer(비소세포폐암)관련 논문의 MeSH 색인
Carcinoma, Non-Small-Cell Lung[Mesh]
Lung Neoplasms[Mesh:NoExp]
Controlled vocabulary(통제 주제어) 고려사항
2. Subheading의 효율적 활용
ex ) 간암의 화학요법에 관한 검색
#1: "Liver Neoplasms/drug therapy"[Mesh]
#2: "Liver Neoplasms"[Mesh] OR Liver Cancer*[TIAB]……
#3: Drug Therapy[Mesh] OR Chemotherap*[TIAB]……..
#4: #2 AND #3
#5: #1 OR #4
*** 반드시 Subheading 색인 규칙에 맞는 활용이어야 함.
-> 색인 규칙을 모르거나 확실하지 않다면, 활용하지 않음
* Entry Terms
: Mesh로 색인되는 동의어(대등관계)
자연어 선정시 참고
* Synonyms
: Emtree로 색인되는 동의어(대등관계)
Browse Emtree
자연어 선정시 참고
* 파일럿 검색
: 실제 논문에 사용되는 검색어 점검
자연어 선정시 참고
* Systematic Review
: SR 논문에서 검색 전략식 참고
자연어 선정시 참고
* Cochrane Library
: Review 에서 검색 전략식 참고
자연어 선정시 참고
자연어 선정 시 참고사항
1. 다른 항목의 검색어와 연결할때 전체 단어를 반드시 입력해야 하는가???
ex 1) Fine needle aspiration biopsy[TIAB]: 6,030 건 (Pubmed)
“Fine needle"[TIAB] AND “aspiration"[TIAB] AND “biopsy"[TIAB]: 10,401 건
“Fine Needle”[TIAB] AND Biopsy*[TIAB]: 12,273 건
“Fine Needle”[TIAB] : 27,582 건
2. 불용어, 불필요한 검색어 등을 배제하라
ex 1) 전치사, 부사, 형용사 등은 Stop words
ex 2) Cancer patients -> Cancer AND Patients (X) / Cancer (O)
Boolean Operators & ( ) parentheses
ㅁANDA B NOTA BㅁA BOR
A BNOT B: 좌측의 형태가 되는 것은 아님
( ) parentheses & Nesting
여러 개의 Boolean Operator를 활용할때, Process는 좌측에서 우측으로 적용된다.
salmonella AND hamburger OR eggs
Salmonella AND (hamburger OR eggs)
Nesting: 검색 프로세스를 변경하기 위하여 ( )로 묶으면 우선 검색하는 것
절단자(truncation) 및 어구(Prase) 검색
주요절단자
Wildcards/ truncation
asterisk (*)
question mark (?)
인접 검색 Exact Phrase
Cochrane(Wiley)
시작, 중간, 끝 모두 가능
sul*ur -> sulfur, sulphur
Wom?n -> women, woman
1. NEAR/n(숫자): 없으면 6개 단어 내
Diabetes NEAR/3 control
2. NEXT
Diabetes NEXT control
“sleep disorders”
Embase(Elsevier)
중간, 끝 가능 1. NEAR/n(숫자)
2. NEXT/n(숫자)‘sleep disorders’
Pubmed
끝 가능(600 단어까지)
PubMed supports only end-truncation. There is no single character symbol
random*-> randomised,
randomized, randomly….
X “sleep disorders”sleep disorders[TIAB]
기타(기관) 대부분 허용 대부분 X “ “ 또는 ‘ ‘
주의 사항 지나친 단어절단 지양Bias?? 숫자의 범위에 따라 달라짐SR 검색에 필요 있을까???
Bias?? 다양한 표현의 가능성꼭 필요한 주제어가 아니면지양
A. 무작위 대조시험: Randomized Controlled Trial
B. 비 무작위 대조시험: Controlled Clinical Trial
C. 임상시험 : Clinical Trial(I~IV)
: 연구자가 약물,수술방법 등의 처리를 연구대상자에게 실시한 후에 그에 따른 효과를
측정함으로써 주어진 처리 와 그에 따른 반응간의 인과관계를 규명하고자 하는 것
: 연구대상자가 사람이면 임상시험(clinical trials)
1) 실험 연구 : Clinical Trials as Topic
연구 방법(Study design)
A. 사례-대조 연구(case-control study, 후향연구(retrospective study))
B. 현황연구(cross-sectional study)
C. 코호트 연구(cohort study, 전향연구(prospective study))
: 한 집단 또는 여러집단의 환자들의 상태와 특성을 단순히 관찰하여 분석하는 것
2) 역학 연구 : Epidemiologic Studies
Epidemiologic Methods
Epidemiologic Study Characteristics as TopicClinical Trials as Topic +
Clinical Trials, Phase I as TopicClinical Trials, Phase II as TopicClinical Trials, Phase III as TopicClinical Trials, Phase IV as TopicControlled Clinical Trials as Topic +
Randomized Controlled Trials as TopicPragmatic Clinical Trials as Topic
Multicenter Studies as TopicObservational Study as Topic
Epidemiologic Studies +Case-Control Studies
Retrospective StudiesCohort Studies
Follow-Up StudiesLongitudinal Studies
National Longitudinal Study of Adolescent Health
Prospective Studies
Retrospective Studies
Cross-Sectional StudiesSeroepidemiologic Studies
HIV Seroprevalence
연구 방법 MeSH Tree
Randomized Controlled Trial : 무작위 통제 시험
Controlled Clincal Trial(통제 임상시험) : 한 개 이상의 치료법(시험군)과
한 개 이상의 대조 치료법/연구된 중재를 평가하기 위한 임상시험
Clinical Trial(I~IV): 임상시험
Muticenter Study : 여러기관이 협력하여 수행한 통제연구
Observational Study , Case reports : 관찰연구, 사례 보고서 등의 정성적 출판 유형
Meta-Analysis(메타분석) : 논문에서 추출한 결과 데이터를 추출/결합/요약/결론에
이르는 양적 분석 방법
Systematic (Review) : RCT, trial, cohort 등의 논문타입/연구방법을 취합하여
Meta 분석하거나 체계적으로 검토한 논문
출판 유형(Publication Type)
* Article Type / Study Design / Method 를 Sensitive 하게 검색하려면….
# 연구방법, 아티클타입, 어구검색을 조합하여 활용
-> 서지 데이터베이스의 Filters, Limits만으로 제한해서는 안됨
("Randomized Controlled Trial"[ptyp] OR "Randomized Controlled Trials as topic"[Mesh]
OR "Controlled Clinical Trial"[ptyp] OR "Meta-Analysis"[ptyp] OR Meta-Analysis as Topic[Mesh] OR systematic[sb] OR Multicenter Study[ptyp] OR Double-Blind OR triple-Blind OR Randomized Controlled Trial OR Randomised Controlled Trial OR Controlled trials OR Meta-Anal* OR systematic review OR Systematic OR placebo* OR random* OR Multicenter*)
# Epidemiologic Studies는 Mesh(연구방법)으로 색인
-> 아티클 타입으로 색인되지 않음
예) Cohort Studies, Case-Control Studies, Retrospective Studies, Follow-Up Studies 등
A. 연구 방법/출판 유형 검색식
SIGN Search Filters (Medline/EMBASE/CINAHL)
SIGN Search Filters (Medline/EMBASE/CINAHL)
https://www.sign.ac.uk/search-filters.html
A. 연구 방법/출판 유형 검색식
Cochrane Search Filters
PICO (M/T) 정리 : RCT/Meta/SR 대상 (Pubmed 기준)
PICO Mesh 주제어 타이틀/초록
P
Neoplasm Staging[Mesh] early[TIAB] OR stage I[TIAB] OR stage II[TIAB] OR ((T0 OR T1) AND (N0 OR N1mi) AND M0)
AND
Breast Neoplasms[Mesh] Breast Neoplasm*[TIAB] OR Breast cancer[TIAB] OR Breast tumor*[TIAB] OR Breast tumour*[TIAB]
I Mastectomy, Modified Radical[Mesh]Modified[TIAB] AND Radical[TIAB] AND Mastectomy[TIAB]
C Mastectomy, Segmental[Mesh] conserving[TIAB] OR Segmental[TIAB]
O"Survival Analysis"[Mesh] OR "Survival Rate"[Mesh] OR "Disease-Free Survival"[Mesh] OR "Mortality"[Mesh] OR "mortality" [Subheading]
Survival[TIAB] OR mortality[TIAB] OR disease-free[TIAB]
Methodology/
Type(SIGN Filter 참조)
"Randomized Controlled Trial"[ptyp] OR "Randomized Controlled Trials as topic"[Mesh] OR "Controlled Clinical Trial"[ptyp] OR "Meta-Analysis"[ptyp] OR Meta-Analysis as Topic[Mesh] OR systematic[sb] OR Multicenter Study[ptyp]
Double-Blind OR triple-Blind OR Randomized Control led Trial OR Randomised Controlled Trial OR Controlled trials OR Meta-Anal* OR systematic review OR Systematic OR placebo*OR random* OR Multicenter*
EBM Pyramid: 연구방법/출판유형 구조
근거 수준 및 권고의 등급화일차 의료용 당뇨병 임상진료지침 근거기반 권고 요약본 2014
Level of Evidence(근거수준)
Grades of Recommendations(권고 등급)
Adaptation (수용 개발) De Novo (신규 개발) Concensus (합의 개발)
양질의 임상진료지침이 있는 경우,
그 정보원들을 활용하고 요약하여
새로운 지침을 개발하는 방법
기존 진료지침이 없거나 부족하면서
RCT, SR 등과 같은 양질의 논문이 있는 경우에
체계적 논문고찰을 통해 근거의 질 평가,
근거 분석(Meta-analysis 등), 합성, 요약 등의
절차를 통해 임상진료지침을 개발하는 방법
근거가 전혀 없거나 부족할 경우
전문가 의견 반영, 합의에 의한
개발방법
델파이 기법
명목집단기법
합의개발협의(Concensus)
Practice Guideline 개발방법 & 정보원/유형
Adaptation (수용 개발) De Novo (신규 개발)
주요 정보원1. 서지DB(Pubmed, CINAHL 등) : 임상진료지침
2. SIGN, NICE 등 : 가이드라인 기관
1. Pubmed
2. Cochrane Library
3. Embase
4. WOS, Scopus, CINAHL, Google ………………………….
출판 유형
(아티클 타입)
Practice Guideline[PT]
Guideline[PT]
Radomized Controlled Trials[PT] , Meta-Analysis[PT]
Controlled Clincal Trial[PT] , Systematic Review[sb]
Multicenter Study[PT], Observational Study[PT] ,
Case reports[PT]……
연구 유형
및
주요 검색어
Practice guidelines as Topic[Mesh]
Guidelines as Topic[Mesh]
Recommendation, Level of evidence ,
evidence grade..
1. 실험연구Radomized Controlled Trials as topic[Mesh],Meta-Analysis as topic[Mesh]….Placebo, Double(Triple) blind, Systematic,
2. 관찰연구
Cohort, Prospective, retrospectiveCase study, Case-control…….…
1) 아티클 타입
Practice Guideline[PT]
Guideline[PT]
2) 연구방법 및 주요 검색어
Practice guidelines as Topic[Mesh]
Guidelines as Topic[Mesh]
Recommendation,
Level of evidence ,
evidence grade..
3. 구글 검색
: Practice Guideline, Guideline 등의
검색어
1. National Guideline Clearinghouse (NGC)
2018년 7월 부터 자금지원 중단으로 현재 이용 안됨
2. Scottish Intercollegiate Guidelines Network (SIGN)
스코틀랜드에서 제공하는 EBM관련 대표적인 사이트로써 가이드라인,
임상근거수준 등을 제공
https://www.sign.ac.uk/our-guidelines.html
3. Guidelines International Network(G-I-N)
국제가이드라인개발기구로 세계 각국의 참여를 바탕으로 체계적인 가이드라인 개발
및 제공
http://www.g-i-n.net/library/international-guidelines-library
대표적 Practice Guideline 기관
4. National Institute for Clinical Excellence (NICE)
공중보건, 보건 기술, clinical practice에 관한 가이드라인을 생산하는
영국의 비영리기구
http://www.evidence.nhs.uk/
1. 서지 DB: Practice guideline 관련 아티클타입, 연구방법, 어구 조합하여 검색
서지 DB & Google
"Consensus Development Conference" [PT] OR "Consensus Development Conference, NIH" [PT] OR "Guideline" [PT] OR "Practice Guideline" [PT] OR Guideline* OR Practice guideline* OR Clinical Practice guideline* OR Recommend* OR Consensus*
'consensus'/exp OR 'practice guideline'/exp OR Consensus:ab,ti OR Guidelin*:ab,ti OR Recommend*:ab,ti
2. Google 검색
출처: NECA 체계적 문헌고찰 매뉴얼 – 한국보건의료연구원(2011)
정보원의 특성을 잘 파악해야 함
통제 시소러스
절단자
Boolean operator
인접검색 / 연결어
특정필드 등
http://apps.who.int/trialsearch/)
• BioMed Central ISRCTN (http://www.isrctn.com/)
Grey Literature
• Agency for Healthcare Research and Quality (http://www.ahrq.gov),
• New York Academy of Medicine (http://www.greylit.org)
• Open Grey/Open SIGLE (http://www.opengrey.eu)
• TRIP Database (https://www.tripdatabase.com/)
PICO를 모두 반영하는 것은 Sensitivity를 감소시킨다…
선정된 검색어로 여러 번 조합해보는 것이 좋다…
Comparison
intervention
Population or Problem
Outcome
Intervention
PICO (M/T) 정리 : RCT/Meta/SR 대상 (Pubmed 기준)
PICO Mesh 주제어 타이틀/초록
P(Thyroidnodule)
“Thyroid Nodule”[Mesh] Thyroid*[TIAB] AND Nodule*[TIAB]
I(Diagnosis)
“Receptors, Thyrotropin“[Mesh]
Thyrotropin[TIAB] OR TSH[TIAB] OR Thyroid Stimulat*[TIAB]
OR LATS[TIAB]
“Biopsy, Fine-Needle”[Mesh] Fine-Needle [TIAB] OR “Fine Needle”[TIAB] OR FNAC[TIAB]
"Thyroid Nodule/ultrasonography"[Mesh]
Ultrasonography[Mesh]
Ultrasonograp*[TIAB] OR Ultrasound*[TIAB] OR Sonograp*[TIAB]
OR Ultrasonic[TIAB] OR echograp*[TIAB]
Methodology/
Type
Meta-Analysis[ptyp] OR "Meta-Analysis as Topic"[Mesh] OR Meta-Analys*[TIAB] OR Randomized Controlled Trial[ptyp] OR "Rand
omized Controlled Trials as Topic"[Mesh] OR Randomized[TIAB] OR Randomised[TIAB] OR random[TIAB] OR randomly[TIAB] OR
RCT[TIAB] OR ((Double* OR single* OR treb* OR tripl*) AND (Blind* OR mask*)) OR Controlled Clinical Trial[ptyp] OR Guideline[pt
yp] OR Multicenter Study[ptyp] OR Observational Study[ptyp] OR Practice Guideline[ptyp] OR Clinical Trial[ptyp] OR systematic[sb]
OR Cohort Studies[Mesh] OR cohort[TIAB] OR Longitudinal[TIAB] OR Follow-Up[TIAB] OR Retrospective [TIAB] OR "Case-Control
Studies"[Mesh] OR "Case Reports" [Ptyp] OR Comparative Study[ptyp]
Pubmed Advanced Search
Obesity
Bariatric surgery
Risk, Risk factor
Embase 검색 예시
비만환자의수술적치료에관한위험성
PICO (M/T) 정리 (Embase 기준)
PICO Emtree 주제어 타이틀/초록/키워드
P'obesity'/exp'overweight'/de
'(Obesit* OR Obese OR Overweight* OR 'Over-weight' OR 'Over-
weights'):ab,ti,kw
I'bariatric surgery'/exp
'gastric bypass surgery'/exp
'gastroplasty'/exp
(Bariatric NEAR/6 (Surgery OR Surgeries OR Surgical OR operation*
OR Procedur*)):ab,ti,kw
('Stomach Stapling' OR 'Gastric Bypass' OR 'Gastroileal Bypass' OR
'Roux-en-Y' OR Gastrojejunostom* OR Gastroplast* OR 'Jejunoileal
Bypass' OR 'Jejunoileal Bypasses' OR Lipectom* OR
Lipoabdominoplast* OR gastrectom*):ab,ti,kw
O 'risk factor'/exp Risk:ab,ti,kw
'obesity'/exp
제한조건적용
hypertensive patients
weight loss of 4~5kg
weight maintain
decrease blood pressure
고혈압환자에게체중을 4~5kg 감량하는것이유지하는것보다
혈압강하에효과적인가?
Cochrane Library 검색 예시
PICO (M/T) 정리
PICO Mesh 타이틀/초록
P
hypertension[Mesh] Hypertens*
High NEAR/5 Blood Press*
I
weight loss[Mesh] weight loss
(weight OR Body Weight[Mesh]) AND (loss* OR Reduc*)
C
weight NEAR/5 (mainten* OR maintain)
(weight OR Body Weight[Mesh]) AND (maintain OR mainten*)
O
Blood Pressure Determination [Mesh] Blood Pressure
Blood Pressure[Mesh]
Hypertension
Hypertens* OR High Blood Press*
#1 or #2
Cochrane Search Tip !!!
# Search Line에 직접 입력하는 방법
MeSH descriptor: [Hypertension] explode all trees
[mh Hypertension]
[mh ^“ ]
어구검색 직접입력
Hypertension:ab,ti,kw(순서상관 없음)
#1 or #2 or #3 or #4 or #5
{OR #1-#5}
엑셀(워드) 등을 통하여 검색 수행 DB의 검색전략식 제공:
엑셀 시트구분하여 3개 정보원 필수 제공(Pubmed, Embase, Cochrane)
중복 논문 제거 된 통합 Endnote 압축파일 제공
실제 제공 사례
참고: 근거 질 평가-> 연구자 수행
문 헌 유 형 추천 질평가 도구
SR / meta-analysis
RCT Cochrane's assessment of risk of bias(ROB 2.0)
Non-randomized studies(Cohort 등 observational study)
Newcastle-Ottawa tool
Practice guideline(임상진료지침)
AGREE 2.0 (한국형)
# SR/Meta 질 평가 도구
http://prisma-statement.org/PRISMAStatement/Checklist
SIGN checklist
NICE checklist
Newell's 2002
van Tulder scale
CONSORT reporting checklist of RCT
Cochrane's assessment of risk of bias(ROB 2.0) – 추천 방법
Jadad scale : 문항이 간단하고, 평가하기 쉬우므로 국내 RCT 연구 평가에 많이 사용하고 있으나,
“allocation concealment” 평가 항목이 포함되어 있지 않아 Cochrane에서는 권장하지 않음
: 11개 평가항목 포함, Cochrane에서 Cochrane 다음으로 권장하는 평가도구임
# RCT(Randomized Controlled Trials) 평가 도구
참고문헌]Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available fromhttp://community.cochrane.org/handbook
Cochrane tool for RCT _ Assess studies for risk of bias
Bias : Systematic error or deviation from the truth
출처]Course: Introduction to Systematic Reviews of Health Interventions. Monash University, August 1-2, 2016
79
Cochrane’s Rob 평가기준 예시
80
Assessing & judgements risk of bias in randomized trials
RoB 2.0
(new tool for RCT, 2016)
# NRS(Non-randomized Studies) 평가 도구
Reish(1989)
McMaster-Nursing Quality Assessment tool
Zaza(2000)
SIGN checklist (cohort, case-control study)
NICE checklist (cohort, case-control study)
Newcastle-Ottawa tool
Downs and Black (1998)
Cochrane : Risk of Bias Assessment tool for Non-randomised study(RoBANS)
-> 2016년도에 ROBIBS-I’tool 로 바뀌었음
: Cochrane에서 권장하고 있음, 5개 척도(27개 세부항목)로 구성
: Cochrane 에서 권장, 관찰연구(observational studies)의 대부분에 사용
Reference
83
84
Non-RCT : New-Castle-Ottawa Scale을 사용한 질 평가 (Cohort, Case-control 연구)
# 임상진료지침 평가 도구
* 임상진료지침 평가도구
• AGREE I, II (6개 영역, 23 세부항목 평가)
• MERGE checklist 6
• Cluzear
Reference
1) 대한의학회,보건복지부. 한국형 임상진료지침의 개발·교육·보급 모형 개발 및 웹 기반 진료지침 평가시스템(AGREE 2.0). 2011
http://www.prism.go.kr/homepage/researchCommon/downloadResearchAttachFile.do;jsessionid=39EB9CD8CD2F09E15
A4925D80EE9F3DE.node02?work_key=001&file_type=CPR&seq_no=001&pdf_conv_yn=N&research_id=1351000-
201100254
1)
* 임상진료지침 평가도구
6개 대항목의 23개 세부항목
7점 척도로 항목별 점수 부여
1점: 낮음………………………>7점: 높음