swtest
Testing Glossary 테스팅 관련 용어
by Kitle · 2020. 06. 18.
*용어는 공식적인 언어 & 현업에서 쓰는 언어(De facto, Slang)이 섞여있으므로 100%는 신뢰하지 마세요. 개인적인 설명(해석)이 들어간 부분도 있습니다.
테스트 케이스 문서 관련
용어 / 약어 | 설명 | 비고 |
|---|---|---|
| 테스트 케이스 / Test Case / TC | 특별한 목표 또는 테스트 상황(test conditions)을 테스팅하기 위해 개발된 입력값, 실행 사전조건, 예상 결과, 실행 사후조건 들의 집합. [IEEE 610 준수] | A set of input values, execution preconditions, expected results and execution post-conditions, developed for a particular objective or test condition, such as to exercise a particular program path or to verify compliance with a specific requirement. [After IEEE 610] |
(테스트 수행 결과 중) 통과 / Pass / P | 실제 결과값이 예상 결과와 일치한다면 테스트는 ‘통과’로 간주한다. | A test is deemed to pass if its actual result matches its expected result. |
| 기대결과 / Expected Result | 명세(specification) 또는 다른 소스로 예측할 수 있는 명시된 조건 하에서의 컴포넌트나 시스템의 동작. | The behavior predicted by the specification, or another source, of the component or system under specified conditions. |
| 테스트 액션(액션) / Test Action | 테스트 대상이 수행해야 하는 행동을 정의하는 테스트 케이스의 일부분. | 간단하게 Testcase 문서 안에서는 Action 이라고 쓰기도 함. |
| (테스트 수행 결과 중) 테스트 못함 / Not Tested / NT | 테스트가 아직 진행되지 않았음. | 아직 수행하지 않았거나, 환경을 만들 수 없는 경우 NT로 기록 테스트를 종료 관점에서 보았을때 남은 NT가 있을경우 Skip할지, 어떻게든 환경을 만들어서 체크할지 결정해야 하는 중요 케이스들임 |
| 성공(통과)률 / Pass Rate | 테스트케이스 중 몇 %가 Pass 인지 알려주는 수치. 보통 Pass Rate는 테스트 케이스 결과중 NA를 제외하고 계산한다. (Pass / Pass + Fail) * 100 | 예) 100 개의 테스트 케이스 Pass 70 개 / Fail 10개 / NA 20개 70 / 80 * 100 = 87.5 % |
| (테스트 수행 결과 중) 해당없음 / Not Applicable / NA | 테스트 케이스에 포함되어 있으나 이번 시험에 포함되어 있지 않은 경우 NA로 기록한다. | 예) A라는 기능은 이번 업데이트에 빼기로 한 경우. NA 처리 -또는 테스트 케이스를 삭제 할 수 있음 예) QA1차 테스트 중이나 B라는 기능은 QA2차때 테스트때 테스트 예정인 경우 QA1차 결과에는 NA처리 예) 안드로이드 테스트 중인데 iOS테스트 Only케이스 인경우 NA 처리 등 다양하게 쓰임 |
| 차수 / Phase | 현재 몇번째 차수(단계) 테스트 인지 이야기 함. 예) 1.3.0 Pre QA(사전 QA), 1차 테스트, 2차 테스트, 3차 테스트 .... | 테스트 기간으로 구분하기도 하고, 테스트 버전으로 구분하기도 함, 회사/업계마다 쓰는 단어나 방식은 조금씩 다를 수 있음 Pre QA같은 경우는 공식 테스트는 아니지만 중간에 체크해 볼 필요가 있는 경우 사용. 예) 1차 테스트 기간은 이번주 월~금 입니다. 예) 1.3.0.qa1 버전테스트 결과가 1차 테스트 결과 입니다. |
| (테스트 수행 결과 중) 실패 / Fail / F | 실제 결과값이 예상 결과와 다름. | |
| 실패율 / Fail Rate | 테스트케이스 중 몇 %가 Fail 인지 알려주는 수치. 보통 Pass Rate는 테스트 케이스 결과중 NA를 제외하고 계산한다. (Fail / Pass + Fail ) * 100 |
이슈 리포트 문서 관련
용어 / 약어 | 설명 | 비고 |
|---|---|---|
버그 수준 / Bug Level Critical Major Average Minor Exception | 버그의 수준 정도를 나눔 Critical 앱 크래시, 반응/응답없음(ANR: Application Not Responding), 앱 종료 됨 | 회사나 업계마다 정의가 다름. 일반적인 분류. 쉽게 Major 이상은 필수 수정, Average이상은 선택적 수정해서 나가야 하는 수준이라고 보면 됨. |
| 재현절차 or steps to reproduce | 이슈를 재현하기 위한 방법 기술 | 개발자나 관련자들이 동일하게 행동하도록 기술 예) 1. 화면을 터치한다. 2. 비밀번호를 터치한다. 3. 비밀번호에 1111을 입력 후 확인버튼을 누른다. |
재현 빈도 or Reproducibility Always | 재현절차대로 테스트 했을때 얼마나 재현되는지 표시. Always 항상 재현 - 재현절차대로 했을때 100% 재현됨 | 100%가 아닌 경우는 사실 재현절차를 100% 정확히 확보하지 못했을 수 있으므로 좀 더 명확한 재현절차를 찾도록 고민해보아야 한다. 한번 재현되고 재현이 안되는 이슈도 일단은 기록하고 관리하는 것이 좋은 예임. |
| 실제 결과 Actual result | 재현절차대로 수행 했을때 이루어진 결과. 보통 잘못된 현상에 대한 기술이 된다. | 예) 3. 비밀번호에 1111을 입력 후 확인 버튼을 누른다. 실제결과: 앱이 중지되었습니다. 메세지가 표시된다. |
재-테스트 / re-testing 또는 컨펌 테스팅 / confirmation testing | 수정 활동이 성공적이었는지를 검증하기 위해, 마지막으로 실행했을 때 실패되었던 테스트 케이스를 다시 실행하는 테스팅. | 예) 1차 테스트에 나온 10번결함이 2차테스트 버전에 fix되었으니 해당 케이스 re-testing 진행해주세요. |
| Status & Resolution NOT A BUG DUPLICATED NOT REPRO WON'T FIX REOPENED | NOT A BUG 버그 아님 - 리포트한 버그가 개발팀 등에서 버그가 아닌 것으로 판단되는 경우 DUPLICATED 중복 버그 NOT REPRO 재현 안됨 WON'T FIX 수정 안함 REOPENED 수정된 이슈가 재현됨 | 회사 / 업계 마다 종류 다름 NOT A BUG - 로 처리되었다고 하더라도 내용확인을 꼭 해야함. 이슈에 대한 오해나 버그가 맞는 것 같은 경우 다시 논의 해야함. DUPLICATED - QA에서도 버그를 올리지만, 개발/기획등에서도 이슈를 올려서 중복되는 경우도 있음. 보통 가장 먼저 등록된 버그를 제외하고는 중복처리로 닫아버리는 것이 깔끔함 NOT REPRO - 재현이 되지 않는 경우 재현절차를 다시 확인하거나 개발환경과 다른점을 빠르게 체크 하여 처리 WON'T FIX - 수정 후 얻는 가치보다 수정 비용이 더 많이 들어가는 경우 수정하지 않기로 협의된 케이스. REOPENED - 재-테스트 결과 여전히 FAIL일 경우 상태를 REOPENED으로 변경하여 개발팀이 다시 검토하도록 요청함. |
참고 문헌 1 : http://dic.sten.or.kr/