You are on page 1of 8

(hp

tsw
/: www
HOME (HTTPS://WWW.WESTGARD.COM/) / LESSONS (/LESSONS.HTM) / ISO (/ISO­L.HTM)
. esg
tardc.om)
/ ISO 15189:2012 MEDICAL LABORATORIES ­ REQUIREMENTS FOR QUALITY AND COMPETENCE

ISO

ISO 15189:2012 Medical laboratories ‐ Requirements for quality and competence

Contributing editor Dr. Pereira continues part 2 of a series on the ISO standards applicable to medical laboratories. The ISO 15189 is
widely popular for laboratories, but many aspects are confusing, vague, and misunderstood. Dr. Pereira shows how to interpret the
standard's requirements. 

ISO series update

Part 2 - ISO 15189:2012 “Medical laboratories - Requirements for quality and competence”

Paulo Pereira, PhD


February 2017

Recap

ISO standards are intended to standardize practices globally. Unfortunately ISO implementation is frequently accompanied by
misunderstandings. This series discusses the pros and cons, and some myths regarding the ISO standards’ implementation in medical
laboratories. It will be divided into five parts:

Part 1 ­ ISO 9001:2015 “Quality management systems ­ Requirements”
Part 2 ­ ISO 15189: 2012 “Medical laboratories ­ Requirements for quality and competence”
Part 3 ­ ISO 10012:2003 “Measurement management systems ­ Requirements for measurement processes and measuring equipment”
Part 4 ­ ISO 19011 “Guidelines for auditing management systems”
Part 5 ­ ISO 15190: 2003 “Medical laboratories ­ Requirements for safety”

Occasionally, the reader of an ISO standard may be challenged to identify what is mandatory and what is not required. ISO 9001 makes the
reader’s life easier by noting in the introduction that “shall” specifies a requirement, “should” specifies a recommendation, “may” specifies a
permission, and “can” specifies a possibility or a capability. Laboratories must to all “Shalls” but all the others are not mandatory.

Purpose

This lessonis probably the most challenging on the “ISO series update” since many reviews have been published related to ISO 15189 3rd
edition [1]. Therefore, this essay is intended only to briefly discuss some specifications and to what is happening with ISO 15189 implementation
in the world. The 15189 standard is focused on the medical laboratory, and its goal is the customers’ satisfaction (4 of [1]). Customers, in this
concept, are not only patients but any medical laboratory customers such as blood donors and athletes. The "customers’ satisfaction” can be
understood as the contribution of the reported results to an accurate clinical decision. For this purpose, the 15189 standard is based not only on
a management system but also a set of medical laboratory technical specifications. While the standard encourages the lab to implement
sustainable practices, it is not mandatory.

The approach

ISO Technical Committee (TC) 212 has developed ISO 15189 (Medical laboratory testing and in vitro diagnostic test systems) Working Group
(WG) 1 (Quality and competence in the medical laboratory). ISO 15189 debut edition [2] was published after a three­year hiatus from the final
draft and four years after the publication of ISO/IEC 17025 first edition [3]. It quickly became a widely­accepted standard for accreditation of
medical laboratories. The 2nd edition [4] was published in 2007 to provide the same structure as ISO/IEC 17025 intended for testing and
calibration in general laboratories, and it could be viewed as the “ISO/IEC 17025” for medical laboratories. When a medical laboratory chooses
an accreditation plan, it should select an accrediting body which operates according to appropriate international standards and which takes into
account the particular requirements of this field. Before 2003 medical laboratories could be accredited according to the ISO/IEC 17025
approach, and they were able to change to ISO 15189 at their option. Depending on the accrediting bodies it may be possible for a medical
laboratory to choose between ISO/IEC 17025 and ISO 15189 or even to have both accreditations. For instance, when a medical laboratory has
ISO 15189 accredited tests and also has a calibration method intended to calibrate not only internal devices (which does not require an ISO/IEC
17025 accreditation) but also equipments for external customers.

The difference between ISO 9001 and ISO 15189 approach is that ISO 15189 is direct presence of medical technical laboratory requirements.
The 15189 framework provides a quality management system close to the ISO 9001:2008 management requirements, supplemented by
specifications for technical competence that are unique to medical laboratories.

The standard quality management model is based on the Deming TQM approach [5] [6] [7]. Figure 1 displays a quality cycle applicable to a
medical laboratory under ISO 15189 accreditation. The leadership is critical to the success of all the cycle phases. Probably, on the next
guideline revision, “customers” will be replaced by “interested parties,” including not only the clients but others that need to verify lab practices,
such as the regulatory and accreditation agencies. This terminology is already revised in the current ISO 9001 edition (4.2 of [8]).
ISO 15189 technical requirements are applied for personnel, accommodation and environmental conditions, laboratory equipment, reagents,
and consumables, pre­examination processes, examination processes, ensuring the quality of testing processes results, post­examination
processes, reporting of results, the release of results, and laboratory information management. Table 1 summarizes these stipulations.

 Table 1: Summary of ISO 15189 speci韌�cations

5.6 Ensuring quality of examination
5.1 Personnel
results

Personnel qualifications documentation, job Quality control procedures design to verify
descriptions, personal introduction to the the attainment of the intended quality of
organizational environment program, training results, quality control materials, quality
provision, competence assessment per control data, interlaboratory comparisons,
person, reviews of staff performance, analysis of interlaboratory comparison
continuing education and professional samples, evaluation of laboratory
development, and personal records of performance, and comparability of
relevant skills. examination results.

5.2 Accommodation and environmental
5.7 Post­examination processes
conditions

Laboratory and office facilities to provide an
environment appropriate for the duties to be
Review of results, storage, retention, and
undertaken, storage facilities, staff services,
disposal of clinical samples.
patient sample collection facilities, facility
maintenance and environmental conditions.

5.3 Laboratory equipment, reagents, and
5.8 Reporting of results
consumables

Equipment: Documented procedure,
acceptance testing, instructions for use,
calibration and metrological traceability,
maintenance and repair, adverse indented
Report of examination results, the report
reporting, and records. Reagents and
attributes, and content.
consumables: Documented procedure,
reception and storage, acceptance testing,
inventory management, instructions for use,
adverse incident reporting, and records.

5.4 Pre­examination processes 5.9 Release of results

Documented procedures, information for
patients and users, request form information,
Documented procedures, automatic
first sample collection and handling, sample
selection and reporting of results, and
transportation, sample reception, pre­
revised reports.
examination handling, preparation, and
storage.

5.10 Laboratory information
5.5 Examination processes
management
Examination procedure selection which has
been validated for their intended use,
verification of analysis procedures, validation
Authorities and responsibilities, and
of test methods, measurement uncertainty of
information system management.
measured quantity values, biological
reference intervals or clinical decision values,
and documentation of testing procedures.

Sub­chapters 5.3, 5.5, and 5.6 require specifications for which there is not a harmonization of practices ­ note that all the results are recorded,
and its traceability is assumed:

a) 5.3.1.4 Equipment calibration and metrological traceability 
The medical laboratory participates in programs to calibrate and verification of trueness, i.e., to determine and verify bias (systematic error
analysis) defined as “the difference between the expectation of the test results and an accepted reference value” (2.18 of [9]). Measurement
Precision (random error analysis) is also measured and verified. It is defined as “the dispersion of independent results of measurements
obtained under specific conditions, is expressed such as standard deviation or coefficient of variation”(2.15 of [9]). Preferably, traceable
metrological materials should be used. When these materials are not available, or its use is not significant to the estimate of accuracy, alternative
materials could be used. For a deeper discussion see [10­12].

b) 5.5 Examination processes requires:

5.5.1 Selection of examination procedure: New tests are selected per its clinical purpose (intended use). For instance, a screening test
selection in a blood bank should assure that a method with a high diagnostic sensitivity [13] is chosen to minimize the residual risk (2.29 of
[14]) of post­transfusion infection. ISO 15189 does not recommend any approach to select a new test. Usually, it is based on a literature
review using validation cases of state­of­the­art methods. 
 
5.5.1.2 Verification of examination procedure: All tests used without modification are verified using performance information data
available from the manufacturer. The verification shall provide evidence that the laboratory performance claims have been met. 
 
5.5.1.3 Validation of examination procedure: All tests are validated according to the clinical test purpose/intended use/ impact of the
result on the clinical decision. Therefore, the specifications, such as the allowable total error, diagnostic sensitivity, and diagnostic specificity
are selected accordingly. ISO 15189 does not state any approach for method validation, and it does not state any goals/targets/claims. The
calculations are based on experimental data. 
 
5.5.1.4 Measurement uncertainty: ISO 15189 does not recommend a methodology to the measurement uncertainty evaluation, even
though calcluating measurement uncertainty is required. However, since ISO is a member of the working groups of the Guide to the
Uncertainty of Measurement (GUM) [15] and the Vocabulary of International Metrology (VIM) [9], it is presumed that an “Uncertainty
approach” ([15]) model is mandatory. Empirical models should be used, preferably using data from the validation of the examination
procedure phase. It is not recommended to use external quality assessment (EQA)/proficiency of testing (PT) data as a primary source due
to the heterogeneity of the results [16]. However, the EQA/PT is probably the most common model in medical laboratories with tests
accredited to ISO 15189. It does not comply with the standard since usually, this determination is not according to the intended use (clause
5.5.1.4 of [1]). ISO 15189 2nd edition required that measurement uncertainty is determined when its result was “relevant” and “possible”
(5.6.2 of [4]). “Relevant” could be interpreted as when the outcome has a significant clinical value, and “possible” synonymous of the
availability of a mathematical model. Such as the total analytical error based on “Error Approach” (also documented as Traditional Approach
or True Value Approach), measurement uncertainty is part of the evaluation of the quality of the reported result, which could be applied to
any measurement. Despite the mandatory requirement to calculate it, and the elapsed time of more than 23 years since the GUM was
published Measurement uncertainty implementation has never been successfully adopted or applied in medical laboratories. We can see
evidence of this in the Westgard MU 2015 survey (http://www.westgard.com/mu­global­survey.htm) [17]. For further details about models to
determine measurement uncertainty in medical laboratories see [18].

c) 5.6 Ensuring quality of examination results

Internal quality control: A design of internal quality control scheme is applied, but no aproach is recommended any approach. For most of
the methods the "Westgard Rules” are used, however its application does not always fulfill its principles [19], and there is not a harmonized
practice. An alternative to the Levey­Jennings charts could be used, such as the exponentially weighted moving average (EWMA) chart (9.2
of [20]). Nevertheless, it is suggested a statistical design of the QC based on the Sigma­metrics [21] principally because it relates the
determined total error with the allowable total error. The allowable total error is equivalent to the error that does not significantly contributes
to wrong clinical decisions. For a depth discussion on this issue, please see [22]. 
 
External quality assessment: Medical laboratory shall participate in programs for EQA/PT and shall document evidence corrective actions
when results are deemed out of control. For instance, when a result is outside of the acceptable group requirements. There are no
recommended approaches. The use of EQA/PT approach is sometimes misunderstood, for what some calculus based on its data could not
be consistent. For example, it could be an unreliable source for an estimate of bias if the group discrepancy is too large.

Figure 2 represents the steps from the test selection to the reported results. The accomplishment of the examination and post­examination
phases are dependent on the pre­examination stage.

Figure 2. A flowchart for activities of the examination an dpost­examination stages.
Frequently-Asked Questions about ISO 15189

Which books are suggested to support the ISO 15189 quality management system?

Principally two publications: David Burnett, Ph.D. “A Practical guide to ISO 15189 in laboratory medicine
(https://www.aacc.org/store/books/8700/a­practical­guide­to­iso­15189­in­laboratory­medicine)” (2013), and James Westgard, Ph.D. and Sten
Westgard, M.Sc. “Basic quality management systems (https://www.westgard.com/store/books­and­reference­manuals/basic­quality­
management­systems­detail.html)” (2014).

Which references can support ISO 15189 specifications on examination and post­examination activities?

a) Method selection

See Westgard QC lesson no. 20 Selecting a method to validate (https://www.westgard.com/lesson20.htm) and Basic method validation 3rd ed.
(2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­detail.html) book

b) Method verification and validation

Precision:

­Detection limit: See Westgard QC lesson no. 29 The detection limit experiment (https://www.westgard.com/lesson29.htm), Basic method
validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­detail.html) book,
and CLSI EP17

­Precision components: See Westgard QC lesson no. 22 The replication experiment (https://www.westgard.com/lesson22.htm), Basic method
validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­detail.html) book,
and CLSI EP15 (also EP5, EP9, and EP19)

­Bias: Proportional and constant bias: See Westgard QC lesson no. 23 The comparison of methods experiment
(https://www.westgard.com/lesson23.htm), Basic method validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­
manuals/basic­method­validation.­third­edition­detail.html) book, and CLSI EP15 (also EP9 and EP10)

­ Bias: Drift and carryover: See Basic method validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­
method­validation.­third­edition­detail.html) book, and CLSI EP10

­ Bias: Linearity: See Westgard QC lesson no. 26 The linearity or reportable range experiment (https://www.westgard.com/lesson26.htm), Basic
method validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­
detail.html) book, and CLSI EP6 and EP10

­ Bias: Interferences: See Westgard QC lesson no. 27 Interference and recovery experiments (https://www.westgard.com/lesson27.htm), Basic
method validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­
detail.html) book, and CLSI EP7 and EP14

­Total error: See Westgard QC lesson no. 23 The comparison of methods experiment (https://www.westgard.com/lesson23.htm), Basic method
validation 3rd ed. (2008) (https://www.westgard.com/store/books­and­reference­manuals/basic­method­validation.­third­edition­detail.html) book,
and CLSI EP21
­Qualitative assays: See Westgard QC essay Basic validation of qualitative tests (https://www.westgard.com/validating­qualitative­tests.htm),
Statistical methods in diagnostic medicine. 2nd ed. (2011) (https://www.amazon.com/dp/0470183144/wwwaxs02­20) book, and CLSI EP12 and
EP24

b) Measurement uncertainty

­Modular approach: See Westgard QC essay Time to engage in MU (http://www.westgard.com/guest41.htm), GUM
(http://www.bipm.org/utils/common/documents/jcgm/JCGM_100_2008_E.pdf), EURACHEM QUAM
(http://www.eurachem.org/images/stories/Guides/pdf/QUAM2012_P1.pdf) books, and CLSI EP29

­Empirical approach: See Westgard QC essay The Hitch­hiker’s guide to MU in clinical laboratories (https://www.westgard.com/hitchhike­
mu.htm), Uncertainty of Measurement in Medical Laboratories (http://www.intechopen.com/download/pdf/50379) chapter, EURACHEM QUAM
(http://www.eurachem.org/images/stories/Guides/pdf/QUAM2012_P1.pdf) and NordTest TR 537 (http://www.nordtest.info/images/documents/nt­
technical­
reports/nt_tr_537_ed3_1_English_Handbook%20for%20Calculation%20of%20Measurement%20uncertainty%20in%20environmental%20laboratories.pdf)
books, and CLSI EP29

c) Internal quality control

See Westgard QC lesson no. 74 Best practices for “Westgard rules” (https://www.westgard.com/lesson74.htm), Six Sigma quality design and
control 2nd ed. (2006) (https://www.westgard.com/store/books­and­reference­manuals/six­sigma­quality­design­and­control­detail.html) book,
and CLSI C24

d) External quality assessment/proficiency testing

See Westgard QC Quality Requirements (https://www.westgard.com/quality­requirements.htm), Six Sigma quality design and control 2nd ed.
(2006) (https://www.westgard.com/store/books­and­reference­manuals/six­sigma­quality­design­and­control­detail.html) book, and CLSI GP27

e) Reference intervals

See Westgard QC essay FAQ in reference intervals and biological variation (http://www.westgard.com/faq­ri­bv.htm), Statistical bases of
reference values in laboratory medicine (1995) (https://www.amazon.com/Statistical­Reference­Laboratory­Medicine­
Statistics/dp/0824793390/ref=sr_1_1?s=books&ie=UTF8&qid=1487070056&sr=1­
1&keywords=Statistical+bases+of+reference+values+in+laboratory+medicine) book, and CLSI C28

f) Risk management

See Westgard QC Risk management essays (https://www.westgard.com/risk.htm), Six Sigma risk analysis (2011)
(https://www.westgard.com/store/books­and­reference­manuals/six­sigma­risk­analysis­detail.html) book, and CLSI EP18 and EP23.

 Which software intended to the medical laboratory is available?
 
For the validation of examination procedures is suggested Medcalc (https://www.medcalc.org/)(MedCalc Software bvba), EP Evaluator
(https://www.datainnovations.com/ep­evaluator) (Data Innovations), and Analyse­it (http://analyse­it.com/) (Analyse­it Software, Ltd.). Dietmar
Stöckl, Ph.D. offers a huge number of spreadsheets helpful to validation on STT Consulting (http://stt­consulting.com/index.php). For
measurement uncertainty is recommended the MUKit (http://www.syke.fi/en­
us/Services/Calibration_services_and_contract_laboratory/MUkit__Measurement_Uncertainty_Kit)(SYKE). This is a freeware based on [23]. For
IQC there are several software available, some based on Web services. For QC design based on Sigma­metrics, there is EZ Rules
(https://www.westgard.com/store/software/ez­rules­3­qc­design­software­detail.html) (Westgard QC).
 
Are there guidelines to support metrology requirements (subchapter 5.3.1.4)?

Yes, ISO 10012:2003 [24] is the standard for the control of monitoring and measuring equipment. There are several of other ISO guidelines for
verification and validation of equipment, such as the ISO 8655 series for pipettes. Please, search ISO Web site. Most of organizations on
metrology, such as International Bureau of Weights and Measures (BIPM), European Association of National Metrology Institutes (EURAMET),
European Federation of National Associations of Measurement, Testing and Analytical Laboratories (EUROLAB), EURACHEM, Cooperation on
International Traceability in Analytical Chemistry (CITAC), National Institute of Standards and Technology (NIST), and Instituto Portugues de
Acreditacao (IPAC) have a huge number of free guidelines. Part 3 of this series will focus on metrology requirements.

Are there guidelines based on the audit requirements (4.13)?

Yes, ISO 19011:2011 [25] “is intended to apply to a broad range of potential users.” It is the recommendation to support the audits, including the
documented procedure. Part 4 of this series will be oriented to audit requirements [13].

Are there guidelines to support the safety specifications (5.2)?

Yes, ISO 15190:2003 [26] is the complementary standard to ISO 15189. Part 5 of this series will be based on safety requirements.

What is happening with ISO 15189 implementation on a global perspective?

Currently, ISO 15189 is obligatory in Australia and Latvia. Since 2011, all new French medical laboratories must be accredited. Since November
1, 2016, all other public or private laboratories in France must be accredited on at least 50% of the tests, expanding to 70% of tests by 2018, and
all tests by 2020. In the Netherlands, the CCKL accreditation has been changing to the ISO 15189 standard under the direction of the Dutch
‘Raad voor Accreditatie’ (RvA), with a target deadline of January 1, 2018. Thus, the implementation case of ISO 15189 at a global perspective
could be seen as currently unsuccessful, since only a few countries here and there have adopted it wholesale. This is very different than the
rapid and widespread adoption of ISO/IEC 17015 in other science fields. On a harmonization perspective of good laboratory practices, the slow
uptake of 15189 is a major concern. Nevertheless, while ISO 15189 is not mandatory in most countries, this standard does remain the most
common global reference for quality in medical laboratories. Its influence around the world cannot be overstated.

Summary

Test accreditation according to ISO 15189 has several advantages.

The pros can be summarized as:

The only global standard for the accreditation of medical laboratory results;
Based on good laboratory practices;
Focused on technical specifications in medical laboratory;
Process approach matching the pre­analytical, analytical, and post­analytical phases;
Oriented to support accurate clinical decisions;
Identification and traceability information of the different phases of the medical laboratory process;
Monitoring and measuring of devices that significantly contribute to the trueness and uncertainty of the reported results;
Training and competence assessment of the staff which is critical to good management and good laboratory practices, and;
Infrastructure to correctly support the operation practices.

Nevertheless, there are a few drawbacks to ISO 15189:

The accreditation is expensive when compared to the ISO 9001 certification;
Its value is not well understood by the physician and the customers of clinical decisions;
It is not used by most of the medical laboratory agencies as the standard to accreditation;
It requires auditors with advanced matrix of skills;
It does not require sustainability;
The specifications sometimes are generic;
It does not standardize critical practices such as the validation, measurement uncertainty, IQC and EQA/PT of examination procedures, and;
The safety specifications are basic.

References

1. International Organization for Standardization (2012). ISO 15189 Medical laboratories ­ Requirements for quality and competence. 3rd ed.
Geneva: The Organization.
2. International Organization for Standardization (2003). ISO 15189 Medical laboratories ­ Particular requirements for quality and competence.
Geneva: The Organization.
3. International Organization for Standardization (1999). ISO/IEC 17025 General requirements for the competence of testing and calibration
laboratories. Geneva: The Organization.
4. International Organization for Standardization (2007). ISO 15189 Medical laboratories ­ Paricular requirements for quality and competence.
2nd ed. Geneva: The Organization.
5. Feigenbaum, A (1956). Total quality control. Harvard Bus Rev, 34(6):93­101.
6. Deming, W (1982). Quality, productivity, and competence position. Cambridge (MA): Massachusetts Institute of Technology, Center for
Advanced Study.
7. Juran, J (1983). Upper management and quality. 4th ed. Wilton (CT): Juran Institute.
8. International Organization for Standardization (2015). ISO 9001 Quality management systems ­ Requirements. 5th ed. Geneva: The
Organization.
9. Joint Committee for Guides in Metrology (2012). International Vocabulary of Metrology ­ Basic and General Concepts and Associated
Terms. JCGM 200:2012, JCGM 200:2008 with minor corrections. JCGM
10. EURACHEM/CITAC. (2003). Traceability in chemical measurement. Europe: The Organizations. Retrieved from:
http://www.eurachem.org/images/stories/Guides/pdf/EC_Trace_2003.pdf.
(http://www.eurachem.org/images/stories/Guides/pdf/EC_Trace_2003.pdf) 
Accessed: February 13, 2017.
11. Clinical and Laboratory Standards Institute (2006). X­05R Metrological traceability and its implementation, A report. Wayne (PA): The
Institute.
12. Vesper H, Thienpont L (2009). Traceability in laboratory medicine. Clin Chem 55(6):1067­1075.
13. Pereira P, Westgard J, Encarnação P, Seghatchian J (2015). Evaluation of the measurement uncertainty in screening immunoassays in
blood establishments: Computation of diagnostic accuracy models. Transfus Apher Sci 52(1):35­41.
14. International Organization for Standardization (2012). ISO 31000 Risk management ­ Principles and guidelines. Geneva: The Organization.
15. Joint Committee for Guides in Metrology (2008). Evaluation of measurement data ­ Guide to the expression of uncertainty in measurement.
JCGM 100:2008, GUM 1995 with minor corrections. JCGM.
16. Pereira P, Magnusson B, Theodorsson E, Westgard J, Encarnação P (2015). Measurement uncertainty as a tool for evaluating the ‘grey
zone’ to reduce the false negatives in immunochemical screening of blood donors for infectious diseases. Accred Qual Assur 21:25­32.
17. Westgard QC (2016) MU Survey 2015: The Global Results. http://www.westgard.com/mu­global­survey.htm (http://www.westgard.com/mu­
global­survey.htm). Accessed: February 13, 2017.
18. Pereira P (2016). Uncertainty of measurement in medical laboratories. In book: Luigi Cocco (editor). New Trends and Developments in
Metrology. Rijeka: InTech. . Retrieved from: http://www.eurachem.org/images/stories/Guides/pdf/EC_Trace_2003.pdf
(http://www.eurachem.org/images/stories/Guides/pdf/EC_Trace_2003.pdf). Accessed: February 13, 2017.
19.  Westgard J, Barry P, Hunt M, Groth T (1981). A multi­rule Shewhart chart for quality control in clinical chemistry. Clin Chem 27(3):493­501.
20.  Montgomery D (2012). Introduction to statistical quality control. 7th ed. Hoboken (NJ): John Wiley & Sons, Inc.
21. Westgard J (1992). Charts of operational process specifications (“OPSpecs charts”) for assessing the precision, accuracy, and quality
control needed to satisfy proficiency testing performance criteria. Clin Chem 38:7:1226­1233.
22. Westgard J (2006). Six Sigma Quality Design and Control. Madison (WI): Westgard QC.
23. Magnsson B, Näykk T, Hovind H, Krysell M (2011). NordTest NT TR 537 Handbook for Calculation of Measurement Uncertainty in
Environmental Laboratories. 3.1th ed. Oslo Nordic Innovation. Retrieved from: http://www.nordtest.info/images/documents/nt­technical­
reports/nt_tr_537_ed3_1_English_Handbook%20for%20Calculation%20of%20Measurement%20uncertainty%20in%20environmental%20laboratories.pdf
(http://www.nordtest.info/images/documents/nt­technical­
reports/nt_tr_537_ed3_1_English_Handbook%20for%20Calculation%20of%20Measurement%20uncertainty%20in%20environmental%20laboratories.pdf).
Accessed: February 13, 2017.
24. International Organization for Standardization. (2003). ISO 1012 Measurement management systems ­ Requirements for measurement
processes and measuring equipment. Geneva: The Organization.
25. International Organization for Standardization (2003). ISO 15190 Medical laboratories ­ Requirements for safety. Geneva: The
Organization.
26. International Organization for Standardization (2011). ISO 19011 Guidelines for auditing management systems. 2nd ed. Geneva: The
Organization.

Joomla SEF URLs by Artio (http://www.artio.net)

JAMES WESTGARD 
FOUNDER

Blog (http://james.westgard.com/)

About Us (/about­us.htm)

Reference Materials
& Resources (/resources.htm)

CALCULATORS

QC Tools (/qctools.htm)

QC Calculators (/calculateqc.htm)

Method Validation Tools (/mvtools.htm)

Six Sigma Calculators (/six­sigma­calculators.htm)

Normalized OPSpecs Calculator (/normalized­opspecs­calculator.htm)

Quality Control Grid Calculator (/qcsgtool.htm)

Control Limit Calculator (/control­limit­calculator.htm)

Reportable Range Calculator: Quantifying Errors (/reportable­range­calculator­br­quantifying­errors.htm)

Reportable Range Calculator: Recording Results (/reportable­range­calculator­br­recording­results.htm)

Dispersion Calculator and Critical Number of Test Samples (/dispersion­calculator­and­critical­number­of­test­samples.htm)

ONLINE STORE

 (/store/books­and­reference­manuals/basic­qc­practices,­third­edition­detail.html)

Basic QC Practices, Fourth Edition (/store/books­and­reference­manuals/basic­qc­practices,­third­edition­detail.html)
$80.00

 (/store/online­training/basic­method­validation­online­course­detail.html)

Basic Method Validation Online Course (/store/online­training/basic­method­validation­online­course­detail.html)
$175.00

PHOTO GALLERY
 (/index.php?

option=com_phocagallery&view=detail&catid=1:tradeshow­
booth&id=84:2008boothjow&tmpl=component&detail=13&buttons=1)

You might also like