Tôi nhận được một email mà người gửi viết: “Khác biệt giữa trắc nghiệm – Verification và kiểm nghiệm Validation (V&V) là gì và có bao nhiêu kĩ thuật V&V?”

Câu trả lời của tôi: Nhiều sinh viên lẫn lộn về thuật ngữ trắc nghiệm và kiểm nghiệm bởi vì chúng thường được dùng đổi lẫn cho nhau trong một số sách giáo khoa. Tuy nhiên, có khác biệt về nghĩa của chúng. Theo Bảng từ chuẩn IEEE về thuật ngữ kĩ nghệ phần mềm, trắc nghiệm được định nghĩa là “Qui trình đánh giá hệ thống hay cấu phần để xác định liệu sản phẩm của pha phát triển đã nêu có thoả mãn các điều kiện được áp đặt lúc bắt đầu pha đó không.” Kiểm nghiệm được định nghĩa là “Qui trình đánh giá một hệ thống hay cấu phần trong hay cuối qui trình phát triển để xác định liệu nó có thoả mãn các yêu cầu đặc biệt không.” Về căn bản, trắc nghiệm chứng tỏ liệu cái ra của pha có tuân thủ theo cái vào của pha không, tuy nhiên nó không phát hiện lỗi nếu cái vào là không đúng. Bởi vì phụ thuộc một mình vào trắc nghiệm là KHÔNG đủ, cho nên kiểm nghiệm là cần để kiểm tra các vấn đề với đặc tả yêu cầu để chứng minh rằng hệ thống làm việc đúng tương ứng.

Có vài kĩ thuật trắc nghiệm nhưng phần lớn rơi vào hai khu vực chính: Kiểm thử động và kiểm thử tĩnh.

  • Kiểm thử động bao gồm việc thực hiện hệ thống hay cấu phần. Về căn bản, một số các trường hợp kiểm thử được chọn ra, tại đó từng trường hợp kiểm thử đều có chứa dữ liệu kiểm thử. Những trường hợp kiểm thử này được dùng để xác định kết quả kiểm thử ra. Kiểm thử động có thể được phân chia thêm thành ba loại – kiểm thử chức năng, kiểm thử cấu trúc, và kiểm thử ngẫu nhiên.
  • Kiểm thử chức năng bao gồm nhận diện và kiểm thử tất cả các chức năng của hệ thống như đã được xác định trong yêu cầu. Dạng này của kiểm thử là ví dụ về kiểm thử hộp đen vì nó không bao gồm tri thức về thực hiện hệ thống.
  • Kiểm thử cấu trúc bao gồm kiểm thử có tri thức đầy đủ về thực hiện hệ thống (kiểm thử hộp trắng). Nó dùng thông tin từ cấu trúc nội bộ của hệ thống để làm ra kiểm thử để kiểm vận hành của từng cấu phần riêng lẻ. Kiểm thử chức năng và cấu trúc cả hai đều chứa các trường hợp kiểm thử mà sẽ kiểm đặc trưng đặc thù của hệ thống.
  • Kiểm thử ngẫu nhiên - Kiểm thử chọn tự do các trường hợp kiểm thử trong tập mọi trường hợp kiểm thử có thể có. Việc dùng cái vào được  xác định ngẫu nhiên có thể phát hiện ra lỗi không được các kĩ thuật kiểm thử hệ thống khác phát hiện ra.
  • Kiểm thử tĩnh là kiểm thử không chứa việc thực hiện hệ thống hay cấu phần. Một số có thể được thực hiện một cách thủ công trong khi các kiểm thử khác được tự động hoá. Kiểm thử tĩnh có thể được phân chia thêm thành các kĩ thuật phân tích tính nhất quán và kĩ thuật đo tính chất chương trình.
  • Kĩ thuật về tính nhất quán - Các kĩ thuật được dùng để đảm bảo tính chất chương trình như đúng cú pháp, tương ứng đúng tham biến giữa các thủ thục, đúng định kiểu, và dịch đúng yêu cầu và đặc tả.
  • Kĩ thuật đo - Kĩ thuật đo các tính chất như việc sinh lỗi, tính hiểu được, và có cấu trúc tốt.

Có một vài kĩ thuật kiểm nghiệm như phương pháp hình thức, cách tiêm lỗi (phần cứng và phần mềm), phân tích rủi ro và phân tích phụ thuộc. Kiểm nghiệm thường xảy ra ở cuối chu kì phát triển, và nhìn vào hệ thống đầy đủ để trắc nghiệm, hội tụ vào các hệ con nhỏ hơn.

  • Phương pháp hình thức - Phương pháp hình thức dùng các kĩ thuật toán học và logic để diễn đạt, nghiên cứu, và phân tích đặc tả, thiết kế, tài liệu, và hành vi của cả phần cứng và phần mềm.
  • Tiêm lỗi - Tiêm lỗi là việc kích hoạt có chủ định các lỗi hoặc bởi phương tiện phần cứng hay phần mềm để quan sát vận hành hệ thống trong điều kiện có lỗi.
  • Phân tích tính phụ thuộc - Phân tích tính phụ thuộc bao gồm nhận diện những nguy cơ và rồi đề đạt giải pháp làm giảm rủi ro của nguy cơ xuất hiện.
  • Phân tích rủi ro – qui trình nhận diện các hậu quả có thể của từng nguy cơ và xác suất xuất hiện của chúng.

—-English version—-

Verification and validation

I received an email where the sender wrote: “What is the difference between Verification and Validation (V&V) and how many V&V techniques are there?”

My answer: Many students confuse about the terms verification and validation because they are used interchangeably in some textbooks. However, there are differences in their meaning. According to the IEEE Standard Glossary of Software Engineering Terminology, Verification is defined as “The process of evaluating a system or component to determine whether the products of a given development phase satisfy the conditions imposed at the start of that phase.” Validation is defined as “The process of evaluating a system or component during or at the end of the development process to determine whether it satisfies specified requirements.” Basically, verification demonstrates whether the output of a phase conforms to the input of a phase, however it will not detect errors if the input is incorrect. Because it is NOT enough to depend on verification alone, so validation is necessary to check for problems with the requirement specification to demonstrate that the system is working accordingly.

There are several verification techniques but most fall into two major areas: Dynamic testing and Static testing.

  • Dynamic testing involves the execution of a system or component. Basically, a number of test cases are chosen, where each test case consists of test data. These input test cases are used to determine output test results. Dynamic testing can be further divided into three categories – functional testing, structural testing, and random testing.
  • Functional testing involves identifying and testing all the functions of the system as defined within the requirements. This form of testing is an example of black-box testing since it involves no knowledge of the implementation of the system.
  • Structural testing involves testing that has full knowledge of the implementation of the system (white-box testing). It uses the information from the internal structure of a system to devise tests to check the operation of individual components. Functional and structural testing both involve test cases that check a particular characteristic of the system.
  • Random testing - Testing that freely chooses test cases among the set of all possible test cases. The use of randomly determined inputs can detect faults that go undetected by other systematic testing techniques.
  • Static testing is test that does not involve the execution of the system or component. Some can be performed manually while others are automated. Static testing can be further divided into techniques that analyze consistency and techniques that measure program property.
  • Consistency techniques - Techniques that are used to insure program properties such as correct syntax, correct parameter matching between procedures, correct typing, and correct requirements and specifications translation.
  • Measurement techniques - Techniques that measure properties such as error proneness, understandability, and well-structuredness.

There are several validation techniques such as formal methods, fault injection (Hardware and software), risk analysis and dependability analysis. Validation usually takes place at the end of the development cycle, and looks at the complete system as opposed to verification, which focuses on smaller sub-systems.

  • Formal methods - Formal methods use mathematic and logic techniques to express, investigate, and analyze the specification, design, documentation, and behavior of both hardware and software.
  • Fault injection - Fault injection is the intentional activation of faults by either hardware or software means to observe the system operation under fault conditions.
  • Dependability analysis - Dependability analysis involves identifying hazards and then proposing methods that reduces the risk of the hazard occurring.
  • Risk analysis – the process of identifying the possible consequences of each hazard and their probability of occurring.