16.06.2011

Automated Combinatorial Testing for Software (ACTS)

Original on http://www.nist.gov/itl/csd/set/acts.cfm

Рэзюмэ:

Эмпірычныя дадзеныя сведчаць аб тым, што амаль усе памылкі праграмнага забеспячэння выклікаюцца узаемадзеяннем ад аднаго да шасці параметраў. Гэтыя вынікі маюць важнае значэнне для тэставання. Калі ўсё няспраўнасці ў сістэме могуць быць выкліканыя спалучэннем N або менш параметраў, то тэсціраванне ўсіх N-Way камбінацый параметраў можа забяспечыць высокі давер, што амаль усе недахопы былі выяўленыя. Мы вырабляем метады і прылады для стварэння тэстаў для ўсіх п-шляху спалучэння значэнняў параметраў, з выкарыстаннем удасканаленых комбинаторные алгарытмы тэсціравання для пабудовы пакрыцця масівы і аўтаматызаванай генерацыі тэставых аракулаў выкарыстаннем мадэлі праверкі. Гэтая праца будзе мець прымяненне ў высокай надзейнасці праграмнага забеспячэння, аховы і бяспекі, і комбинаторные тэсціравання. Наша ўвага засяроджана на эмпірычных вынікаў і рэальных праблем.

Апісанне:

Ужыванне комбинаторной тэставання да рэальных свеце праграмнага забеспячэння ўяўляе сабой шэраг праблем. Для аднаго з лепшых алгарытмаў, колькасць тэстаў неабходна для комбинаторных ахопу п параметраў з V значэння кожнага прапарцыйна V ^ T часопіс N, дзе T з’яўляецца ўзаемадзеянне сіл. Напрыклад, модульнае тэставанне невялікі модуль з 12 параметраў патрабуецца толькі некалькі дзесяткаў выпрабаванняў для 2-хадавых камбінацый, але каля 12.000 для 6-ці камбінацый. Але вялікая колькасць тэстаў не будзе перашкодай, калі яны могуць быць выраблены з трохі чалавечага ўмяшання, тым самым памяншаючы выдаткі. Каб ужыць комбинаторной тэставання, неабходна знайсці мноства тэставых уздзеянняў, які ахоплівае ўсе Т-спосаб спалучэння значэнняў параметраў, і, каб адпавядаць кожны набор уваходаў з чаканым для гэтых ўваходных значэнняў. Гэта і складаныя праблемы, але зараз яны могуць быць вырашаны з дапамогай новых алгарытмаў наяўнай у цяперашні час абсталявання.

Нашы даследаванні цяперашні час праграма ўключае ў сябе:

  • паляпшэнне пакрыцця алгарытмы масіва
  • лакалізацыя памылак
  • Размеркаванне ўзаемадзеяння няспраўнасцяў
  • інтэграцыі ў працэс развіцця
  • прымяненне да мадэлявання і сімуляцыя.

Асноўныя дасягненні:

  • Шырока цытуецца (два з трох вядучых) дакументаў, якія ахопліваюць эмпірычныя даследаванні па комбинаторной тэсціравання.
  • Свабодна даступных інструментаў тэсціравання, якія былі атрыманы ад больш чым 170 арганізацый, у тым ліку большасць найбуйнейшых распрацоўкі праграмнага забеспячэння фірмаў і іншых кампаній з спісу Fortune 500.

Comments are closed.