Hilfe, meine Testergebnisse stimmen nicht – was nun?

Seit Einführung des neuen JSON-Build Systems im TFS steht auch der Build Task Run Functional Tests zur Verfügung. Dieser ermöglicht die Ausführung von Selenium – und anderen funktionalen Test-Frameworks durch einen Test Agent auf einer Menge von Remote-Maschinen (d.h. auf Rechnern ohne Build Agent). Mit diesem ist es möglich nicht nur Tests auf Basis von Test Assemblies auszuführen, sondern auch Test Suiten zu verwenden. In letzterem Fall werden alle darin enthaltenen Test Cases, welche mit einer automatisierten Test Methode verknüpft sind und somit den Automation Status = Automated aufweisen, ausgeführt und die Ergebnisse der Test Cases im TFS automatisch gesetzt. Für datengetriebene Tests jedoch kann es vorkommen, dass Test Cases fälschlicherweise als Passed markiert werden. Damit verlieren die Ergebnisse der automatisierten Testläufe innerhalb der ausgeführten Test Suiten ihre Aussagekraft.

Neu in TFS 2013: Microsoft Test Manager im Web

Microsoft hat die Themen Testmanagement/-Verwaltung und (manuelle) Testausführung bereits seit dem TFS 2010 mit einem eigenständigen Werkzeug, dem Microsoft Test Manager 2010 (MTM) adressiert und in die TFS Plattform integriert. Entwickler und Tester konnten damit erstmals auf einer gemeinsamen Datenbasis arbeiten. Alle Projektbeteiligten standen damit alle Artefakte, wie Work Items, Builds, Reports und Testdaten, gleichberechtigt und übergreifend zur Verfügung. Mit dem Visual Studio 2012 Update 2 hat Microsoft erstmals eine abgespeckte Version des MTM für das TFS Web Access veröffentlicht. Im Artikel geht um die Neuerungen im Bereich “MTM im Web” mit TFS 2013.