MSTest ejecutando todas mis pruebas simultáneamente rompe pruebas - qué hacer

Question

Ok, esto es molesto.

MSTest ejecuta todas mis pruebas al mismo tiempo, lo que hace que algunas fallen. No, esto no se debe a que mis pruebas son frágiles y susceptibles de compilación, sino porque es un proyecto de demostración en el que utilizo una base de datos de objetos Db4o que se ejecuta desde un archivo.

Así que tengo un par de pruebas de DataAccess comprobando que mis repositorios funcionan correctamente y auge, MSTest explota. Como intenta ejecutar todas sus pruebas al mismo tiempo, recibe un error cuando una prueba intenta acceder al archivo de la base de datos mientras otras pruebas lo están usando.

¿Alguien puede pensar en una forma rápida de evitar esto? No quiero deshacerme de MSTest (vale, lo hago, sino otra historia) y estoy seguro de que no quiero ejecutar un servicio de base de datos completo, así que tomaré cualquier forma para forzar a MSTest a no ejecutar simultáneamente o trucos con abriendo archivos.

¿Alguien tiene alguna idea?

Answer 1

Puede intentar usar un Monitor e ingresar en TestInitialize y salir en TestCleanup. Si todas las clases de prueba dependen del archivo externo, deberá usar un único objeto de bloqueo para todas ellas.

public static class LockClass 
{ 
    public static object LockObject = new object(); 
} 

... 

[TestInitialize] 
public void TestSetup() 
{ 
    Monitor.Enter(LockClass.LockObject); 
} 

[TestCleanup] 
public void TestCleanup() 
{ 
    Monitor.Exit(LockClass.LockObject); 
} 

Esto debería obligar a todas las pruebas para funcionar en serie y el tiempo que pasan todas las pruebas de éxito/fracaso se debe ejecutar. Si alguno de ellos arroja una excepción inesperada, todo lo demás se bloqueará ya que el código de salida no se ejecutará para la prueba que explota.

Answer 2

He intentado usar bloqueos de esta manera. Lo que experimenté, sin embargo, fue que VS2010 hace no ejecuta las pruebas en paralelo de forma predeterminada, pero las ejecuta secuencialmente, en un solo hilo. (Sin embargo, la ejecución en paralelo podría activarse. Pero esto no evitaría el problema por completo)

Lo que me parece muy inquietante es que la ejecución secuencial tendrá lugar en orden arbitrario, ¡incluso en clases de prueba!

Así, por ejemplo, una orden de ejecución puede tener este aspecto:

• Clase A - TestInitialize: Bloqueo se establecerá
• Clase A - TestMethod1: Se ejecutará, OK
• Clase B - TestInitialize: Se establecerá el bloqueo => El hilo se bloqueará => ¡Se bloquearán los exámenes de la unidad completa! La causa es que no hay otros subprocesos que seguirían ejecutando métodos de clase A. Por lo tanto, nunca se alcanzará Montor.Exit().

No entiendo por qué M $ lo está haciendo. Otros frameworks UnitTest (por ejemplo, JUnit) ejecutan los métodos de prueba según la clase. De lo contrario, habrá algún entrelazado del método SetUp/TearDown que causaría el caos descrito ...

¿Hay alguien por ahí que sepa cómo evitar el salto MSTest entre las clases de prueba? (Actualmente uso corredor de prueba Resharpers, que se comporta como se esperaba, la ejecución de todos los métodos de ensayo de una classe antes de proceder con la siguiente clase)

Answer 3

Utilice una prueba ordenada

http://msdn.microsoft.com/en-us/library/ms182630(v=VS.90).aspx