¿Cómo ignoro una prueba basada en otra prueba en NUnit?

Question

Estoy escribiendo algunas pruebas de NUnit para las operaciones de la base de datos. Obviamente, si Add() falla, entonces Get() también fallará. Sin embargo, parece engañoso cuando Add() y Get() fallan porque parece que hay dos problemas en lugar de uno solo.

¿Hay alguna manera de especificar un 'orden' para que se ejecuten las pruebas, en caso de que si la primera prueba falla, se ignoren las siguientes pruebas?

En la misma línea, ¿hay alguna forma de solicitar las clases de prueba unitaria? Por ejemplo, me gustaría ejecutar mis pruebas para las operaciones básicas de la base de datos antes de las pruebas para datos de ida y vuelta desde la interfaz de usuario.

Nota: Esto es un poco diferente al hecho de que las pruebas dependen unas de otras, es más como asegurarse de que algo funciona antes de ejecutar una serie de pruebas. Es una pérdida de tiempo, por ejemplo, ejecutar un montón de operaciones de base de datos si no puede obtener una conexión a la base de datos en primer lugar.

Editar: Parece que algunas personas están perdiendo el punto. No estoy haciendo esto:

[Test] 
public void AddTest() 
{ 
    db.Add(someData); 
} 

[Test] 
public void GetTest() 
{ 
    db.Get(someData); 
    Assert.That(data was retrieved successfully); 
} 

Más bien, yo estoy haciendo esto:

[Test] 
public void AddTest() 
{ 
    db.Add(someData); 
} 

[Test] 
public void GetTest() 
{ 
    // need some way here to ensure that db.Add() can actually be performed successfully 
    db.Add(someData); 
    db.Get(somedata); 
    Assert.That(data was retrieved successfully); 
} 

En otras palabras, quiero asegurar que los datos se pueden añadir en primer lugar antes de que pueda prueba si se puede recuperar. La gente está asumiendo que estoy usando datos de la primera prueba para pasar la segunda prueba cuando este no es el caso. Estoy tratando de asegurar que una operación sea posible antes de intentar otra que dependa de ella.

Como ya he dicho, debe asegurarse de obtener una conexión con la base de datos antes de ejecutar las operaciones de la base de datos. O que puede abrir un archivo antes de realizar operaciones de archivos. O conéctese a un servidor antes de probar las llamadas API. O ... entiendes el punto.

Answer 1

crear una variable global y regresar en la prueba de Get menos Add ponemos a true (hacer esto en la última línea de Add):

public boolean addFailed = false; 
public void testAdd() { 
    try { 
     ... old test code ... 
    } catch (Throwable t) { // Catch all errors 
     addFailed = true; 
     throw t; // Don't forget to rethrow 
    } 
} 
public void testGet() { 
    if (addFailed) return; 
    ... old test code ... 
} 

Answer 2

no creo que eso sea posible fuera de la caja.

De todos modos, el diseño de su clase de prueba tal como lo describió hará que el código de prueba sea muy frágil.

Answer 3

MbUnit parece tener un DependsOnAttribute que le permita hacer lo que quiera.

Si el otro dispositivo de prueba o método de prueba falla, entonces esta prueba no plazo. Además, la dependencia fuerza esta prueba para ejecutar después de las que depende .

No sé nada sobre NUnit though.

Answer 4

NUnit admite una sintaxis "Assume.That" para validar la instalación. Esto se documenta como parte del Theory (gracias clairestreb).En el espacio de nombres NUnit.Framework es una clase Assume. Para citar la documentación:

/// Provides static methods to express the assumptions 
/// that must be met for a test to give a meaningful 
/// result. If an assumption is not met, the test 
/// should produce an inconclusive result. 

Así que en su contexto:

public void TestGet() { 
    MyList sut = new MyList() 
    Object expecting = new Object(); 
    sut.Put(expecting); 
    Assume.That(sut.size(), Is(1)); 
    Assert.That(sut.Get(), Is(expecting)); 
} 

Answer 5

Las pruebas deben Nunca dependen unos de otros. Acabas de descubrir por qué. Las pruebas que dependen unas de otras son frágiles por definición. Si necesita los datos en el DB para la prueba de Get(), colóquelos allí en el paso de configuración.

Answer 6

Creo que el problema es que está usando NUnit para ejecutar algo que no sea el tipo de pruebas de unidad que NUnit se hizo para ejecutar.

Básicamente, desea que AddTest se ejecute antes de GetTest y desea que NUnit deje de ejecutar las pruebas si se produce un error en AddTest.

El problema es que eso es antitético a las pruebas unitarias: se supone que las pruebas son completamente independientes y se ejecutan en cualquier orden.

El concepto estándar de Unit Testing es que si tiene una prueba sobre la funcionalidad 'Agregar', puede usar la funcionalidad 'Agregar' en la prueba 'Obtener' y no preocuparse si 'Agregar' funciona dentro del 'Obtener' prueba. Usted sabe que 'Agregar' funciona: tiene una prueba para eso.

El principio 'FIRST' (http://agileinaflash.blogspot.com/2009/02/first.html) describe cómo deben comportarse las pruebas unitarias. La prueba que desea escribir viola tanto 'I' (Aislado) como 'R' (Repetible).

Si le preocupa que la conexión de la base de datos caiga entre sus dos pruebas, le recomendaría que en lugar de conectarse a una base de datos real durante la prueba, su código utilice algún tipo de interfaz de datos, y para la prueba, deberías estar usando una interfaz simulada. Si el punto de la prueba es para ejercitar la conexión de la base de datos, entonces simplemente puede estar utilizando la herramienta incorrecta para el trabajo; eso no es realmente una prueba de Unidad.

Answer 7

No puede suponer ningún orden de ejecución del dispositivo de prueba, por lo que debe verificar los requisitos previos dentro de sus clases de prueba.

Segregue su prueba Agregar en una clase de prueba, p. Agregue pruebas y coloque las pruebas de obtención en otra clase de prueba, p. Ej. clase GetTests.

En el método [TestFixtureSetUp] de la clase GetTests, compruebe que tiene acceso a la base de datos en funcionamiento (por ejemplo, el trabajo de Add) y, de lo contrario, Assert.Ignore o Inconclusive, según lo considere apropiado.

Esto cancelará el accesorio de prueba GetTests cuando no se cumplan sus requisitos previos, y se saltará el intentar ejecutar cualquiera de las pruebas unitarias que contiene. (¡Creo que soy un novato en nUnit)