¿Base de datos para importar los resultados de NUnit?

Question

Tengo un gran conjunto de pruebas NUnit; Necesito importar los resultados de una ejecución determinada en una base de datos, luego caracterizar el conjunto de resultados y presentarlos a los usuarios (correo electrónico para fallas de prueba, presentación web para examinar los resultados). También debo realizar un seguimiento de varias ejecuciones a lo largo del tiempo (para informar las tasas de fallas a lo largo del tiempo, etc.).

El XML será el XML generado por nunit-console. Me gustaría importar el XML con un mínimo de alharacas en alguna base de datos que luego puede usarse para persistir y presentar resultados. Tendremos una serie de categorías personalizadas que también tendremos que ser capaces de ordenar.

¿Alguien sabe de un esquema de base de datos que puede manejar la importación de este tipo de datos que se pueden personalizar para nuestras necesidades individuales? Este tipo de problema parece que debería ser común, por lo que debería existir una solución común para él, pero parece que no puedo encontrar uno. Si alguien ha implementado una solución de este tipo antes, también se agradecería su consejo.

Answer 1

Me parece que está realmente detrás de un servidor de compilación como CruiseControl.NET o TeamCity.

Obtenga el servidor de compilación para ejecutar las pruebas, y hace el trabajo de decirle a la gente lo que falló y por qué.

Recomiendo TeamCity ya que es de varios órdenes de magnitud más fácil de configurar.

Answer 2

Estoy aquí para resolver el mismo problema. Actualmente nos estamos inclinando por escribir un XSLT para transformar los resultados XML en instrucciones de inserción. A continuación, ejecute el archivo resultante de instrucciones de inserción a través de un intérprete SQL de línea de comandos. Idealmente, preferiría tener un add-in/extensión de NUnit que maneje todo esto por mí. Desafortunadamente no he podido encontrar uno.

Answer 3

Para construir la respuesta de IainMH es posible que desee ver el uso de Trac con BITTEN, es un sistema de compilación de código abierto, que puede ejecutar pruebas de n unidades e informar los resultados. Actualmente lo uso para esa funcionalidad exacta.

Answer 4

Al usar MS SQL, puede importar todos los XML a una columna común de tipo de datos [xml]. Sobre esto, se pueden realizar xpaths, búsquedas y transformaciones.

Answer 5

Otra alternativa a CruiseControl o TeamCity es Atlassians Bamboo si no tiene dinero. Soy un gran admirador de su software por su facilidad de uso y tienen un acuerdo sobre dónde puede obtener bambú por 10 dólares.

Answer 6

¿Por qué necesita tener los resultados en una base de datos? ¿Quién los va a usar? El número de fallas no puede ser grande. Si es (repetidamente) su proceso de desarrollo es incorrecto. Arregla el proceso Elimine el desperdicio (uno de los principios magros), no lo recolecte.

Tome pasos más pequeños (iteraciones más cortas, construcción continua), elimine las dependencias.

Esto no se suele hacer, porque los proyectos que tienen este tipo de problemas no se entregan pero se cancelan (eventualmente).

[editar] Michael, el seguimiento de fallas de nunidad durante un tiempo más prolongado proporciona un valor cero. Necesitas un breve ciclo de retroalimentación. Soluciona los problemas ahora Si espera hasta que haya acumulado muchos problemas, se sentirá abrumado por el ruido.

El buen seguimiento de problemas se realiza a la derecha (nivel de abstracción más alto posible). Definitivamente no es una prueba unitaria.

Answer 7

Esperamos evitar esto, pero hemos generado un esquema de base de datos a partir del esquema XML de resultados de NUnit; Sin embargo, es un poco deficiente, porque NUnit realiza algunos procesos (imprecisos y extraños) para determinar algunas de las estadísticas críticas (por ejemplo, "ignorado" frente a "no ejecutado").

Todavía esperamos encontrar un esquema/proceso que NO sea un sistema completo de compilación CIT que nos permita personalizar una base de datos para importar los resultados, pero actualmente estamos usando una base de datos enrollada a mano que nosotros ' Necesitaré hacer muchas personalizaciones para obtener los informes deseados.