Sugerir un marco de automatización de prueba para mi escenario

Question

Estoy en el proceso de evaluar algunos marcos de automatización de prueba y agradecería alguna aportación. Tenemos una gran aplicación comercial de procesamiento de crédito y tiene tres puntos finales: web ui, soap y http/post básico. Mi requisito es el siguiente.

Nuestro control de calidad está muy acostumbrado a las pruebas basadas en datos (todos los datos de entrada provienen de Excel y, por lo tanto, es el resultado esperado para las afirmaciones). Básicamente, cada fila en la hoja de Excel contiene datos de entrada y el resultado esperado correspondiente. Queremos que nuestro control de calidad simplemente edite las hojas de Excel. Nuestro equipo de desarrollo será responsable de proporcionar bibliotecas/accesorios de prueba necesarios. Dado el escenario anterior, me gustaría utilizar 1 único marco de automatización que pueda leer estas hojas de Excel y probar todos los puntos finales de mi aplicación, es decir, web ui, soap y http/post. Por favor, hágame saber qué marco (s) de automatización de pruebas se ajustan a mis necesidades. Aprecie algunos consejos y tutoriales para ayudarme a comenzar.

Answer 1

que han pasado por algunos de los marcos sugeridos, pero la elección final que hice fue escribir mis propias bibliotecas de dominio (DSL si se quiere) en la parte superior de

1. Spock
2. Geb
3. maravilloso y
4. HTTP Builder
5. Sonar y Hudson

actualmente corremos 14000+ (y creciente) pruebas de regresión cada noche como parte de CI.

Answer 2

Se recomienda Fit/Fitness. Es una buena manera de permitir que los analistas de negocios realicen pruebas por sí mismos.

Answer 3

No conozco una herramienta que le permita probar todo el punto final con datos almacenados en una hoja de cálculo. Debería considerar escribir un corredor de prueba personalizado que esté basado en un corredor de prueba existente para permitir que los datos se lean desde las hojas de cálculo.

Sin embargo, me centraría más en elegir una herramienta adecuada para el punto final que está intentando probar. Para la interfaz de usuario web, recomendaría selenium o HtmlUnit. Debería buscar métodos alternativos para obtener los datos de la hoja de cálculo en estas pruebas. Pero estos ejercerán su UI lo más cerca posible de un usuario.

Para probar el punto final de soap sugiero simplemente escribir pruebas unitarias usando JUnit y burlarse del back-end. Puede probar el backend por separado con pruebas unitarias para asegurarse de que esto funcione correctamente. Dependiendo de la arquitectura de su aplicación, esta podría no ser una opción para usted. Es posible que desee configurarlos como pruebas de integración y ejecutarlos a través de JUnit y afirmar el mensaje devuelto. De nuevo, necesitaría escribir una biblioteca que obtuviera los datos y los valores esperados de una hoja de cálculo.

Espero que sea útil para usted.

Answer 4

Puedo recomendar soapUI (http://www.soapui.org/) o la aplicación JMeter (http://jmeter.apache.org/).

Con SoapUI hice pruebas funcionales para mi servicio web (soap-). Puede automatizar estas pruebas.

Con Apache JMeter realicé pruebas automáticas de rendimiento en una IU web. Los datos de prueba también se basaron en una hoja de Excel.

cordial saludo, Patrick

Answer 5

Es posible que desee echar un vistazo a Twist de ThoughtWorks. Es un IDE de prueba funcional. Los QA/BA pueden usar lenguaje natural para definir casos de prueba. Twist usa Selenium y JUnit debajo del capó, por lo que los casos de prueba generados pueden ser controlados por la versión.

Estoy de acuerdo con @stuartf en que no va a encontrar una solución lista para usar que cargue los datos de Excel y lo defienda. Puede usar POI o algún otro lector de Excel para cargar los datos en su marco de prueba.

Answer 6

Robotframework hace posible el uso de datos de prueba que provienen de archivos externos. No he intentado con hojas de Excel, pero lo he hecho con datos formateados en CSV, así como con JSON.En el peor de los casos, puede que tenga que exportar sus datos de Excel a un formato compatible con Python, pero eso se puede hacer de forma transparente a las personas que mantienen la hoja de cálculo.

En resumen, puede crear una palabra clave en python (o cualquier lenguaje basado en JVM si usa jython) que se lee en su hoja de cálculo y lo convierte en datos utilizables por casos de prueba.

embargo, si absolutamente todas sus pruebas son expulsados ​​de este archivo de datos que no es necesario un marco. Simplemente escriba un guión corto en cualquier idioma que itere sobre cada fila y llame a una función que tenga el equivalente de curl o wget. Los marcos son útiles si necesita una forma de representar sus escenarios de prueba, pero ya los tiene.

Sin embargo, la ventaja de usar un robot, incluso si solo tiene una prueba que dice "validar usando cada fila de la hoja de cálculo", es que obtiene el buen informe que tiene el robot, y puede integrarlo con jenkins/hudson con bastante facilidad.