PROCESO DE AUTOMATIZACIN DE PRUEBAS

BENEFICIOS DE LA AUTOMATIZACIN Los beneficios ms importantes de resaltar son: Reducir el tiempo de las pruebas Reducir el esfuerzo de las pruebas Elaborar un sistema ms fiable Mejorar la calidad de las pruebas Generar automticamente informes

LIMITACIONES DE LA AUTOMATIZACIN En primer lugar, no todo puede probarse y en consecuencia no todo puede ser automatizado. Por ejemplo, comprobar que la aplicacin imprime correctamente una hoja no puede automatizarse. Tampoco pueden automatizarse pruebas que dependen de factores externos a la aplicacin como pueden ser configuracin de los servidores donde se ejecute la aplicacin, entre otras. Se debe tener en cuenta que la herramienta debe adaptarse a los requisitos del proyecto y del rea de calidad. Aspectos como los siguientes se deben evaluar: Compatibilidad con plataformas, navegadores Documentacin de la herramienta Facilidad de uso Presupuesto para comprar la herramienta Lenguajes de programacin para implementar las pruebas Tipo de proyecto a testear

ELECCIN DE LA HERRAMIENTA DE AUTOMATIZACIN ANALISIS DE LA NECESIDAD A continuacin se detallan los aspectos que se tuvieron en cuenta para la eleccin de la herramienta.

REQUISITOS MINIMOS El tipo de pruebas que se pretende automatizar son: Pruebas funcionales Pruebas de regresin

Las condiciones que deben cumplir la herramienta son las siguientes: Emular las acciones de un usuario final Interfaz de grabacin. Herramienta en desarrollo y actualizada. Software libre ( opcional) Programacin de ejecucin de las pruebas de forma automtica (Fecha, hora). Permita documentar los casos de prueba. Permita realizar pruebas diferentes tecnologas (Web, cliente/servidor).

En primer lugar deben ofrecer la posibilidad de reproducir las pruebas como si de un usuario final se tratara: ejecutando acciones del navegador automticamente (clicar un botn, clicar un link, rellenar campos de texto, etc.). En Segundo lugar es importante una herramienta que disponga de una interfaz de grabacin que sea capaz de generar scripts con la navegacin por la web que se desea testear y tambin sea capaz de reproducirlos. Como aspecto importante la herramienta debe estar en contante actualizacin. Las tecnologas web varan rpidamente y es necesario que las herramientas vayan acordes con estos cambios y avances. CRITERIOS DE ANLISIS DE LAS HERRAMIENTAS A continuacin se detallan los criterios necesarios para la eleccin de la herramienta automatizacin. Simulacin de navegacin Multiplataforma Multinavegadores Documentacin Manual de instalacin Tutoriales Foros de

Parametrizable Compatibilidad con otros lenguajes Interfaz de grabacin Facilidad de organizacin Dependencias entre los scripts Organizacin de los resultados Independencia del navegador Facilidad de identificacin de objetos Gestin automtica de ejecucin de las pruebas

SELENIUM La funcin primaria de nuevo en Selenium 2,0 es la integracin de la API WebDriver. WebDriver est diseado para proporcionar una ms sencilla, interfaz de programacin ms concisa. Selenium -WebDriver fue desarrollado para apoyar mejor las pginas web dinmicas donde los elementos de una pgina pueden cambiar sin que la propia pgina se vuelva a cargar. Web Driver es una herramienta para automatizar los test de aplicaciones Web. Provee un API muy sencilla de usar, que puede usarse desde JUnit, TestNG o desde un main al viejo estilo. VENTAJAS Soporte con distintos navegadores (IE, Firefox, Chome) Dispone de una API ms sencilla. Una simplificacin del interfaz con dos clases principales: WebDriver (para el control de los distintos navegadores) y WebElement (para los elementos que componen la pgina web). Conexin remota a navegadores en otras mquinas por si en el entorno de pruebas no se dispusiera de ellos. Ejecucin de Javascript, acceso al objeto Window, temporizadores, clases con funcionalidad bsica para facilitar los test, etc. Con comandos programados a travs de ANT la herramienta permite programar las ejecuciones de las pruebas de forma automtica.

DESVENTAJAS Facilidad de uso: ya que el ingeniero de pruebas requiere tener conocimientos en programacin Java para la construccin de los scripts. No cuenta con soporte tcnico. No permite documentar los casos de prueba.

NOTA: Segn la informacin encontrada en la Web, la integracin de test link con la herramienta es solo para Selenium IDE.

TEST COMPLETE TestComplete es una herramienta de prueba automatizada que le permite crear, administrar y ejecutar las pruebas para cualquier Windows, Web o software de cliente enriquecido. Esto hace que sea fcil para que cualquiera pueda crear pruebas automatizadas. Y las pruebas automatizadas correr ms rpido, aumentar la cobertura de las pruebas y costos ms bajos. Esta herramienta ofrece pruebas sistematizadas, y automatizadas, para .NET, Java, Visual C++, Visual Basic, WPF (XAML), Delphi, C++Builder y aplicaciones web, servicios web y servidores web. Tambin es igualmente vlida para aplicaciones de 32-bit y de 64-bit, y adems puede probar aplicaciones realizadas en PowerBuilder, FoxPro y Access. TestComplete es famoso por su flexibilidad y poder para ejecutar una larga lista de tipos de pruebas esenciales, incluyendo:

Las pruebas funcionales Prueba de unidad Pruebas de carga Client / Server (o distribuido) pruebas Pruebas de regresin Basada en datos de pruebas

VENTAJAS Integracin con JIRA Los casos de prueba pueden ser codificados en VBScript, JScript, C + + Script, Script o C # DelphiScript. Contiene puntos de comprobacin lo cual permite tener mayor seguridad en el resultado de una accin ejecutada por medio de validadores. Acceso a banco de datos. Crear variables globales y parmetros para controlar la ejecucin de pruebas. Cuenta con soporte tcnico. Integracin con subversin. Permite importar casos de prueba desde Word y Excel. Soporte Ajax

DESVENTAJAS No tiene opcin de programar las ejecuciones de las pruebas

TEST SILK SilkTest es el principal producto de pruebas funcionales para llevar a cabo el control de la integridad y calidad de las aplicaciones de software empresariales.

SilkTest ofrece a los desarrolladores la capacidad de gestionar sus esfuerzos de automatizacin de desarrollo, llevando a cabo pruebas siempre y donde las necesita, y recibiendo un anlisis de los resultados de forma rpida y precisa, permitindoles la creacin y despliegue de nuevas e innovadoras aplicaciones e instrumentos. Con esta herramienta se pueden realizar las siguientes pruebas: Pruebas de regresin Pruebas multiplataforma Pruebas Funcionales

VENTAJAS Permite la validacin directa a las bases de datos. Permite ejecutar casos de prueba automatizados en varios equipos al mismo tiempo. Se integra con la herramienta de silk central para la gestin de casos de prueba. Soporte Ajax

DESVENTAJAS Silk Test puede no reconocer algunos objetos en una ventana / pgina debido a algunas razones tcnicas. Pruebas funcionales de servicios Web: prueba de funcionamiento de los servicios web en Arquitecturas Orientadas a Servicios (SOA). (No fue posible realizar pruebas con esta herramienta sin embargo se realiz una consulta sobre la herramienta directamente con el asesor de Micro focus y el fue el encargado de aclararnos este tema

TEST WHIZ Cuenta con panel de informes detallados, as como de las integraciones con sistemas de caja de defectos ms utilizados, como el seguimiento de Atlassian jira, mantis y fogbugz VENTAJAS integracin con JIRA. El manejo de la herramienta es intutitivo lo cual permite la adaptacin a la herramienta de una manera ms fcil y rpida. Compatible con Mozilla Firefox, IE, Chrome.

Utiliza datos dinmicos de prueba a partir de hojas de Excel lo cual reduce el mantenimiento de los scripts. Contiene puntos de interrupcin los cuales permiten realizar validaciones importantes. Captura de pantalla para eventos importantes durante la ejecucin de las pruebas. Reportes

DESVENTAJAS Escasa documentacin.

MERCURY QUICKTEST PROFESSIONAL ( Unified Testing Professional) Mercury QuickTest Professional provee la mejor solucin del mercado para la automatizacin de tests funcionales y de regresin. Es una solucin de ltima generacin en testing automatizado que explota el concepto de testing Keyword-Driven para simplificar radicalmente la creacin y mantenimiento de tests. Mercury QuickTest Professional satisface las necesidades de todo tipo de usuarios (con conocimientos tcnicos o no), permitiendo a su compaa entregar aplicaciones de alta calidad en forma rpida y eficaz, reduciendo costos y riesgos. VENTAJAS Permite la creacin del test automatizado y la documentacin en un solo paso, gracias a su tecnologa de Auto-Documentation. Realiza una validacin minuciosa de aplicaciones gracias a sus capacidades de CheckPoint. Facilita la parametrizacin de cualquier objeto, acciones, puntos de verificacin y valores de salida a travs de su tabla de datos integrada. QuickTest Professional soporta el testing funcional de todos los ambientes empresariales, incluyendo Windows, Web, .NET, Java / J2EE, SAP, Siebel, Oracle, PeopleSoft, Visual Basic, ActiveX, emuladores de terminal, etc. Keyword Driven de QuickTest le permite insertar, modificar, parametrizar o eliminar pasos rpidamente, facilitando el mantenimiento. Soporte para Ajax

DESVENTAJAS Requiere de mayor tiempo para la creacin de los scripts

RATIONAL FUNCTIONAL TESTER Software Rational Functional Tester es una herramienta automatizada que proporciona capacidades de prueba con probadores automatizados para pruebas funcionales, pruebas de regresin, de GUI y prueba por datos. VENTAJAS Validacin de datos dinmicos con mltiples puntos de verificacin y apoyo para la coincidencia de patrn de expresin normal Los casos de prueba pueden ser codificados en Java o .Net Soporte para Ajax Genera logs de error en los cuales se identifica claramente los errores encontrados en el Script

DESVENTAJAS No tiene opcin para que los scripts se ejecuten de forma automtica.

TELERIK TEST STUDIO Herramienta de pruebas automatizadas para todo tipo de aplicaciones independientemente de su tecnologa, complejidad o interactividad. Esta herramienta apoya todas las ltimas tecnologas HTML5 , AJAX ,Silverlight y WPF. VENTAJAS Tiene una interfaz amigable lo cual permite agilizar la creacin de los script Soporte AJAX

DESVENTAJAS Los casos de prueba pueden ser codificados en .Net

Documentacin de la herramienta

Automatizacin de la ejecucin de las pruebas

Compatibilidad con navegadores ( IE, Firefox, Chrome)

Claridad en el reporte de errores

Adherencia a las aplicaciones

Parametrizacin

Documentacin casos de prueba

Soporte tcnico

HERRAMIENTA

Selenium Web

Si

Si

Java

Si

Si con Ant

Si

Si

No

No

Si

Si

Test Complete

Si

Si

Test Silk

Si

Si

VBScript, JScript, C + + Script, Script o C # DelphiScri pt. VB.NET or C#, Java

Si

No

Si

No

Integracin con Qacomplet e

Si

Si

Si

Test Whiz

Si

Muy poca Si

Java

Si

see puede ejecutar a travs de la lnea de comandos y luego realizar la programacin de la tarea con el Schedule de Windows. Si

No

Integracin con la herramient a silk central. Integracin con Jira Integracin con Quality Center

Si

Si

Si

No

Si

Si

Si -La velocidad de la ejecucin es lenta. -La herramienta genera conflictos de reconocimiento de objetos con las aplicaciones de POL y LAP

Unified Functional Testing HP

Si

.NET, Java
/ J2EE, SAP, Siebel, Oracle, PeopleSof t, Visual Basic, ActiveX .Net, Java

Si

No

Si

No

Si

No

Si

Rational Functional Tester

Si

Si

Si

No

Si

No

Integracin con la herramient a Rational

Si

Si

Observaciones
-Los scritps se deben construir mediante desarrollo de software ya que no se cuenta con la opcin para grabarlos La herramienta no se puede instalar presenta problemas con la licencia -No se ha podido crear un caso de prueba ya que la herramienta est presentando problemas

Multilenguaje

Soporte Ajax

Free

Telerik Test Studio

Si Adicional Safari

Si

.Net

Si

No

Si

No

Quality Manager No

con los prerrequisitos de instalacin Si Si Si

Definicin De Criterios:

Compatibilidad con navegadores ( IE, Firefox, Chrome): Que navegadores de internet se pueden configurar en las herramientas para la ejecucin de los casos de prueba. Documentacin de la herramienta: Existe documentacin sobre (Manual de instalacin, Manuales de Uso, posibles errores) de le herramienta. Multilenguaje: Lenguajes de programacin en los cuales se pueden codificar los script de pruebas. Parametrizacin: Permite la herramienta parametrizar (variables, propiedades, etc) en los script. Automatizacin de la ejecucin de las pruebas: La herramienta cuenta con la Opcin de programar las ejecuciones para que se ejecuten de forma automtica. Claridad en el reporte de errores: La herramienta tiene claridad en el momento de reportar los errores que se presentan en la ejecucin de los script. Free: tiene o no costo la licencia de la herramienta. Documentacin casos de prueba: Cuenta con la opcin para documentar los casos de prueba, ya sea a travs de otra herramienta o en la misma de ser posible. Soporte Tcnico: Se cuenta con el servicio que proporcione asistencia sobre los problemas que se puedan presentar con la herramienta. Adherencia a las aplicaciones: Con estas pruebas se pretende observar la compatibilidad que tiene la herramienta con las aplicaciones (La prueba de adherencia se realiz automatizando el mismo caso de prueba con las diferentes herramientas y de esta
forma se determina el reconocimiento de objetos y conflictos para la automatizacin).

Soporte AJAX: La herramienta cuenta con Soporte para la Tecnologa AJAX Observaciones: Comentarios adicionales

Precio Licencias HERRAMIENTA Selenium Web Dirver Test Complete Test Silk Costos Licencia Free Licencia Flotante $ 1999 Licencia Normal $ 4499 No se encuentra la informacin Licencia Proyecto ( 5 meses) $ 449 N/A Incluye

Soporte en lnea gratis + 4 Horas de servicios de consultora. Soporte en lnea gratis + 8 Horas de servicios de consultora. 1 da de formacin en lnea + 8 Horas de servicios de consultora.

Tets Whihz

Licencia Estndar ( 12 meses) $ 849

Licencia Permanente $ 4999

Quit Test Pro Rational Functional Tester Rational Robot

No se encuentra informacin No se encuentra informacin No se encuentra informacin Studio Test $ 2499

Telerik Test Studio Studio test Run Time $ 199 Requiere licencia de test Studio

No hay trial Web funcionales y de escritorio Web de pruebas de rendimiento Pruebas de carga Manual Testing Visual Studio plug-in Prueba de ejecucin slo Usuarios ilimitados Adecuado para servidores de prueba

RATIONAL FUNCTIONAL TESTER CARACTERISTICAS

IBM Rational Functional Tester es una herramienta para la realizacin de pruebas funcionales y de regresin automatizadas. - Pruebas funcionales - Pruebas automatizadas - Pruebas de regresin Simplifica la visualizacin y la edicin de pruebas mediante el lenguaje natural y las capturas de pantalla representadas.

RATIONAL ROBOT
IBM Rational Robot automatiza las pruebas de configuracin, funcionales y de regresin para las aplicaciones de planificacin de recursos empresariales, cliente/servidor y de comercio electrnico. - Pruebas de configuracin - Pruebas funcionales - Pruebas regresin Puede utilizar Rational Robot para distribuir pruebas funcionales entre varias mquinas, cada una de ellas con una configuracin distinta. Puede ejecutar de manera simultnea las mismas pruebas funcionales para reducir el tiempo necesario para identificar problemas con configuraciones especficas. Rational Robot admite una amplia gama de entornos y lenguajes, incluidos HTML y DHTML, Java, VS.NET, Microsoft Visual Basic y Visual C++, Oracle Developer/2000, PeopleSoft, Sybase PowerBuilder y Borland Delphi. Rational Robot realiza pruebas no solo de la interfaz de usuario de la aplicacin, sino tambin de los cientos de propiedades de sus objetos de componente, incluidos los controles de ActiveX, OCX, applets de Java y mucho ms. Rational Robot genera scripts de prueba en SQABasic

Permite a los probadores automatizar pruebas de forma flexible cuando se realizan cambios frecuentes en la interfaz de usuario de las aplicaciones con la tecnologa ScriptAssure. Le permite realizar las mismas series de acciones de pruebas con un conjunto variado de datos de pruebas.

Combina un grabador de acciones de usuario con varias opciones de personalizacin y funciones de mantenimiento de scripts inteligentes. Incorpora soporte para el control de versiones para permitir un desarrollo paralelo de los scripts de verificacin y el uso simultneo por parte de equipos distribuidos por el mundo.