QA Engineer IA
Publicada 9 de SeptiembreFunciones y/o responsabilidades
Responsable de asegurar la calidad, confiabilidad y estabilidad de los agentes de IA, mediante estrategias de validación y automatización de pruebas.
Funciones y responsabilidades:
Diseñar y ejecutar la estrategia de pruebas para agentes de IA.
Automatizar pruebas de regresión de skills y funcionalidades.
Homologar y mantener la automatización de pruebas en Playwright con C#.
Validar cada agente respecto del POC, caso de uso y criterios de aceptación definidos.
Diseñar escenarios de prueba para comportamientos esperados, excepciones y casos límite.
Definir criterios y métricas de calidad para la validación de agentes.
Identificar y documentar defectos, inconsistencias y riesgos.
Trabajar en conjunto con AI Engineers y Tech Leads, incorporando calidad durante todo el ciclo de desarrollo.
Generar trazabilidad y evidencia de las pruebas realizadas.
Requisitos excluyentes
Experiencia en QA/automatización de pruebas (3+ años), con dominio de **Playwright** (o disposición y capacidad comprobada para migrar rápidamente desde Selenium).
Conocimiento de **C#** para escribir y mantener suites de pruebas automatizadas.
Experiencia diseñando estrategias de prueba de regresión y pruebas no funcionales (performance, carga básica).
Familiaridad con integración de pruebas automatizadas en pipelines **CI/CD** (Jenkins u otro orquestador).
Comprensión de metodologías TDD/BDD y de cómo se traducen en criterios de aceptación verificables.
Capacidad de evaluar y documentar la calidad de salidas generadas por agentes de IA (no solo software determinístico): consistencia, precisión, tasa de error frente a un caso de referencia (POC).
Requisitos deseables
Experiencia previa realizando QA sobre sistemas basados en LLM/IA generativa (evaluación de alucinaciones, pruebas de regresión de prompts/skills).
Conocimiento de herramientas de calidad de código y seguridad estática (Sonar, Dependabot) y de cómo se integran como *quality gates* en el pipeline.
Experiencia en migraciones de frameworks de automatización (Python/Selenium → C#/Playwright) en proyectos reales.
Familiaridad con métricas de ingeniería (Cycle Time, tasa de aceptación, cobertura de pruebas) usadas como KPIs de cierre de fase.
Experiencia en sectores regulados (seguros, banca, salud) donde la trazabilidad de pruebas es crítica.
Requisitos mínimos
Funciones y/o responsabilidades
Objetivo del rol: Responsable de asegurar la calidad, confiabilidad y estabilidad de los agentes de IA, mediante estrategias de validación y automatización de pruebas.
Funciones y responsabilidades:
Diseñar y ejecutar la estrategia de pruebas para agentes de IA.
Automatizar pruebas de regresión de skills y funcionalidades.
Homologar y mantener la automatización de pruebas en Playwright con C#.
Validar cada agente respecto del POC, caso de uso y criterios de aceptación definidos.
Diseñar escenarios de prueba para comportamientos esperados, excepciones y casos límite.
Definir criterios y métricas de calidad para la validación de agentes.
Identificar y documentar defectos, inconsistencias y riesgos.
Trabajar en conjunto con AI Engineers y Tech Leads, incorporando calidad durante todo el ciclo de desarrollo.
Generar trazabilidad y evidencia de las pruebas realizadas.
Requisitos excluyentes
- Experiencia en QA/automatización de pruebas (3+ años), con dominio de **Playwright** (o disposición y capacidad comprobada para migrar rápidamente desde Selenium).
- Conocimiento de **C#** para escribir y mantener suites de pruebas automatizadas.
- Experiencia diseñando estrategias de prueba de regresión y pruebas no funcionales (performance, carga básica).
- Familiaridad con integración de pruebas automatizadas en pipelines **CI/CD** (Jenkins u otro orquestador).
- Comprensión de metodologías TDD/BDD y de cómo se traducen en criterios de aceptación verificables.
- Capacidad de evaluar y documentar la calidad de salidas generadas por agentes de IA (no solo software determinístico): consistencia, precisión, tasa de error frente a un caso de referencia (POC).
Requisitos deseables
- Experiencia previa realizando QA sobre sistemas basados en LLM/IA generativa (evaluación de alucinaciones, pruebas de regresión de prompts/skills).
- Conocimiento de herramientas de calidad de código y seguridad estática (Sonar, Dependabot) y de cómo se integran como *quality gates* en el pipeline.
- Experiencia en migraciones de frameworks de automatización (Python/Selenium → C#/Playwright) en proyectos reales.
- Familiaridad con métricas de ingeniería (Cycle Time, tasa de aceptación, cobertura de pruebas) usadas como KPIs de cierre de fase.
- Experiencia en sectores regulados (seguros, banca, salud) donde la trazabilidad de pruebas es crítica.