Senior Test Automation Engineer (Python)

Czym będziesz się zajmować?

Role summary: Own quality on the two hardest surfaces of a production AI coaching platform:

the LLM agents that answer differently every run, and the API layer everything else depends on.

As AI & Backend QA Engineer you own the quality of what the model says and what the APIs return. On the AI side that means building the evaluation practice: golden sets, quality metrics, and regression detection that catch a degraded answer before a user does. On the backend side it means API test suites and consumer-driven contract testing with Pact — agreed with the client's US engineering team as a standing requirement for this role, not an optional technique.

The defining skill is localization: when an answer is wrong, you can tell whether the problem sits in the model, in the service code, or in the input data — and you bring the evidence, not a guess.

What you'll be testing:
AI core — a Python service with LangGraph agents producing streaming, non-deterministic coaching responses; this
role's primary surface
Backend APIs — a NestJS REST gateway behind Auth0, plus the services behind it
Mobile app — React Native, shipping to iOS and Android app stores; AI features surface directly in the app that
members use

Kogo poszukujemy?

Must-have skills:
3+ years in technical QA/test automation, incl. API testing on production
Python — writing/maintaining tests, pytest, fixtures
HTTP/API fundamentals — REST, JSON, status codes, headers, auth tokens
Contract testing with Pact — consumer-driven contracts (hard requirement)
Security-aware API testing — auth boundaries, token handling, malformed/hostile input
Comfort with non-determinism — assert on properties/contracts, not exact output
LLM evaluation — datasets/golden sets, response metrics, detect regressions across prompts/models
Prompt engineering — modify prompts and measure effects; aware of hallucinations and prompt injection
Backend savvy — HTTP/REST, JSON, tokens, logs, DB queries; isolate model v…

...
Czym będziesz się zajmować?

Miejsce pracy: Praca zdalna (Polska), podróże służbowe do 30% (gł. Europa/UK)

Start: ASAP (listopad 2026)

Forma współpracy: B2B z ITFS

Stawka: do 400 PLN/h + VAT

Proces rekrutacyjny: Krótka rozmowa telefoniczna z rekruterem ITFS → rozmowa rekrutacyjna → 2 rundy techniczne z Klientem → decyzja

ZAKRES OBOWIĄZKÓW
Projektowanie i wdrażanie produkcyjnych rozwiązań AI end-to-end: backend, orkiestracja danych, potoki LLM i UI.
Kluczowe decyzje architektoniczne i dbanie o skalowalność.
Warsztaty z zespołami klienta (do 30% wyjazdów): identyfikacja potoków wartości, analiza problemów biznesowych.
Budowa full-stack: API (REST/GraphQL), orkiestracja potoków, integracje z bazami wektorowymi, LangChain, Semantic Kernel, komponenty React/Angular.
Integracja z systemami legacy i wdrożenia w dynamicznym środowisku.
Tworzenie reusable resources: biblioteki, SDK, szablony promptów, dokumentacja.
Przekazywanie wniosków do zespołów produktowych, współtworzenie rozwoju platformy.
Diagnoza systemów rozproszonych, optymalizacja opóźnień, monitoring i obserwowalność.
Wdrażanie i utrzymanie w chmurze (AWS, Azure, GCP) z CI/CD, konteneryzacją i IaC.
Liderowanie wdrożeniom technicznym i budowanie zaufania z architektami, PM i zespołami klienta.

Kogo poszukujemy?

WYMAGANIA
Min. 8 lat doświadczenia w inżynierii oprogramowania,
Min. 2 lata doświadczenia w rolach bezpośrednio współpracujących z klientem (customer-facing / embedded),
Praktyczne doświadczenie w projektowaniu i wdrażaniu oprogramowania AI-native oraz integrowaniu sztucznej inteligencji w procesy biznesowe i decyzyjne,
Biegła znajomość technologii backendowych (Python, Node.js, Java) oraz frontendowych (React, Angular),
Praktyczna znajomość narzędzi i zagadnień z obszaru LLM, w tym LangChain, Semantic Kernel, prompt chaining, vector search oraz zarządzania kontekstem,
Doskonała znajomość architektury systemów, projektowania REST/GraphQL API oraz diagnozowania i optymalizacji wydajności systemó…