Как тестировать AI-приложения: рубрики
Если вы используете одни LLM для оценки других, использование прилагательных в промптах — плохая идея. Вместо них лучше использовать рубрики.…
Тестирование AI-приложений
Как тестировать AI-приложения: модель-судья и золотой стандарт
Если вы используете одни LLM для оценки других, всегда лучше иметь под рукой «золотой стандарт» (golden standard) для сравнения. В…
Как тестировать AI-приложения?
Традиционный QA, даже вооруженный до зубов инструментами, принципиально не отличается от тестирования без них. Вы планируете покрытие, опираясь на классический…
Тестовое задание AI QA тестировщика
Задание, конечно, выдуманное. Но суть показывает хорошо. Сценарий тестового задания:Приложение для медицинских консультаций получает шквал жалоб от пользователей, хотя внутренняя…
LLM-as-a-Judge (модель-судья) и QA-терминология
Если вы задумываетесь о переходе из QA в ML-инженеры, стоит начать с изучения основных концепций больших языковых моделей (LLM) и…
Один день тестировщика AI-приложений
Один мой день (разумеется, без нарушения NDA!) 09:30 – 10:30 Смена архитектурыНачала день с синка по нашему агентскому воркфлоу (agentic…
В чем разница: Просто QA, QA с AI-инструментами и AI QA?
Перестаньте говорить о AI тестировании, если речь идет всего лишь об использовании ChatGPT для написания скриптов. На рынке сейчас возникла…
Как стать тестировщиком AI-приложений
Если вы работаете QA automation и посматриваете в сторону AI, то моя история смены специализации может вам пригодиться. Некоторое время…