Войти
Идея этого поста пришла мне в голову, когда неделю назад мы с менторами, SDET крупных международных компаний, на регулярной встрече обсуждали перспективы рынка автоматизаторов и пришли к довольно интересным выводам. Но прежде чем я поделюсь нашими заключениями, давайте отмотаем время на пять лет назад и вспомним, почему почти каждый мануальщик мечтал уйти в автоматизацию.
Если вы используете одни LLM для оценки других, использование прилагательных в промптах — плохая идея. Вместо них лучше использовать рубрики.
Если вы используете одни LLM для оценки других, всегда лучше иметь под рукой «золотой стандарт» (golden standard) для сравнения. В противном случае ваш «судья» полагается только на собственную память и может галлюцинировать гораздо чаще, особенно если вы работаете в узкопрофессиональной нише.
Традиционный QA, даже вооруженный до зубов инструментами, принципиально не отличается от тестирования без них. Вы планируете покрытие, опираясь на классический тест-дизайн:
Домашнее задание по оценке навыков ML evaluation: как оно выглядит и чего ожидают работодатели?
Если вы задумываетесь о переходе из QA в ML-инженеры, стоит начать с изучения основных концепций больших языковых моделей (LLM) и способов оценки их результатов. Одна из ключевых идей здесь — оценка работы «младшей» модели с помощью «старшей» (вместо или вместе с проверкой человеком).
Один мой день (разумеется, без нарушения NDA!). 09:30 – 10:30 Смена архитектуры Начала день с синка по нашему агентскому воркфлоу (agentic workflow).
На рынке сейчас царит терминологическая путаница: под вывеской "AI тестирования" скрываются три принципиально разные роли, и смешивать их при найме или поиске работы - дорогая ошибка.
Если вы работаете QA automation и посматриваете в сторону AI, то моя история смены специализации может вам пригодиться. Некоторое время назад я перешла из QA в ML evaluation.