Войти
Идея этого поста пришла мне в голову, когда неделю назад мы с менторами, SDET крупных международных компаний, на регулярной встрече обсуждали перспективы рынка автоматизаторов и пришли к довольно интересным выводам. Но прежде чем я поделюсь нашими заключениями, давайте отмотаем время на пять лет назад и вспомним, почему почти каждый мануальщик мечтал уйти в автоматизацию.
Если вы используете одни LLM для оценки других, использование прилагательных в промптах — плохая идея. Вместо них лучше использовать рубрики.
Если вы используете одни LLM для оценки других, всегда лучше иметь под рукой «золотой стандарт» (golden standard) для сравнения. В противном случае ваш «судья» полагается только на собственную память и может галлюцинировать гораздо чаще, особенно если вы работаете в узкопрофессиональной нише.
Традиционный QA, даже вооруженный до зубов инструментами, принципиально не отличается от тестирования без них. Вы планируете покрытие, опираясь на классический тест-дизайн:
Домашнее задание по оценке навыков ML evaluation: как оно выглядит и чего ожидают работодатели?
Если вы задумываетесь о переходе из QA в ML-инженеры, стоит начать с изучения основных концепций больших языковых моделей (LLM) и способов оценки их результатов. Одна из ключевых идей здесь — оценка работы «младшей» модели с помощью «старшей» (вместо или вместе с проверкой человеком).
Один мой день (разумеется, без нарушения NDA!). 09:30 – 10:30 Смена архитектуры Начала день с синка по нашему агентскому воркфлоу (agentic workflow).
На рынке сейчас царит терминологическая путаница: под вывеской "AI тестирования" скрываются три принципиально разные роли, и смешивать их при найме или поиске работы - дорогая ошибка.
Если вы работаете QA automation и посматриваете в сторону AI, то моя история смены специализации может вам пригодиться. Некоторое время назад я перешла из QA в ML evaluation.
Лекция преподавателя школы Николая Мишина.
Доклад преподавателя школы Сергея Герасимова на Agile Kitchen.
Доклад преподавателя школы Сергея Герасимова на Analyst Days.
Доклад преподавателя школы Лилии Урмазовой на SQA Days EU, Рига, Латвия (английский язык).
Доклад преподавателя школы Лилии Урмазовой на Dynamic Talks, Белград, Сербия (английский язык).
Доклад преподавателя школы Лилии Урмазовой на AnalystDays.
Вебинар преподавателя школы Сергея Герасимова, посвященный часто задаваемым вопросам о найме начинающих тестировщиков в ведущие компании Москвы и Петербурга.
На вебинаре от Mentorpiece мы расскажем начинающим тестировщикам о том, что такое автоматизация тестирования и кто такие тестировщики-автоматизаторы. Стоит ли идти в автоматизацию, минуя ручное тестирование?
Какие бывают типы, виды, уровни и подходы к тестированию? Как эти понятия соотносятся друг с другом?