Войти
С весны мы публикуем ежемесячный индекс активности IT-найма - раздельно по вакансиям РФ и США. Даже если взять короткий срок наблюдений всего в 6 месяцев, можно увидеть значительное отличие в трендах.
И новички, и развивающие свою карьеру IT-специалисты всё чаще используют ChatGPT и аналоги, чтобы обсудить свои карьерные перспективы и распланировать их реализацию. Вместе с вымышленной Анной, которая в чате с GPT-6 Astra ищет свои жизненные перспективы, мы проверим, как текущее поколение AI-моделей справляется с подобными вызовами.
Ежедневный анализ открываемых и закрываемых вакансий в более чем 2000 IT-компаний начал показывать тренд роста вакансий, где требуется тестирование AI-приложений. Пусть этот рост идет от нулевой базы и пока он не очень значителен, но на фоне продолжающих падение Manual QA и Automation QA/Senior QA он внушает хоть какую-то надежду.
В июле появились признаки улучшения ситуации по Automation QA и Senior QA - число нанимающих компаний по этим ролям за месяц уменьшилось всего на 0.2%. Это минимальное падение за последние три месяца, и оно в рамках погрешности измерений.
Увы, в июне индекс активности IT-найма никаких особо хороших новостей не показывает. Число нанимающих компаний для роли Manual QA после роста в 2024 году и стабилизации в 2025 году падает уже 7-й месяц подряд.
Как определить состояние IT-рынка? Обычно ориентируются на число открытых сейчас IT-вакансий.
API Anthropic не блокирует доступ мгновенно, как только баланс достигает нуля. В итоге одна незамеченная за ночь ошибка может привести к тому, что баланс AI-токенов не просто обнулится, а уйдет в глубокий минус.
Я часто вижу, как команды внедряют LLM-as-a-Judge и радуются стабильным метрикам 1.0. На деле это не показатель качества системы, а показатель того, что «судья» слишком добрый и апрувит всё подряд, включая грубые нарушения бизнес-логики.
Многие спрашивают, как мне живется в моей новой роли. Этот пост - ответ на вопрос.
ИИ может за час сделать то, на что раньше уходили недели. Но готовы ли вы выкатить этот результат в прод без код-ревью от сеньора?
В сфере ML Evaluation, особенно при использовании подхода LLM-судьи, мы часто попадаемся в ловушку «гало-эффекта» (Halo Effect). Если ответ тестируемой AI-модели звучит авторитетно и профессионально, LLM-судья автоматически ставит высокий балл, напрочь упуская из виду смысл.
Идея этого поста пришла мне в голову, когда неделю назад мы с менторами, SDET крупных международных компаний, на регулярной встрече обсуждали перспективы рынка автоматизаторов и пришли к довольно интересным выводам. Ещё несколько лет назад путь из manual QA в автоматизацию был очевидным апгрейдом:
Когда вы используете одну LLM для оценки других, прилагательные в промптах работают против вас. Слова вроде «хорошо», «плохо», «вежливо» - это размытые ярлыки, которые судья интерпретирует через призму своих обучающих данных, а не вашей бизнес-логики.
Если вы используете одну LLM для оценки других, всегда лучше иметь под рукой «золотой стандарт» для сравнения. В противном случае ваш «судья» полагается только на собственную память и может галлюцинировать гораздо чаще, особенно в узкопрофессиональной нише.
Традиционный QA, даже вооруженный до зубов AI-инструментами, принципиально не отличается от тестирования без них. Вы планируете покрытие, опираясь на классический тест-дизайн:
Ранее меня просили рассказать про subj. Итак, домашнее задание по оценке навыков ML Evaluation Engineer:
Если вы задумываетесь о переходе из QA в ML-инженеры, стоит начать с изучения основных концепций больших языковых моделей (LLM) и способов оценки их результатов. Одна из ключевых идей здесь - оценка работы «младшей» модели с помощью «старшей» (вместо или вместе с проверкой человеком).
Один мой день (разумеется, без нарушения NDA!). 09:30 – 10:30 Смена архитектуры Начала день с синка по нашему агентскому воркфлоу (agentic workflow).
На рынке сейчас царит терминологическая путаница: под вывеской "AI тестирования" скрываются три принципиально разные роли, и смешивать их при найме или поиске работы - дорогая ошибка.
Если вы работаете QA automation и посматриваете в сторону AI, то моя история смены специализации может вам пригодиться. Некоторое время назад я перешла из QA в ML evaluation.
Лекция преподавателя школы Николая Мишина.
Доклад преподавателя школы Сергея Герасимова на Agile Kitchen.
Доклад преподавателя школы Сергея Герасимова на Analyst Days.
Доклад преподавателя школы Лилии Урмазовой на SQA Days EU, Рига, Латвия (английский язык).
Доклад преподавателя школы Лилии Урмазовой на Dynamic Talks, Белград, Сербия (английский язык).
Доклад преподавателя школы Лилии Урмазовой на AnalystDays.
Вебинар преподавателя школы Сергея Герасимова, посвященный часто задаваемым вопросам о найме начинающих тестировщиков в ведущие компании Москвы и Петербурга.
На вебинаре от Mentorpiece мы расскажем начинающим тестировщикам о том, что такое автоматизация тестирования и кто такие тестировщики-автоматизаторы. Стоит ли идти в автоматизацию, минуя ручное тестирование?
Какие бывают типы, виды, уровни и подходы к тестированию? Как эти понятия соотносятся друг с другом?