Почему мне нравится работать ML evaluation инженером после 20+ лет опыта в QA

Многие спрашивают, как мне живется в моей новой роли. Этот пост — ответ на вопрос.

Итак, почему мне нравится в ML evaluation:

1. Разработка сложных архитектурных решений (и да — рефакторинг!)

Я променяла стандартную автоматизацию на сложную архитектуру. Когда твои «вспомогательные таски» включают написание кастомных методов для клонирования удаленных репозиториев, где лежат датасеты, в зависимости от условий и содержимого, или работу с системными процессами, инфраструктура становится крутой инженерной задачкой. Теперь я провожу гораздо больше времени, ломая голову над паттернами и архитектурой. Чистый поддерживаемый код и постоянный рефакторинг — это то, что меня действительно зажигает.

2. Целый отдельный мир новых понятий

Что еще цепляет — качество теперь — это не просто малое количество багов в коде. Это еще и экономика токенов (оптимизация затрат), перформанс (оптимизация скорости выполнения), A/B тестирование разных моделей и понимание, как все это устроено на уровне embeddings — и что с чем сравнивать. Это головоломка с большим количеством переменных, и решить каждую такую головоломку — бесценно.

3. Prompt Engineering

Разработка «идеального» промпта — это, в сущности, тоже вид тестирования. Prompt engineering требует уникального сочетания логики, структурного мышления и глубокого понимания языка, чтобы разобраться, какая фраза промпта или отсутствие какой инструкции заставили модель галлюцинировать. Неожиданно пригодился мой лингвистический опыт, и это тоже приносит отдельную радость.

4. Математика

Математика, наконец, тоже пригодилась. Расчет метрик и применение формул добавляют научности в работу — и мне это очень нравится. Чтобы восстановить в памяти университетские знания, я даже прохожу курсы по математике для ML инженеров на Coursera. Операции с матрицами и матстат после работы добавляют челленджа в мою и без того интересную жизнь.

5. Финансовая стабильность

Все мы знаем, какая ситуация сейчас на рынке и как быстро обесцениваются навыки даже (или особенно) у опытных специалистов. Перейдя в ML направление, я могу быть уверена в актуальности своих навыков в перспективе минимум нескольких лет.

Было страшновато выходить из зоны комфорта после 20 лет опыта, но ML evaluation — это классная, красивая и сложная дисциплина на стыке программирования, Data Science и даже лингвистики, и это действительно крайне интересно.

Так что если вы чувствуете, что достигли потолка и утратили блеск в глазах — не бойтесь двигаться дальше. Учиться — это сложно, но оно того стоит.