Становимся продвинутым QA

Public

Просмотреть канал

Не можете присоединиться? @be_pro_qa

920 Участники

Обновлено: May 5, 2026 at 5:04 AM

Становимся продвинутым QA

Тестирование AI-приложений и не только от QA-менторов с IT-опытом 10-25 лет

@be_pro_qa is a growing community focused on 1025 and related topics

Рейтинг

Глобальный рейтинг

#456

Рейтинг по языку

#45

Рейтинг по категории

#23

-1

Рост участников (Последние 3 дней)

Всего: 920

Рост за 24ч: +0 0%

Последние посты

Становимся продвинутым QA

26 апр. 2026 г., 15:56

🎥 Video

🕹 Тренировка по понедельникам

Сейчас будет magic.

AI-симулятор собеседований Mentorpiece Sim позволяет потренироваться не только в классическом тестировании, но и в тестировании AI-приложений.
Поэтому в упражнении https://mentorpiece.org/sim/AI1.30 учимся тестировать сразу 5 AI-моделей:

1. Пишем промпт, который просит AI-модель ответить на определенный вопрос списком.
Выполняем промпт в 5 AI-моделях (кнопка "Получить ответ"):
- Qwen3
- Meta Llama 3.3
- Google Gemma 3
- Claude Sonnet 4.5
- ChatGPT 5.1

2. Анализируем ответ каждой модели и рассчитываем несложную метрику Precision - сколько правильных пунктов в каждом списке (в видео ответ лучшей AI-модели - это ChatGPT 5.1, у которой 4 правильных ответа из 5 или 0.8)

3. 👀 Как убедиться, что мы посчитали правильно? Для этого вводим свой ответ внизу страницы тренажера и привлекаем самую мощную AI-модель - она работает по технологии "LLM в роли суди". Эта мощная AI-модель проверяет, что ответили 5 AI-моделей и что ответили мы.

Прежде чем выполнять это упражнение, лучше сначала понять, что такое Precision и какие еще есть метрики для тестирования AI-приложений. Для этого:

Запланируй не позже конца новогодних праздников 🎄 прочитать первую часть бесплатного курса https://mentorpiece.org/100/ai/1/ ( https://mentorpiece.ru/100/ai/1/). В этот курс встроено более 20 упражнений Mentorpiece Sim.

Обещаем, что будет интересно!

#sim

805

Становимся продвинутым QA

26 апр. 2026 г., 15:56

📷 Photo

🦾 Как тестировать AI-приложения - вторая и третья часть бесплатного курса

Вторая часть самая интересная, ведь она про LLM метрики:
- Какие пять метрик являются ключевыми для оценки качества работы AI-приложения?
- Почему их нельзя рассчитать математически и как их тогда получают?
- Что такое состязательное тестирование AI (Adversarial Testing)?
- Как протестировать AI-приложение на прямые, непрямые инъекции и джейлбрейкинг?

Можно получить не только знания, но и первые практические навыки тестирования AI-приложений в симуляторе Mentorpiece Sim.

Напомним: этот курс НЕ об использовании AI-тулов при написании тест-кейсов или автотестов для тестирования классических приложений. Подобные навыки любой QA-инженер может получить самостоятельно.
Это первый русскоязычный курс о тестировании именно AI-приложений.

Первая часть курса уже https://mentorpiece.org/100/ai.

Вторую и третью выложим бесплатно, когда число репостов (переслать/forward) ➡️ https://t.me/to_be_qa ⬅️ достигнет 100. Upd: 100 репостов собрано!

Становимся продвинутым QA

26 апр. 2026 г., 15:56

📷 Photo

Еще есть шанс всё исправить

Информация для твоего знакомого, если он жалуется, что после его курса по тестированию мало кто находит работу и уверен, что потратил деньги впустую.

Выбирающему обучение новичку сложно отличить качественное IT-обучение от плохого. И он обычно не в курсе, что после большинства IT-курсов получают работу только 10% от всех поступивших. Он узнаёт это уже после оплаты и начала учебы - когда поздно что-то менять.

Ежегодно в Mentorpiece приходят доучиваться студенты с десятка разных IT-курсов. Мы даем им те практические навыки, которые ждут работодатели, и помогаем все-таки начать IT-карьеру.
Увы, такое исправление ошибки по карману не каждому - ведь деньги за предыдущее обучение уже не вернуть. 😢

Один раз в год ( https://t.me/to_be_qa, https://t.me/to_be_qa) мы организуем гуманитарный QA-трансфер.

Это не просто возможность сделать переход
"обычный IT-курс с уровнем трудоустройств 10%"
⬇️
"курс №1 по трудоустройству, после которого в IT стартует до https://mentorpiece.org/audit/#2024.4 поступивших."

Это возможность не потерять уже потраченные 💵.

До 21 декабря напиши в https://t.me/mentorpiece_ru_bot, где сейчас учишься и почему надежды получить качественное IT-обучение не сбылись (200-300 слов). Получи от нас подтверждение, пройди бесплатный курс-профориентацию и при успехе учись на https://mentorpiece.org/аудит/#2024.4 IT-курсе. Стоимость предыдущего курса зачтется при оплате обучения.

Становимся продвинутым QA

26 апр. 2026 г., 15:56

Многие начали стучаться за доступом к курсу по тестированию AI.

Выложим бесплатно курс по тестированию AI-приложений,
если число репостов (переслать/forward)
➡️ https://t.me/to_be_qa ⬅️ достигнет 100.

Публично статистика по репостам не отображается, поэтому обновляем ее здесь: [82]

685

Становимся продвинутым QA

26 апр. 2026 г., 15:56

🦾 Бесплатный курс "Как тестировать AI-приложения"

100 репостов https://t.me/to_be_qa, но 77 тоже демонстрируют интерес к теме.

Поэтому выкладываем первую часть курса:

https://habr.com/ru/articles/977718/

747

Становимся продвинутым QA

26 апр. 2026 г., 15:56

pinned «🦾 Бесплатный курс "Как тестировать AI-приложения" 100 репостов не набрали, но 77 тоже демонстрируют интерес к теме. Поэтому выкладываем первую часть курса: https://habr.com/ru/articles/977718/»

Становимся продвинутым QA

26 апр. 2026 г., 15:56

📷 Photo

🦾 Что происходит на русскоязычном рынке с тестированием AI-приложений?

Для начала напоминалка, так как многие постоянно путают использование AI-тулов и тестирование AI-приложений:
Первое - это использование AI-тулов при написании тест-кейсов или автотестов для тестирования классических приложений. Подобные навыки любой действующий QA-инженер может получить самостоятельно.

Второе - тестирование именно AI-приложений. Этим и занимается #AI_QA_инженер.

Когда работаешь в IT 25 лет, уже всё знаешь и хочется попробовать что-то новое. Поэтому последние пару лет я специализировалась в тестировании AI-стартапов. А сейчас прокачиваю экспертизу как AI-QA-инженер на AI-проекте в известной международной IT-компании.
И это действительно интересно - ведь подходы к обеспечению качества AI-приложений радикально отличаются от классических.

Тема тестирования AI-приложений на русскоязычном рынке пока не сильно актуальна - бум AI сюда еще не дошел. Много кто использует AI в работе, но именно серьезной AI-разработки очень мало.
В этом году плотно пообщалась с десятком AI-компаний со всего мира, включая основанных выходцами из Google. И только одна AI-команда была русскоязычной, из крупного банка (ставьте 🤔 - в комментах напишу сколько платят в РФ AI-QA-инженерам ). В мониторинге вакансий видно, что на англоязычном рынке вакансий для AI-тестировщиков на два порядка больше.

- Пора всё бросать и бежать учить тестирование AI? Вряд ли.
- Нужно ли следить за трендами, чтобы быть наготове? Однозначно да.

Полученный мной опыт говорит, что AI действительно может забрать часть хлеба у разработчиков, но тестировщикам работы только добавится.

P. S. По теме - бесплатный бонус для всех обучавшихся в Mentorpiece с момента создания (в следующем году юбилей - 10 лет!):
Недавно завершились впервые прошедшие занятия по тестированию AI-приложений в основном https://mentorpiece.org/rus/. Как и всегда, мы постарались не пересказать теорию (чтобы “знать”), а внедрить побольше практики (чтобы “уметь”). Например, при помощи AI-тренажера можно своими руками потестировать пять разных AI-моделей!

Собрали учебник и AI-тренажер в отдельный бесплатный курс “Как тестировать AI-приложения” для алюмни.

Если пропустили анонс в закрытой группе алюмни, для получения доступа пишите в https://t.me/mentorpiece_consult

https://mentorpiece.org/лилия-урмазова/

Становимся продвинутым QA

26 апр. 2026 г., 15:56

💵 Сколько на самом деле получали тестировщики в 2025 году

Спойлер: общая тенденция негативная, но есть и исключения.

https://habr.com/ru/articles/976668/

610

Становимся продвинутым QA

26 апр. 2026 г., 15:56

📷 Photo

Если ты что-то не успеваешь, не говори об этом лиду
https://t.me/bad_qa_mentor

795

Становимся продвинутым QA

26 апр. 2026 г., 15:56

Как мы cделали AI-симулятор собеседований для QA и не сошли с ума при его тестировании

Продолжаем разбираться с тем, как выглядит ближайшее будущее тестирования:
https://habr.com/ru/articles/963076/

цикл #AI_QA_инженер

702

Showing 10 of 10 posts

No more posts

Рейтинг

Требуется вход

Отзывы пользователей (0)

Пока нет отзывов. Будьте первым, кто поделится своим опытом!

Становимся продвинутым QA

Становимся продвинутым QA

Рейтинг

Рост участников (Последние 3 дней)

Последние посты

Рейтинг

Отзывы пользователей (0)

Похожие каналы Telegram

ProRun.uz

Настя Малова | Обществознание ЕГЭ Умскул

Общероссийский Профсоюз образования

Александр Долгих | Русский ЕГЭ 2026 | Грамотным быть модно | Умскул

Конкурс социальных архитекторов

Аля Виноградова | История ЕГЭ 2026 | Такая вот история | Умскул

Быть, а не казаться!

Дядя Саша | Информатика ЕГЭ | Экстремум

Похожие каналы Telegram

ProRun.uz

Настя Малова | Обществознание ЕГЭ Умскул

Общероссийский Профсоюз образования

Александр Долгих | Русский ЕГЭ 2026 | Грамотным быть модно | Умскул

Конкурс социальных архитекторов

Аля Виноградова | История ЕГЭ 2026 | Такая вот история | Умскул

Быть, а не казаться!

Дядя Саша | Информатика ЕГЭ | Экстремум

Отзывы пользователей (0)

Последние посты