Чи повинні тестувальники автоматизувати свою роботу?

Ми намагаємось налаштувати наш процес тестування. Ми задаємось питанням, чи повинні наші тестери розробити автоматизовані тести регресії, чи розробники повинні це зробити.

А як щодо інших типів автоматизованих тестів? Чи повинні їх випробовувати розробники?

Я кажу, що тестувальники повинні розробити автоматизовані тести - вони мають підхід до коду "зовнішньої пари очей", і виявлять (або це просто "може"?) Плямочки, про які ви ще не думали, не кажучи вже про обробку .

Плюс їх розуміння функціональних вимог може бути вищим рівнем, ніж розуміння розробників - так що сидіти між жорсткими знаннями низького рівня програміста, але не настільки високим рівнем, ніж рівень бакалавра.

Якщо ви можете автоматизувати його, автоматизуйте.

Залиште тестерів вільних, щоб знайти речі, які ви не можете автоматизувати. І коли вони знайдуть нову помилку, якщо її можна автоматизувати та додати до автоматизованих тестів, додайте її.

На мою думку, розробники та тестери відповідають за різні типи тестів.

При розробці логіки розробник повинен також писати тести для інтеграції та інтеграції. Це дозволить розробнику переконатися, що те, що вони написали до цього часу, працює за призначенням. Крім того, ці тести все ще існуватимуть для запуску розробника, коли вони вносять майбутні зміни. Після того, як логіка буде завершена, розробник може бути впевнений, що написане працює так, як вони розуміють технічні характеристики і можуть перейти до тестера.

З цього моменту тестер повинен відповідати за написання загальносистемних тестів, які забезпечують роботу бізнес-логіки за призначенням.

Зважаючи на те, що розробники часто занадто прив’язані до коду, тестери повинні мати можливість допомогти очистити тести розробників, але не навпаки.

На мій досвід, тестер, який встановлює та виконує тестовий випадок автоматично, насправді відрізняється від того, як це робить розробник. Тестери будуть більше думати про те, як отримати максимум інформації з тестового випадку, як швидко виконувати тести, як підтримувати тести ремонтопридатними тощо. Найголовніше, що тестери побачать нюанси покриття тесту, які пропустять розробники.

Якщо ресурсів для тестових розробок мало, розробники можуть допомогти - проте тестувальник повинен уважно переглянути свою роботу. Розробники повинні працювати над світильниками та тестовими інструментами перед тим, як писати фактичні тестові випадки, а розробники ніколи не повинні писати тестові справи для власного коду. Допомога розробникам у тестуванні має переваги - це відкриває диски для інших частин продукту, і тестування може допомогти їм стати кращими розробниками. Однак так само, як робота молодшого розробника ніколи не обходиться без перегляду коду, робота QA розробника повинна отримати огляд якості від когось, хто має більше тестування досвіду.

Відредаговано, щоб додати: Я SDET з 5-річним досвідом роботи. Я працюю з великими розробниками з досвідом 10+ років кожен, і останнім часом працюю з ними, щоб пройти вузьке вузьке місце.

Одне, що я дуже хотів би бачити, - це надійні інструменти автоматизації для тестувальників, які дозволять їм ефективно фіксувати свій прогрес за допомогою тестового сценарію, а потім дозволять автоматично виконувати цей сценарій у майбутньому. Особливо, якщо це також полегшує запуск одного і того ж сценарію в різних версіях операційної системи, без тестера, щоб пройти їх усі вручну.

На жаль, для продукту, над яким я працюю, звичайно, жоден із інструментів на ринку не справляється із цією справою. Але варто пам’ятати про це і дивитися на те, що є на ринку, якщо є щось, що могло б працювати для того, що ви робите.

Одне важливе відмінність, яке насправді важливо, це таке: чи ваші тестери просто перевіряють , чи вони тестують ?

Цей запис у блозі Майкла Болтона пояснює це краще, але по суті: чи прагнуть вони лише підтвердити поведінку, чи шукають проблеми з системою?

Я думаю, що також корисно враховувати квадрати Agile Testing (Брайан Марік спочатку описав це, але я натрапив на них у книзі Лізи Кріспін та книзі Джанет Грегорі "Спритні тестування": навіть якщо ви не дотримуєтесь методу Agile Development, я думаю, що відмінність між тестами, які критикують продукт, і тестами, які підтримують команду, дійсно варті при розгляді автоматизації та намаганні розробити план того, хто що робить, і чому.

Наприклад, одиничні перевірки, написані розробниками, виступають як детектори змін, що дозволяє вам ловити регресії рано, коли вони регулярно повторно запускаються - це тести, які підтримують команду. Перевірки регресії на системному рівні, які автоматизовані, щоб їх можна було регулярно повторно запускати, а також підтримувати команду шляхом раннього лову регресії та доповнення до тестування підрозділів, зробленого розробниками. Це звільняє час ваших тестерів на тестування, яке критикує продукт - наприклад, дослідницьке тестування. Або можливо застосувати деякі автоматизовані перевірки на стрес-тест продукту.

Інше, що мені дуже подобається у презентації Лізи Кріспін, яку я пов’язав, - це те, що вона вказує, що автоматизацію можна також використовувати для підтримки ручного тестування - створення тестових даних, автоматизації, які використовуються для отримання сценарію до того, на який ви хочете сьогодні зосередити увагу, приклад.

Розглянувши ці дві статті, ми сподіваємось, допоможуть вам проаналізувати, який тип тестування ви хочете зробити, полегшити вибір того, що може бути придатним для автоматизації, і з'ясувати, які біти автоматизації більше підходять для тестування, а які розробниками.