Шаблони та практики веб-вискоблювання в .Net (C #) [закрито]

Я буду складати додаток для автоматизації зовнішнього веб-сайту / програми. У деяких випадках мені потрібно буде переходити по сайту так, як користувач (деякі посилання, за якими я повинен переходити, неможливо передбачити, і їх треба розібрати з відповіді)

Я вже використовую Html Agility Pack і знаю про Tidy, якщо це потрібно.

Чи є якісь інші технології, про які я маю знати?

Чи є якісь рекомендовані зразки для швидкого налаштування у випадку зміни зовнішнього веб-додатка? Я маю на увазі інкапсуляцію валідації відповідей як певного типу стратегії або подібного шаблону, який можна легко розділити / підключити за необхідності, але будь-які конкретні пропозиції були б чудовими.

Якщо ви хочете автоматизувати навігацію зовнішнього веб-сайту так, як користувач, Watin ідеально підходить для цього. Він буде керувати веб-браузером через об'єктну модель і має широкий спектр можливостей розбору, побудованих на DOM (а також здібностей, які не є DOM, які ви знайдете в браузері, включаючи сценарії).

Ось посилання:

Watin.org

Якщо ви шукаєте можливість швидко вносити зміни для відстеження тих, хто знаходиться у зовнішньому веб-додатку, то я б розглядав сценарії. Якщо C # - це обрана вами мова, то подивіться на складання коду на льоту. Якщо ви використовуєте базу даних, код скрипту може зберігатися там, інакше звичайні текстові файли також працюватимуть.

Щодо моделей GoF, стратегія - це вибір підручника.

Інший "шаблон", який слід враховувати, тим більше, що ви згадали перевірку відповідей, використовуючи їх для вибору наступної дії, - це машина з кінцевим станом . Наприклад, стани для клієнта веб-пошти можуть бути "не входили в систему", "у папці" Вхідні "," читання повідомлення "," редагування відповіді "і т. Д. Ви б виконали якусь дію залежно від стану, а потім ґрунтуючись на відповідь, виберіть наступний стан.

Ця модель дійсно повинна випливати з проблеми, але ось кілька варіантів:

Якщо ви головним чином переймаєтесь поточною вартістю / роздратуванням: Шаблон стратегії (вже згаданий) - використовуйте це для реалізації інтерфейсів рівня компонентів та використовуйте динамічну методологію прив'язки для вирішення конкретних стратегій (реалізацій). Контейнер IOC (мені подобається Autofac в ці дні) буде добре працювати.

Якщо вам потрібно підтримати вищевказаний плюс, у вас є потреба в масштабі: Зменшити карту (хтось знає про хороший m + r fx для .net?).

Залежно від того, наскільки зміни веб-сторінки, це може бути важким. Ви можете зберігати список стандартних регулярних виразів у БД, і тоді, коли вже не працює, ви можете перебирати базовий набір з іншими, поки ви не натиснете на нього. Тоді ви хочете позначити це для подальшого використання.