Як передбачити результат лише з позитивних випадків як навчання?

Для простоти, скажімо, я працюю на класичному прикладі спам / не-спам-листів.

У мене є набір 20000 електронних листів. З них я знаю, що 2000 - це спам, але я не маю жодного прикладу не-спам-листів. Я хотів би передбачити, чи залишилися 18000 спамом чи ні. В ідеалі результат, який я шукаю, - це ймовірність (або значення p), що електронний лист є спамом.

Який алгоритм (и) можна використовувати, щоб зробити обґрунтований прогноз у цій ситуації?

На даний момент я думаю про метод, заснований на відстані, який би сказав мені, наскільки мій електронний лист схожий на відомий спам-лист. Які у мене варіанти?

Більш загально, чи можу я користуватися контрольованим методом навчання, чи мені обов'язково потрібно мати у своєму навчальному наборі негативні випадки? Чи обмежуюся я підходами навчання без нагляду? А як щодо напівпідконтрольних методів?

Це називається навчанням за позитивними і немеченими даними, або навчанням через короткий термін, і є активною нішею нагляду під наглядом.

Якщо коротко, важливо використовувати незазначені дані в процесі навчання, оскільки це дає значно покращені моделі порівняно з так званими однокласними класифікаторами, які навчаються виключно за відомими позитивами. Дані без маркування можна включити декількома способами, переважаючими підходами є наступні:

• якимось чином виводити набір ймовірних негативів із немечених даних, а потім підготувати контрольовану модель, щоб відрізнити відомі позитиви від цих виведених негативів.
• трактуйте неназначений набір як негативний і якось враховуйте шум етикетки, який, як відомо, присутній.

Я активний у цій галузі, і замість того, щоб викласти це тут для вас, рекомендую прочитати два мої статті та посилання на них, щоб отримати огляд домену:

• Сучасний прийом для вивчення моделей на основі позитивних і незазначених даних (офіційна публікація доступна тут ): http://arxiv.org/abs/1402.3144
• Методика обчислення часто використовуваних показників ефективності без відомих негативів (розглядається, це перший у своєму роді): http://arxiv.org/abs/1504.06837

Я припускаю, що у ваших 18000 випадків не так багато випадків спаму. Для використання підходу під контролем навчання до цього потрібно мати у своїх даних більше 1 категорії / класу. Оскільки ви знаєте, що 2000 випадків є спамом, ви можете позначити решту 18000 випадків як "невідому категорію" і навчити будь-яку контрольовану модель навчання передбачати, чи є справа у спамі чи невідомій категорії. Потім перевірте точність вибіркової моделі, щоб побачити, наскільки добре працює модель, щоб розрізнити дві категорії. Якщо вона працює добре, то моє припущення щодо кількох випадків спаму в категорії "невідомо" є обґрунтованим. Якщо це не добре, тоді вам доведеться використовувати непідвладного учня (наприклад, kmeans тощо) для кластеризації та визначення окремих однорідних груп у ваших даних. Потім визначте, які кластери містять найбільше 2000 спам-листів, а які - ні, і позначати їх відповідно спамом та не спамом. Далі ви можете приступити до моделювання за допомогою контрольованого учня, як я описав раніше.

Те, про що йдеться в ОП, - це однокласне класифікаційне завдання, яке є дуже складним.

Про це завдання існує безліч робіт у різних галузях дослідження. Я також написав одну Ефективну схему перевірки внутрішнього авторства на основі ансамблевого навчання . Дуже легко його адаптувати для класифікації спаму / не спаму, а не авторів. Спробуйте, і повідомте мене, якщо вам потрібні додаткові деталі ...