Чи існують бібліотеки для методів, схожих на CART, які використовують розріджені прогнози та відповіді?

Я працюю з кількома великими наборами даних, використовуючи пакет gbm в Р. І моя матриця передбачення, і мій вектор відповідей досить рідкісні (тобто більшість записів дорівнює нулю). Я сподівався побудувати дерева рішень за допомогою алгоритму, який використовує цю обмеженість, як це було зроблено тут ). У цій роботі, як і в моїй ситуації, більшість предметів мають лише декілька з багатьох можливих особливостей, тому вони змогли уникнути безлічі марних обчислень, вважаючи, що в їхніх пунктах не вистачає даної функції, якщо в даних прямо не сказано інше. Я сподіваюсь, що я міг би отримати подібне прискорення, використовуючи такий алгоритм (а потім обернувши прискорений алгоритм навколо нього, щоб поліпшити мою точність прогнозування).

Оскільки вони, схоже, не публікували свій код, мені було цікаво, чи існують пакети чи бібліотеки з відкритим кодом (будь-якою мовою), оптимізовані для цього випадку. В ідеалі я хотів би щось, що могло б взяти розріджену матрицю прямо з Matrixпакета R , але я візьму те, що можу отримати.

Я озирнувся, і здається, що щось таке повинно бути там:

• Хіміки, здається, стикаються з цим питанням (стаття, яку я зв'язав вище, стосувалася того, щоб навчитися знаходити нові лікарські сполуки), але реалізація, яку я міг знайти, була або власною, або високоспеціалізованою для хімічного аналізу. Можливо, одна з них може бути переглянута.

• Класифікація документів також здається областю, в якій корисне навчання з розріджених просторів функцій (більшість документів не містять більшості слів). Наприклад, є похила посилання на розріджені реалізації C4.5 (віз-подібний алгоритм) в цій статті , але без коду.

• Відповідно до списку розсилки , WEKA може приймати розріджені дані, але на відміну від методу в роботі, яку я згадав вище, WEKA не оптимізована для того, щоб реально скористатись цим з точки зору уникнення марних циклів процесора.

Спасибі заздалегідь!

Я хотів би побачити орієнтир їх рідкої реалізації щодо сучасних CART-реалізацій, які використовуються в rf. Цей документ є досить старим з точки зору прогресу в цій галузі, і я був би здивований, якби він все-таки забезпечив значну швидкість.

Частина причини полягає в тому, що використання розумного алгоритму сортування на зразок Quicksort при розщепленому пошуку може забезпечити майже O (n) продуктивність для майже постійних функцій (включаючи рідкісні). Швидкі реалізації також відстежують, коли функція стала постійною у гілці дерева і її більше не слід розглядати. Щільні представлення функцій забезпечують швидкі перегляди у кеш-процесорі, таким чином вам знадобиться справді розумне рідке представлення, щоб виграти в циклах процесора.

Про це йдеться тут , тут , тут .

Я фактично реалізував розріджене представлення даних в один момент свого пакету rf CloudForest, але виявив, що це повільніше, ніж щільне подання даних, і відмовився від нього, хоча це і надало деякі переваги в пам'яті.

Моя рекомендація - спробувати scikit learn або cloudforest, вбудований у прискорені речі, і побачити, чи досить швидко це. І те й інше можна розширити за допомогою спеціальних критеріїв підвищення, якщо ви хочете зробити щось нестандартне. (Я фактично писав хмарний ліс спочатку для роботи з великими високовимірними наборами генетичних даних, які дуже схожі на те, що ви описуєте).

Напевно, є невеликий шанс для будь-якого коду, який би скористався цим - вам скоріше потрібно щось написати самостійно.
Однак інший варіант - перетворити ваші дані, щоб зменшити розмір ваших даних, видаливши зайву інформацію. Важко сказати, як без інформації про ваші дані, але, можливо, ви можете об'єднати деякі функції, які, як відомо, не перетинаються, частини PCA або змінити представлення деяких дескрипторів? Крім того, якщо ви скажете, що ваша відповідь також є рідкою, можливо, доцільно зменшити вибірку об'єктів з 0 у відповідь?

Ви подивилися caretпакет на R? Він надає інтерфейс, що полегшує використання різноманітних моделей, включаючи деякі для рекурсивного розподілу, наприклад rpart, ctreeта ctree2.