Наука про дані

Я хотів би знати, як співставити поштові адреси, коли їхній формат відрізняється або коли одна з них введена в оману. Поки що я знайшов різні рішення, але думаю, що вони досить старі і не дуже ефективні. Я впевнений, що існують кращі методи, тож якщо у вас є для мене посилання, …

14 text-mining  data-cleaning 

З статті Хінтона я розумію, що T-SNE робить хорошу роботу в збереженні місцевих подібностей і гідній роботі в збереженні глобальної структури (кластеризації). Однак мені не ясно, чи можна точки, що з'являються ближче у 2D-візуалізації t-sne, можна вважати "більш схожими" точками даних. Я використовую дані з 25 функціями. Як приклад, спостерігаючи …

14 visualization  dimensionality-reduction  tsne  manifold 

Я шукаю зробити k-означає кластеризацію на наборі 10-мірних точок. Улов: є 10 ^ 10 балів . Я шукаю лише центр та розмір найбільших кластерів (скажімо, від 10 до 100 кластерів); Мене не цікавить, в якому кластері закінчується кожна точка. Використання k-засобів конкретно не важливо; Я просто шукаю подібний ефект, будь-який …

14 clustering  k-means 

У мене є набір даних користувачів, які купують продукти з веб-сайту. Атрибути, які я маю, - це ідентифікатор користувача, регіон (штат) користувача, ідентифікатор категорій продукту, ідентифікатор ключових слів продукту, ідентифікатор ключових слів веб-сайту та витрата товару на витрату. Метою є використання інформації про продукт та веб-сайт, щоб визначити, хто такі …

14 machine-learning  data-mining  classification  clustering 

Я працюю над проблемою класифікації. У мене є набір даних, що містить рівну кількість категоричних змінних і безперервних змінних. Як я дізнаюся, яку техніку використовувати? між деревом рішення та логістичною регресією? Чи правильно вважати, що логістична регресія буде більш придатною для безперервної змінної, а дерево рішення буде більш придатним для …

14 classification  logistic-regression  decision-trees 

Чи існують бібліотеки машинного навчання для Ruby, які є відносно повними (включаючи широкий спектр алгоритмів керованого та непідконтрольного навчання), надійно перевірених та добре задокументованих? Мені подобається наукове навчання Python за його неймовірну документацію, але клієнт вважає за краще написати код у Ruby, оскільки саме з цим вони знайомі. В ідеалі …

14 machine-learning 

У мене є набір даних із такими специфікаціями: Навчальний набір даних з 193 176 зразками з 2821 позитивом Тестовий набір даних із 82 887 зразків із 673 позитивними Є 10 функцій. Я хочу виконати двійкову класифікацію (0 або 1). Проблема, з якою я стикаюся, полягає в тому, що дані дуже …

14 machine-learning  python  classification  logistic-regression 

У мене є дуже упереджений бінарний набір даних - у мене на 1000 разів більше прикладів негативного класу, ніж позитивного класу. Я хотів би тренувати ансамбль дерев (наприклад, додаткові випадкові дерева або випадковий ліс) за цими даними, але важко створити набори навчальних наборів, які містять достатньо прикладів позитивного класу. Якими …

14 machine-learning  feature-selection  unbalanced-classes 

Я намагаюся зрозуміти, як всі компоненти "великих даних" грають разом у реальному випадку використання, наприклад, hadoop, monogodb / nosql, storm, kafka, ... Я знаю, що це досить широкий спектр інструментів, які використовуються для різних типів, але я хотів би дізнатися більше про їх взаємодію в додатках, наприклад, мислення машинного навчання …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Для нейронних мереж у нас є теорема універсального наближення, яка стверджує, що нейронні мережі можуть наближати будь-яку безперервну функцію на компактному підмножині .RнRnR^n Чи є подібний результат для дерев, що підсилюють градієнт? Це здається розумним, оскільки ви можете продовжувати додавати більше гілок, але я не можу знайти жодного формального обговорення …

14 decision-trees 

Я треную конволюційну нейронну мережу для класифікації зображень за умовами туману (3 класи). Однак для кожного з приблизно 150 000 зображень у мене також є чотири метеорологічні змінні, які можуть допомогти передбачити класи зображень. Мені було цікаво, як я можу додати метеорологічні змінні (наприклад, температуру, швидкість вітру) до існуючої структури …

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

Якщо я перегляну одне з багатьох джерел для класів Imagenet в Інтернеті, я не можу знайти жодного класу, пов’язаного з людьми (і ні, жнивець - це не той, хто збирає урожай, але це те, що я знав, як тато довгі ноги, такий собі павук :-). Як це можливо? Я б, …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Я інженер з інформатики, що не маю досвіду в статистиці чи вдосконаленій математиці. Я вивчаю книгу « Машинне навчання Python» від Рашка та Мирджалілі, але коли я спробував зрозуміти математику машинного навчання, я не зміг зрозуміти велику книгу, яку друг запропонував мені «Елементи статистичного навчання» . Чи знаєте ви простіші …

14 machine-learning  statistics  reference-request  math 

Сторінка Вікіпедії, яка цитує "Елементи статистичного навчання", говорить: Як правило, для завдання класифікації з функцій, ⌊ √ppp функції використовуються в кожному розділі.⌊ стор-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Я розумію, що це досить гарна освічена здогадка, і це, мабуть, було підтверджено емпіричними свідченнями, але чи є інші причини, чому можна вибрати квадратний корінь? Чи …

14 statistics  random-forest  optimization  evaluation  sampling 

Я намагаюся створити нейронну мережу, використовуючи часовий ряд як вхідний, щоб тренувати її на основі типу кожної серії. Я читав, що за допомогою RNN можна розділити вхід на партії та використовувати кожну точку часового ряду на окремі нейрони та врешті тренувати мережу. Що я намагаюся зробити, це використовувати декілька часових …

14 time-series  rnn