Наука про дані

У мене є кадр даних, який, серед іншого, містить стовпчик кількості минулих мілісекунд з 1970-1-1 років. Мені потрібно конвертувати цей стовпець ints у дані часових позначок, тому я можу в кінцевому підсумку перетворити його у стовпчик даних timetime, додавши серію стовпців часової мітки до серії, яка повністю складається зі значень …

13 python  time-series  data-cleaning  pandas 

Я використовую випадковий класифікатор лісового науку і хочу вивчити важливість функції, наприклад, у цьому прикладі . Однак мій результат зовсім інший, в тому сенсі, що значення важливості функції майже завжди більше, ніж значення функції (див. Додане зображення). Чи можна мати таку поведінку, чи я роблю деякі помилки, будуючи це? Мій …

13 python  random-forest 

У мене є текстові документи, які містять переважно списки предметів. Кожен елемент - це група з декількох маркерів різних типів: ім’я, прізвище, прізвище, день народження, номер телефону, місто, окупація тощо. Маркер - це група слів. Елементи можуть лежати на кількох рядках. Елементи з документа мають приблизно однаковий синтаксис лексеми, але …

13 data-mining  clustering  text-mining  time-series  correlation 

Y( х )Y(x)Y(x)Y^( х )Y^(x)\hat Y(x)Y( х )Y(x)Y(x)cost{Y(x)≳Y^(x)}>>cost{Y^(x)≳Y(x)}cost{Y(x)≳Y^(x)}>>cost{Y^(x)≳Y(x)}\text{cost}\left\{ Y(x) \gtrsim \hat Y(x) \right\} >> \text{cost}\left\{ \hat Y(x) \gtrsim Y(x) \right\} Я думаю, що проста лінійна регресія повинна зробити абсолютно чудово. Тож я дещо знаю, як це реалізувати вручну, але, мабуть, я не перший із подібними проблемами. Чи є там якісь …

13 machine-learning  logistic-regression 

Я дуже новачок у Scala та Spark і працюю над деякими саморобними вправами, використовуючи статистику бейсболу. Я використовую класовий регістр, щоб створити RDD і призначити схему даним, а потім перетворюю їх у DataFrame, щоб я міг використовувати SparkSQL для вибору груп гравців за їх статистикою, що відповідають певним критеріям. Після …

13 apache-spark  scala 

Припустимо, у мене є класифікатори C_1 ... C_n, які не роз'єднуються в тому сенсі, що жодне двоє не поверне істину на одному вході (наприклад, вузли в дереві рішення). Я хочу створити новий класифікатор, який є об'єднанням якогось підмножини (наприклад, я хочу визначити, які листя дерева рішень даватимуть позитивну класифікацію). Звичайно, …

13 algorithms 

Перш за все цей термін звучить так незрозуміло. У всякому разі .. Я програмний програміст. Однією з мов, яку я можу кодувати, є Python. Якщо говорити про дані, то я можу використовувати SQL і можу робити скребки даних. Що я з’ясував поки що, прочитавши так багато статей, що в науці …

13 beginner  career 

Хтось може мені сказати, яка мета генерування функцій? і навіщо потрібне збагачення простору функцій перед класифікацією зображення? Це необхідний крок? Чи є який-небудь спосіб збагатити простір функцій?

13 machine-learning  classification 

Я працюю над проектом з науковими даними, пов’язаним із розробкою соціальних відносин і потребую зберігання даних у деяких базах даних графіків. Спочатку я вибрав Neo4j як базу даних. Але це здається, що Neo4j не дуже масштабується. Альтернатива, яку я дізнався, - «Титан» та «oriebtDB». Я пройшов це порівняння на цих …

13 data-mining  graphs  databases  social-network-analysis 

Я намагаюся знайти еквівалент діаграм Хінтона для багатошарових мереж, щоб скласти графік ваг під час тренувань. Навчена мережа дещо схожа на Deep SRN, тобто вона має велику кількість матриць з декількома вагами, що зробить одночасний графік декількох діаграм Хінтона візуально заплутаним. Хтось знає про хороший спосіб візуалізації процесу оновлення ваги …

13 machine-learning  neural-network  visualization  deep-learning 

Випадковий ліс (РФ) створюється ансамблем дерев рішень (DT). За допомогою пакетування кожен DT навчається в різному наборі даних. Отже, чи є спосіб впровадження он-лайн випадкового лісу шляхом додавання більшої кількості рішень для нових даних? Наприклад, ми маємо 10К зразків і навчаємо 10 ДТ. Потім ми отримуємо зразки 1К, і замість …

13 random-forest  online-learning 

Я вивчаю різні типи структур дерев розбору. Дві широко відомі структури дерев розбору: a) Дерево розбору, засноване на окружності, і b) Деревові структури розбору на основі залежності. Я можу використовувати генерувати обидва типи структур дерева розбору за допомогою пакету Stanford NLP. Однак я не впевнений, як використовувати ці структури дерев …

13 machine-learning  nlp  feature-selection  feature-extraction 

Нещодавно мене познайомили з галуззю наукових даних (минуло 6 місяців), і Ii розпочав подорож з курсу машинного навчання Ендрю Нґ та посадою, яка почала працювати над спеціалізацією JHU з наукових даних. На практичній практиці я працював над створенням прогностичної моделі, яка б передбачала погіршення. Поки я використовував glm, bayesglm, rf, …

13 machine-learning 

Я студент-магістр CS з вибору даних. Мій керівник одного разу сказав мені, що перед тим, як запустити будь-який класифікатор або зробити що-небудь із набором даних, я повинен повністю зрозуміти дані та переконатися, що дані чисті та правильні. Мої запитання: Які найкращі практики для розуміння набору даних (великі розміри з числовими …

13 statistics  dataset 

Коли реляційна база даних, як MySQL, має кращу продуктивність, ніж реляційна, як MongoDB? Днями я побачив питання про Quora про те, чому Quora все ще використовує MySQL як їхній запуск, і про те, що їхня ефективність все ще хороша.

13 bigdata  performance  databases  nosql