Статистика та великі дані

Я дуже намагався зрозуміти поняття негативної вибірки в контексті word2vec. Я не в змозі перетравити ідею [негативної] вибірки. Наприклад, у роботах Міколова негативне очікування вибірки сформульовано як logσ(⟨w,c⟩)+k⋅EcN∼PD[logσ(−⟨w,cN⟩)].log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim PD}[\log\sigma(−\langle w,c_N\rangle)]. Я розумію лівий термін , але не можу зрозуміти ідею вибірки негативних …

19 machine-learning  word2vec  word-embeddings 

Я намагаюся створити класифікатор, що містить багато міток, щоб призначити теми існуючим документам за допомогою scikit Я обробляю свої документи, передаючи їх по TfidfVectorizerмітках через MultiLabelBinarizerі OneVsRestClassifierстворюючи SGDClassifierа з оцінкою. Однак під час тестування свого класифікатора я отримую лише бали до .29, що з того, що я прочитав, є досить …

19 scikit-learn  multi-class  multilabel 

Це, по суті, реплікація питання, яке я знайшов на math.se , на яке не було отримано відповідей, на які я сподівався. Нехай - послідовність незалежних, однаково розподілених випадкових змінних, з і .{Xi}i∈N{Xi}i∈N\{ X_i \}_{i \in \mathbb{N}}E[Xi]=1E[Xi]=1\mathbb{E}[X_i] = 1V[Xi]=1V[Xi]=1\mathbb{V}[X_i] = 1 Розглянемо оцінку limn→∞P(1n−−√∑i=1nXi≤n−−√)limn→∞P(1n∑i=1nXi≤n) \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq …

19 probability  mathematical-statistics  asymptotics 

Нехай вибираються декартові координати випадкової точки st .x,yx,yx,y(x,y)∼U(−10,10)×U(−10,10)(x,y)∼U(−10,10)×U(−10,10)(x,y) \sim U(-10,10) \times U(-10,10) Таким чином, радіус, , не розподілений рівномірно, як мається на увазі у ' pdf .ρ=x2+y2−−−−−−√ρ=x2+y2\rho = \sqrt{x^2 + y^2}ρρ\rho Тим не менш, я б очікував, що буде майже рівномірним, виключаючи артефакти через 4 залишки на краях:θ=arctanyxθ=arctan⁡yx\theta = \arctan{\frac{y}{x}} …

19 normal-distribution  matlab  pdf  uniform 

Пень рішення - дерево рішень, що має лише один розкол. Він також може бути записаний як кусочно функція. Наприклад, припустимо, що - вектор, а - перший компонент , в регресійному режимі деякий пень рішення може бутих 1 ххxxх1x1x_1хxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ …

19 machine-learning  cart  linear  boosting 

Отже, у нормальному розподілі маємо два параметри: середнє та дисперсію σ 2 . У книзі Розпізнавання візерунків та машинне навчання несподівано з’являється гіперпараметр λ в умовах регуляризації функції помилок.μμ\muσ2σ2\sigma^2λλ\lambda Що таке гіперпараметри? Чому їх називають такими? І чим вони інтуїтивно відрізняються від параметрів загалом?

19 terminology  definition  parameterization  hyperparameter 

Я нещодавно приєднався як викладач кафедри математики. відомої установи. Я буду викладати курс Імовірність та Статистика на рівні бакалаврату. У закладі вже є навчальний план для цього курсу, яким я не дуже задоволений. У цьому навчальному плані спочатку висвітлюється статистика, також відсутня частина оцінки. Я завжди думав, що основ імовірності …

19 teaching 

Чи є слово, яке означає «обернення дисперсії»? Тобто, якщо має велику дисперсію, то має низьку ? Ви не зацікавлені в близькому антонімі (наприклад, "угода" чи "схожість"), але конкретно в значенні ?ХХXХХX……\dots1 / σ21/σ21/\sigma^2

19 bayesian  variance  terminology  precision 

Чи може регуляризація бути корисною, якщо нас цікавить лише оцінка (та інтерпретація) параметрів моделі, а не прогнозування чи прогнозування? Я бачу, як регуляризація / перехресне підтвердження є надзвичайно корисним, якщо ваша мета - зробити хороші прогнози щодо нових даних. Але що робити, якщо ви займаєтеся традиційною економікою, і все, що …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Цікаво, чому пропускати грам краще для нечастого слова, ніж CBOW у word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Статистична статистика для мене є синонімом для спроб прийняти рішення, яке підходить для всіх можливих вибірок. Тобто, правило частого прийняття рішення завжди повинне намагатися мінімізувати ризик , що залежить від функції втрати та справжнього стану природи :δδ\deltaLLLθ0θ0\theta_0 Rfr e q= Еθ0( L ( θ0, δ( Y) )Rfrеq=Еθ0(L(θ0,δ(Y))R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y)) Як максимальна ймовірність …

19 maximum-likelihood  frequentist 

Я новачок у машинному навчанні та шукаю деякі набори даних, за допомогою яких я можу порівнювати та протиставляти відмінності між різними алгоритмами машинного навчання (Дерева рішень, Підвищення, SVM та Нейронні мережі) Де я можу знайти такі набори даних? Що я повинен шукати під час розгляду набору даних? Було б чудово, …

19 machine-learning  dataset 

Це може бути простим питанням для багатьох, але ось це: Чому дисперсія не визначається як різниця між кожним значенням, що слідують один за одним замість різниці до середнього значення? Це було б для мене більш логічним вибором, я думаю, я очевидно переглядаю деякі недоліки. Спасибі Редагувати: Дозвольте перефразувати якомога чіткіше. …

19 variance 

Параметр швидкості навчання ( ) у Gradient Boosting скорочує внесок кожної нової базової моделі - типово неглибокого дерева -, яка додається у серії. Було показано, що різко підвищити точність тестового набору, що зрозуміло, оскільки при менших кроках мінімум функції втрат можна досягти більш точно. ν∈ [ 0 , 1 ]ν∈[0,1]\nu …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

У CrossValidated є кілька запитань щодо того, коли і як застосувати виправлення зміщення рідкісних подій Кінгом і Дзенгом (2001) . Я шукаю щось інше: мінімальна демонстрація на основі симуляції того, що упередженість існує. Зокрема, Кінг і Дзенг "... у даних про рідкісні події ухили до ймовірностей можуть мати істотне значення …

19 r  logistic  simulation  bias  rare-events