Статистика та великі дані

У мене виникають проблеми зі створенням інтуїції щодо спільної ентропії. Н( X, Y)H(X,Y)H(X,Y) = невизначеність у спільному розподілі р ( х , у)p(x,y)p(x,y); Н( X)H(X)H(X) = невизначеність в pх( х )px(x)p_x(x); Н( Y)H(Y)H(Y) = невизначеність в pу( у)py(y)p_y(y). Якщо H (X) високий, то розподіл є більш невизначеним, і якщо ви …

9 information-theory  mutual-information 

Я хочу пристосувати DLM до змінних за часом коефіцієнтів, тобто розширення до звичайної лінійної регресії, ут=θ1+θ2х2yt=θ1+θ2x2y_t = \theta_1 + \theta_2x_2 . У мене є предиктор ( ) та змінна відповідь ( y_t ), морський та внутрішній річний вилов риби відповідно з 1950 по 2011 рік. Я хочу, щоб модель регресії …

9 r  regression  time-series  dlm  dynamic-regression 

Редагувати: Основа мого запитання недосконала, і мені потрібно витратити деякий час на з'ясування того, чи це навіть може мати сенс. Редагування 2: Уточнення того, що я визнаю, що значення p не є прямим показником ймовірності нульової гіпотези, але я вважаю, що чим ближче значення p до 1, тим більше шансів …

9 hypothesis-testing  p-value 

Я читав про MLE як метод генерування відповідного розподілу. Я натрапив на твердження, що максимальна оцінка ймовірності "має приблизні нормальні розподіли". Чи означає це, що якщо я застосовуватимуть MLE неодноразово над моїми даними та сімейством дистрибутивів, до яких я намагаюся підходити, отримані моделі будуть нормально розподілятися? Як саме послідовність розподілів …

9 normal-distribution  estimation  maximum-likelihood 

Натрапивши на цю концепцію в підручнику зі статистики, я спробував обернути голову про це, і, нарешті, дійшов висновку, який, здається, відповідає всім поясненням, які я бачив досі: Надійний інтервал - це те, що нестатисти вважають впевненістю інтервал є. Відступ для тих, як я, з-за години назад, які не знають різниці …

9 confidence-interval  methodology  credible-interval 

Я намагаюся зрозуміти, як я можу найкраще моделювати змінну, де з часом я отримую все більш детальні прогнози. Наприклад, розглянемо моделювання коефіцієнтів відновлення заборгованості з дефолтом. Припустимо, у нас є набір даних із 20-річними даними, і в перші 15 років ми знаємо лише, чи була позика під заставу чи ні, …

9 regression  missing-data 

Я дивлюся на лист Excel, який стверджує, що його обчислюють χ2χ2\chi^2, але я не визнаю такого способу цього, і мені було цікаво, чи я щось пропускаю. Ось дані, які він аналізує: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | 2000 …

9 r  chi-squared  excel 

Коли , проблема найменших квадратів, яка накладає сферичне обмеження на значення може бути записана як ім'я для завищеної системи. \ | \ cdot \ | _2 - евклідова норма вектора.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

Кожен мій колега надіслав мені цю проблему, очевидно, роблячи тури в Інтернеті: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Здається, відповідь 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Коли я роблю лінійну регресію в R: …

9 r  regression  lm 

Я знаю, що якщо ви повторно відбираєте вибірку з набору даних багато разів і обчислюєте середнє значення кожного разу, ці засоби будуть послідувати нормальний розподіл (за CLT). Таким чином, ви можете обчислити довірчий інтервал на середньому наборі даних, не роблячи припущень щодо розподілу ймовірності набору даних. Мені було цікаво, чи …

9 distributions  confidence-interval  bootstrap  resampling 

Я хотів би побудувати на одному графіку взаємодію між моїм безперервним прогноктором та моїм категоричним модератором. Я знаю, як це зробити, коли обидва є категоричними ( факторна взаємодія ), але насправді не знаю, як це зробити, коли один безперервний, а другий - категоричний.

9 data-visualization  categorical-data  interaction  continuous-data 

Дано чисел, де значення кожного числа різне, позначається як , а ймовірність вибору кожного числа відповідно .nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Тепер, якщо я вибираю числа на основі заданих ймовірностей, де , яке очікування суми цих чисел? Зауважте, що вибір не є заміною, так що номери не можуть …

9 probability 

Я читаю з книги, яка представляє дистрибуцію Dirchilet, а потім представила цифри про неї. Але я не дуже зміг зрозуміти ці цифри. Я прикріпив фігуру тут, внизу. Що я не розумію - це значення трикутників. Зазвичай, коли потрібно побудувати функцію з двох змінних, ви берете значення var1 і va2, а …

9 distributions  data-visualization  dirichlet-distribution 

1) Як я можу змінити поріг класифікації (я думаю, це 0,5 за замовчуванням) у RandomForest у sklearn? 2) як я можу зробити недостатню вибірку в sklearn? 3) У мене є такий результат класифікатора RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Яка установка є правильною для різниці різницької регресійної моделі за допомогою Yя с т= α +γс∗ Т+ λгт+ δ∗ ( Т∗гт) +ϵя с тYiст=α+γс∗Т+λгт+δ∗(Т∗гт)+ϵiстY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} де T - манекен, рівний 1, якщо спостереження від групи лікування, а d - манекен, рівний 1 …

9 regression  econometrics  difference-in-difference