Статистика та великі дані

У мене є кореляційна матриця повернень безпеки, детермінант якої дорівнює нулю. (Це трохи дивно, оскільки матриця кореляції вибірки та відповідна коваріаційна матриця теоретично повинні бути певними.) Моя гіпотеза полягає в тому, що принаймні один цінний папір лінійно залежить від інших цінних паперів. Чи є в R функція, яка послідовно перевіряє …

26 r  correlation  pca  linear-model  svd 

Надайте код R, який дозволяє проводити ANOVA між суб'єктами з -3, -1, 1, 3 контрастами. Наскільки я розумію, існує дискусія щодо відповідного типу суми квадратів (СС) для такого аналізу. Однак як стандартний тип SS, що використовується в SAS та SPSS (тип III), вважається стандартом у моїй області. Тому я хотів …

26 r  anova  contrasts  sums-of-squares 

Я використовую LOESS регресійні моделі в R, і я хочу порівняти виходи 12 різних моделей з різними розмірами вибірки. Я можу описати фактичні моделі більш детально, якщо це допоможе у відповіді на питання. Ось розміри вибірки: Fastballs vs RHH 2008-09: 2002 Fastballs vs LHH 2008-09: 2209 Fastballs vs RHH 2010: …

26 r  regression  loess 

Цитуючи чудову відповідь Гунга Нібито дослідник одного разу звернувся до Фішера з «незначними» результатами, запитавши його, що йому робити, і Фішер сказав: «Іди, отримай більше даних». З точки зору Неймана-Пірсона, це кричуще хакерство, але чи є випадки використання, коли підхід Фішера "отримати більше даних" має сенс?ppp

26 hypothesis-testing  p-value  intuition  philosophical 

Моя втрата тренувань знижується, а потім знову вгору. Це дуже дивно. Втрата перехресної перевірки відстежує втрати тренувань. Що відбувається? У мене є два складених LSTMS наступним чином (на Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Я навчаю це протягом 100 епох: …

26 machine-learning  neural-networks  loss-functions  lstm 

Я читаю про квантильну функцію, але мені це не зрозуміло. Чи можете ви надати більш зрозуміле пояснення, ніж подане нижче? Оскільки cdf ЖЖF є монотонно зростаючою функцією, він має зворотну; позначимо це через Ж- 1Ж-1F^{−1} . Якщо ЖЖF - cdf з ХХX , то Ж- 1( α )Ж-1(α)F^{−1}(\alpha) - значення …

26 distributions  cdf  inverse-cdf  quantile-function 

Припустимо, я хочу зробити бінарну класифікацію (щось належить до класу A або класу B). Є кілька можливостей зробити це у вихідному шарі нейронної мережі: Використовуйте 1 вихідний вузол. Вихід 0 (<0,5) вважається класом A, а 1 (> = 0,5) вважається класом B (у випадку сигмоїдної) Використовуйте 2 вихідних вузла. Вхід …

26 machine-learning  classification  neural-networks 

У мене є просте запитання щодо "умовної ймовірності" та "ймовірності". (Я вже опитував це питання тут, але безрезультатно.) Він починається зі сторінки Вікіпедії, за якоюсь вірогідністю . Вони говорять так: Імовірність набору значень параметрів, , з урахуванням результатів , дорівнює ймовірністю спостережуваних результатів цих даними тих значень параметрів, тобтоxθθ\thetaxxx L(θ∣x)=P(x∣θ)L(θ∣x)=P(x∣θ)\mathcal{L}(\theta …

26 probability  bayesian  conditional-probability  likelihood  definition 

Виконуючи байєсівські умовиводи, ми працюємо, максимізуючи нашу функцію ймовірності в поєднанні з пріорами, які ми маємо про параметри. Оскільки ймовірність журналу зручніша, ми ефективно максимізуємо за допомогою MCMC або іншим способом, який генерує задні розподіли (використовуючи pdf для попередній і вірогідність кожної точки даних).∑ln(prior)+∑ln(likelihood)∑ln⁡(prior)+∑ln⁡(likelihood)\sum \ln (\text{prior}) + \sum \ln (\text{likelihood}) …

26 bayesian  prior 

Чи можна знайти значення р у грушовій кореляції в R? Щоб знайти кореляцію груші, я зазвичай роблю це col1 = c(1,2,3,4) col2 = c(1,4,3,5) cor(col1,col2) # [1] 0.8315218 Але як я можу знайти p-значення цього?

26 r  correlation  p-value  pearson-r 

Скажімо, у мене є три незалежні джерела, і кожне з них зробить прогноз погоди завтра. Перший говорить, що ймовірність дощу завтра дорівнює 0, потім другий говорить, що ймовірність дорівнює 1, і нарешті останній говорить, що ймовірність становить 50%. Я хотів би знати загальну ймовірність, враховуючи цю інформацію. Якщо застосувати теорему …

26 probability  bayesian  pooling  model-averaging  forecast-combination 

При лінійній регресії передбачається, що кожне передбачуване значення було вибране з нормального розподілу можливих значень. Дивись нижче. Але чому передбачається, що кожне передбачуване значення походить від нормального розподілу? Як лінійна регресія використовує це припущення? Що робити, якщо можливі значення зазвичай не розподіляються?

26 regression  probability  distributions  normal-distribution  modeling 

З того, що я розумію, ми можемо побудувати лише регресійну функцію, яка лежить в інтервалі навчальних даних. Наприклад (потрібна лише одна з панелей): Як би я передбачив майбутнє за допомогою регресора KNN? Знову ж таки, здається, лише приблизна функція, яка лежить в інтервалі навчальних даних. Моє запитання: Які переваги використання …

26 regression  machine-learning  k-nearest-neighbour 

Будь-який працьовитий студент є контрприкладом до того, що "всі учні ліниві". Назвіть кілька простих контрприкладів, "якщо випадкові величини і є некорельованими, то вони незалежні"?YXXXYYY

26 correlation  random-variable  independence 

Я намагаюся краще зрозуміти стандартне відхилення. З того, що я розумію, він є репрезентативним для середнього значення відмінностей набору спостережень у наборі даних від середнього значення для цього набору даних. Однак він НЕ насправді дорівнює середнім різницям, оскільки надає більшої ваги спостереженням далі від середнього. Скажіть, у мене така сукупність …

26 standard-deviation  intuition