Статистика та великі дані

Я хочу вивчити нейронні мережі. Я - комп'ютерний лінгвіст. Я знаю підходи до статистичного машинного навчання і можу кодувати в Python. Я хочу почати з її концепцій, і знаю одну або дві популярні моделі, які можуть бути корисні з точки зору обчислювальної лінгвістики. Я переглянув Інтернет для ознайомлення і знайшов …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Мій стат проф, в основному сказав, що якщо дати одне з наступних трьох, ви можете знайти інші два: Функція накопичувального розподілу Момент, що генерує функцію Функція щільності ймовірності Але мій професор економетрики сказав, що CDF є більш фундаментальними, ніж PDF-файли, оскільки є приклади, де можна мати CDF, але PDF не …

43 probability  pdf  cdf  mgf 

У мене 64 хеш-символів SHA256. Я сподіваюся підготувати модель, яка може передбачити, починається чистий текст, що використовується для створення хешу, з 1 чи ні. Незалежно, якщо це "Можливо", який алгоритм був би найкращим підходом? Мої початкові думки: Створіть великий зразок хешей, який починається з 1, і великий зразок хешей, який …

43 machine-learning  logistic 

Я задаюся питанням, що ми можемо сказати, що якщо що - небудь, про повну загальну середню населення, , коли все у мене є один вимір, (розмір вибірки 1). Очевидно, ми б хотіли мати більше вимірювань, але ми не можемо їх отримати.y 1μμ\muy1y1y_1 Мені здається, оскільки значення вибірки тривіально дорівнює , …

43 mean  sample-size  small-sample  unbiased-estimator 

Я намагаюся додати шар softmax до нейронної мережі, що навчається із зворотним розповсюдженням, тому я намагаюся обчислити його градієнт. SoftMax вихід годj= еzj∑ еzihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} деjjj- номер вихідного нейрона. Якщо я виведу це, то отримаю ∂годj∂zj= годj( 1 - годj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) Подібно до логістичної регресії. Однак це неправильно, оскільки моя …

43 neural-networks 

Я є новим випадковим лісом, тому все ще борюся з деякими основними поняттями. При лінійній регресії ми передбачаємо незалежні спостереження, постійну дисперсію ... Які основні припущення / гіпотези, які ми робимо, використовуючи випадковий ліс? Які ключові відмінності між випадковими лісовими та наївними затоками з точки зору припущень моделі?

43 regression  classification  random-forest 

Я розумію, що основне визначення ендогенності полягає в тому, що не задоволений, але що це означає в реальному світі? Я читав статтю у Вікіпедії із прикладом попиту та пропозиції, намагаючись зрозуміти це, але це не дуже допомогло. Я чула інший опис ендогенного та екзогенного, як того, що він знаходиться в …

43 regression  causality  instrumental-variables 

Я розглядаю проблему (багатокласової) класифікації на основі часових рядів змінної довжини , тобто знайти функцію за допомогою глобального представлення серії часу набором вибраних функцій фіксованого розміру незалежно від , а потім використовувати стандартні методи класифікації для цього набору функцій. Мене не цікавить прогнозування, тобто прогнозуванняf ( X T ) = …

43 time-series  classification  feature-selection  signal-processing 

На цьому веб-сайті є кілька ниток, які обговорюють, як визначити, чи залишки OLS асимптотично нормально розподілені. Ще один спосіб оцінити нормальність залишків з кодом R наведений у цій чудовій відповіді . Це ще одне обговорення практичної різниці між стандартизованими та спостережуваними залишками. Але, скажімо, залишки точно не розподіляються, як у …

43 regression  least-squares  residuals  assumptions  normality-assumption 

У мене є два часові ряди, показані на графіку нижче: Сюжет показує повну деталізацію обох часових рядів, але я можу з легкістю звести його до лише збіг спостережень, якщо потрібно. Моє запитання: Які статистичні методи можна використовувати для оцінки відмінностей між часовими рядами? Я знаю, що це досить широке і …

43 r  time-series 

Я шукаю спосіб генерування випадкових чисел, які здаються рівномірними розподіленими - і кожен тест покаже, що вони є рівномірними - за винятком того, що вони розподілені більш рівномірно, ніж справжні єдині дані . Проблема, яку я маю з "справжніми" рівномірними рандами, полягає в тому, що вони періодично кластеруються. Цей ефект …

43 distributions  random-generation  uniform  quasi-monte-carlo 

Мені цікаво, чи хтось знає збірник методів перехресної перевірки з обговоренням відмінностей між ними та керівництвом про те, коли використовувати кожну з них. У Вікіпедії є список найпоширеніших методик, але мені цікаво, чи існують інші методи і чи є в них таксономії. Наприклад, я просто забігаю в бібліотеку, яка дозволяє …

43 cross-validation 

Під час викладання класу початкового рівня викладачі, яких я знаю, прагнуть вигадувати деякі цифри та історію, щоб пояснити метод, який вони навчають. Що я хотів би - розповісти реальну історію з реальними цифрами. Однак ці історії повинні стосуватися дуже крихітного набору даних, що дозволяє здійснювати ручні розрахунки. Будь-які пропозиції щодо …

43 dataset  references  teaching 

Для деяких із нас суддівські роботи є частиною роботи. Оцінюючи статті зі статистичних методологій, я вважаю, що поради з інших предметних областей є досить корисними, наприклад, інформатикою та математикою . Це питання стосується перегляду більш застосованих статистичних документів. Під цим я маю на увазі, стаття подається до нестатистичного / математичного …

43 journals  referee 

Різниця у відмінностях давно популярна як неекспериментальний інструмент, особливо в економіці. Чи може хтось, будь ласка, надати чітку та нетехнічну відповідь на наступні питання про різницю у різницях. Що таке оцінка різниці у різниці? Чому оцінювач різниці в різниці використовує будь-яке використання? Чи можемо ми довіряти оцінкам різниці у різниці?

43 regression  econometrics  difference-in-difference