Тестування певних контрастів: це, очевидно, важка проблема, чи ні?

Я опублікував це на mathoverflow і ніхто не відповів:

Метод Шеффе для визначення статистично значущих контрастів широко відомий. Контраст серед засобів , з популяцій є лінійною комбінацією , в якому , а скалярний кратний контраст - це по суті той самий контраст, тому можна сказати, що безліч контрастів є проективним простором. Метод Шеффа перевіряє нульову гіпотезу, яка говорить про те, що всі контрасти серед цих груп дорівнює , а заданий рівень значущості відхиляє нульову гіпотезу з вірогідністю $\mu_i$ $i=1,\ldots,r$ $r$ $\sum_{i=1}^r c_i \mu_i$ $\sum_{i=1}^r c_i=0$ $r$ $0$ $\alpha$ $\alpha$ враховуючи, що нульова гіпотеза правдива. І якщо нульова гіпотеза буде відхилена, Шеффе вказує, що його тест говорить про те, які контрасти суттєво відрізняються від (я не впевнений, що стаття у Вікіпедії, яку я пов’язала з пунктами, що це відзначають). $0$

Мені хотілося б знати, чи можна зробити щось подібне в різній ситуації. Розглянемо просту модель лінійної регресії , де , . $Y_i = \alpha + \beta x_i + \varepsilon_i$ $\varepsilon_i\sim\operatorname{i.i.d.}N(0,\sigma^2)$ $i=1,\ldots,n$

Нульова гіпотеза, яку я хочу розглянути, стосується іншого виду контрасту. Він говорить, що немає підмножини так що для і для , де . Якщо підмножина задана заздалегідь, то це робить звичайний двопробний test, але ми хочемо те, що враховує всі підмножини і стримує ймовірність відхилення справжньої нульової гіпотези. $A\subseteq\lbrace 1,\ldots,n\rbrace$ $E(Y_i) = \alpha_1 + \beta x_i$ $i\in A$ $E(Y_i) = \alpha_2 + \beta x_i$ $i\not\in A$ $\alpha_1\ne\alpha_2$ $A$ $t$

Можна було б це зрозуміти, якби ефективність не викликала проблем: знайдіть тест, який проходить усі можливості. Навіть тоді це проблематично; два контрасти не були б незалежними. Я поцікавився у експерта, який виявив про це зовні, і він просто сказав, що це комбінаторний кошмар. Тоді я запитав, чи можна довести, що немає ефективного способу зробити це, можливо, зменшивши важку для цього проблему. Він просто сказав, що тримається подалі від важких проблем NP. $2^{n-1}-1$

Отже: Чи можна довести, що ця проблема є «важкою», або що її немає?

— Майкл Харді
джерело

(+1) Копіювання коментаря для роз'яснення з версії MO : лише невеличке уточнення: Коли я читаю, підпадає під вашу нульову гіпотезу, але та не (незалежно від ). Це те, що ви задумали? (Схоже, це не відповідає деяким іншим натякам на запитання.)

(α_{1}, α_{2}, α_{3}) = (1, 2, 3)

$(\alpha_1, \alpha_2, \alpha_3) = (1,2,3)$

(1, 2, 2)

$(1,2,2)$

(1, 1, 1)

$(1,1,1)$

β

$\beta$

— кардинал

Як було сказано вище, нульовою гіпотезою було б те, що нам потрібна лише одна , а альтернативною гіпотезою є те, що нам потрібно дві. Я не знаю, чому у вас є третій. Можна також розглянути нульову гіпотезу лише однієї проти альтернативної гіпотези кількох, і, можливо, саме це я мав би зробити замість цього.

α

$\alpha$

α

$\alpha$

— Майкл Харді

Дякую. Можливо, мене відкинуло оригінальне твердження моделі як , де я взяв як потенційну помилку для (оскільки згодом було дозволено змінюватись).

Y_{i} = α + β x_{i} + ε_{i}

$Y_i = \alpha + \beta x_i + \varepsilon_i$

α

$\alpha$

α_{i}

$\alpha_i$

— кардинал

Ну, звичайно, якби ця залежала від це була б надмірно параметризована модель, і зовсім не подібна до того, що зазвичай називають "простою лінійною регресійною моделлю".

α

$\alpha$

i

$i$

— Майкл Харді

Помітив, що поки ніхто ще не відповів на це питання ...

В основному питання таке: чи існує такий вектор 0-1 , що дає (значно) краще пристосування, ніж "Значно краще" можна зафіксувати за сумою квадратів як нерівності. Тоді виникає питання , чи існує рішення 0-1 нерівності $Z$

у_{i} = α + β х_{i} + γ z_{i} + ϵ_{i}

$y_i = \alpha + \beta x_i + \gamma z_i + \epsilon_i$

у_{i} = α + β х_{i} + ϵ_{i} .

$y_i = \alpha + \beta x_i + \epsilon_i.$

f (z) \geq т .

$f(z) \ge t.$ Це варіант заданої задачі розділення, який, як відомо, є важким для NP.

— користувач3697176
джерело

Чи можна фактично задану проблему розділення звести до цієї проблеми? Якщо так, то це доведе, що це складна проблема.

${}\qquad{}$

— Майкл Харді

Ця проблема є щонайменше такою ж важкою, як і класична проблема розподілу (SPP). SPP приймає лінійну комбінацію ваг і намагається помножити їх на +/- 1, щоб отримати вираз, який дорівнює 0. Тут потрібно задовольнити нерівність. Якщо це було вирішуваним у поліномний час для довільних входів, то аргумент бісекції показує, що ви також могли вирішити SPP у поліноміальний час. Це не зовсім зменшення, але це близько.

— користувач3697176