Є два агенти i=1,2 . Розглянемо наступну програму
s.t. V1(x0):=maxu∫∞0e−ρtF1(x(t),u(t),v(t))dtV2(x0):=maxv∫∞0e−ρtF2(x(t),u(t),v(t))dtx˙(t)=f(x(t),u(t),v(t))x(0)=x0
ρ>0Vi(⋅)Fi(⋅)x∈X=[0,2]u∈U=[0,1]v∈V=[0,1]f(⋅)ρV1(x)=maxu[F(x,u,v∗)+V′1(x)f(x,u,v∗)],∀t∈[0,∞)ρV2(x)=maxv[F(x,u∗,v)+V′2(x)f(x,u∗,v)],∀t∈[0,∞)
задані відповідні максимізатори
u∗v∗=maxu[F(x,u,v∗)+V′1(x)f(x,u,v∗)]=maxv[F(x,u∗,v)+V′2(x)f(x,u∗,v)]
таким чином, що HJB стають start
ρV1(x)=F(x,u∗,v∗)+V′1(x)f(x,u∗,v∗)ρV2(x)=F(x,u∗,v∗)+V′2(x)f(x,u∗,v∗)
Симетрична рівновага
Симетрична рівновага задана при Ліворуч frow при і і .x˙=0⇔f(x~,u~,v~)=0x~=1u~=v~V1(x~)=V2(x~)=:V(x~)
Проблема
Елементи управління рівновагою та не можуть бути визначені з наявною інформацією. Рівняння
вірно для кожного . Тобто ми маємо множинні рівноваги.u~v~
ρV(x~)=F(x~,u~,v~)+V′(x~)f(x~,u~,v~)=0
{(u,v)∈[0,1]×[0,1]:u=v}
Виберіть Рівновага
Моя ідея полягає в тому, що (я придумав це, я нічого не читав про це), що я вибираю рівновагу, пов'язану з найвищим значенням. Ми можемо визначити для всіх . Скажімо є монотонно збільшення в і , тобто
V(x~){(u,v)∈[0,1]×[0,1]:u=v}V(x~)uv
limu=v→0V(x~)<limu=v→1V(x~)
Я б вибрав фіксовану точку . Мені хотілося б знати, чи можу я мотивувати це формально як унікальне рішення.(k=1,u=1,v=1)
- Чи вибираю рівновагу, пов'язану з найвищим значенням, за визначенням функції значення?
- Чи можете ви вказати на якусь літературу, що стосується цього питання?
Мотиваційний приклад
Нехай і з . HJB читають (з )
F1(x,u,v)=xu2F2(x,u,v)=(2−x)v2f(x,u,v)=v−uρ=1
V1(x)V2(x)=maxu[xu2+V′1(x)(v∗−u)]=maxv[(2−x)v2+V′2(x)(v−u∗)]
Максимізаторами є
u∗v∗=V′1(x)2x∈[0,1]=V′2(x)2(2−x)∈[0,1]
У симетричній рівновазі маємо і що дає
x~=1v~=u~⇔x˙=0
V′1(1)=−V′2(1)
HJb спрощує
V1(1)=(V′1(1)2)2=(−V′2(1)2)2=V2(1)
Оскільки обидві влаї рівні в рівновазі, то виходимо з 1. З контрольного простору ми знаємо, що
0≤V′1(x)≤2x
Що знаходиться в рівновазі
0≤V′1(1)≤2
Ми можемо оцінити для всіх або оскільки для всіх . На малюнку я виділив два можливих рівноваги і . Оскільки виплата збільшується з контролем, у нас є більш високе значення, пов'язане з рівновагою , тобто .V(1)V′1(1)∈[0,2]u~=V′1(1)/2u~∈[0,1]EAEBEAVA(1)>VB(1)