markov keten

[jameslonden]

hallo allemaal,

de vraag is hoeveel procent kans heeft elke rit?

je begint bij een en wilt naar X, elke keer als je op een getal staat heb je 2 keuzes de rode pijl of de groene, de kans dat je voor rood kiest is 10.8 procent en de kans dat je groen kiest is elke keer 89.2.
hoeveel procent kans heb je nu dat je bij stap 6 komt?

maar,

je hebt 3 levens en elke keer dat je op een rode lijn komt kost je dat een leven en elke keer dat je bij x bent begint alles opnieuw met weer 3 nieuwe levens.
als je op groen komt gebeurd er qua levens niets dus niks erbij en niets eraf.


hoop dat het duidelijk is, alvast bedankt james

link naar het plaatje: http://www.mijnalbum.nl/Foto-UWME6AVB-D.jpg

[arie]

Merk op:
- punt 6 is absorberend (je kan punt 6 niet verlaten als je er aangekomen bent)
- vanuit punt 1 kan je punt 6 bereiken (toevallig alleen via routes met 3 rode pijlen, maar dat aantal is niet eens van belang)
- de rode-pijlen-regel introduceert geen nieuwe eindpunten (vanuit punt 1 is er geen ander punt dat je via 3 rode pijlen kan bereiken)
- punt x is geen eindpunt, want daar aangekomen ga je met kans 1 terug naar punt 1 (er had dus een pijl getrokken moeten worden van punt x naar punt 1)

Punt 6 is dus het enige eindpunt = absorberende toestand van je Markov keten.

Hoe groot is in een absorberende Markov keten de kans dat het proces geabsorbeerd wordt?

Hoe groot is dus de kans dat het proces in punt 6 eindigt?