Sterftetafel

Wiskunde is niet alleen een vak op school. Kom je ergens in de praktijk (bijvoorbeeld tijdens je werk) een wiskundig probleem tegen dan kun je hier om hulp vragen.
Plaats reactie
Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Sterftetafel

Bericht door Shorty » 22 aug 2019, 19:20

Beste forum

graag had ik enige uitleg bekomen inzake de berekening van projectieve sterftetafels aan de hand van mortaliteitscijfers in het verleden. De wiskundige redenering kan ik enigszins volgen, de praktische uitwerking niet.

Er wordt gebruik gemaakt van de Lee Carter methode met cijfermateriaal van de afgelopen 40 jaar met de volgende stappen:
1. alpha en beta worden eerst geschat via OLS methode;
2. geschatte beta's worden naden afgevlakt via meetkundige gemiddelde;
3. geschatte alpha's worden nadien afgetoetst aan de bekomen beta's.

Reeds in de eerste fase ben ik de weg kwijt: dien ik voor een bepaald leeftijd (bv. 30 jaar) de OLS methode toe te passen op mortaliteitscijfers in categorie 30 jaar van de afgelopen jaar of dien ik voor leeftijd 30 jaar in de afzonderlijke jaren de OLS methode toe te passen om daarna naar stap 2 over te stappen?

Beide mogelijkheden heb ik al uitgerekend via excel (=LIJNSCH(kolom 2;kolom1;1;1), maar de resultaten komen niet overeen.

Met andere woorden, wat moet er in kolom 1 en wat moet er in kolom 2?

Dank om mij in de juiste richting te sturen

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 23 aug 2019, 19:56

Kan je op dit forum
(1) een link naar de tekst geven,
OF
(2) een plaatje/foto van de formules, gegevens en resultaten plaatsen?

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 25 aug 2019, 19:59

Beste,

de wijze van berekening vindt u op deze website: https://www.plan.be/publications/public ... quotienten

p. 4 e.v. wordt de methodologie besproken

bedankt

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 29 aug 2019, 15:21

Hieronder een rekenvoorbeeld met getallen uit
https://statbel.fgov.be/nl/themas/bevol ... n#panel-15
blad 3 (QxObs-M):
\(q_{x,t}\) = de kans op overlijden voor iemand van x jaar oud in jaar t,
een klein voorbeeld met x van 30 .. 45 jaar, en t van 1990 .. 2017.

STAP 1
Volgens pag. 4 van je artikel worden de reeksen afgevlakt over de tijd aan de hand van een methode van het voortschrijdend meetkundig gemiddelde.
Het voortschrijdend gemiddelde bereken je door het gemiddelde te nemen van elke waarde en een klein aantal voorafgaande en opvolgende waarden.
In dit voorbeeld heb ik gekozen voor een window van 5 waarden: het gemiddelde van elke waarde en 2 voorafgaande en 2 opvolgende waarden.
In Excel is het meetkundig gemiddelde de functie GEOMEAN
FIGUUR 1 in je artikel (voor x = 40 jarigen) wordt in ons geval:

Afbeelding

Dit gaan we doen voor alle 30 .. 45 jarigen.
De ruwe data:

Afbeelding

worden zo allemaal wat afgevlakt:

Afbeelding

Dan nemen we van elk van deze waarden de natuurlijke logaritme (LN).
Dit betekent dat
\(q_{x,t} = e^{\alpha_x + \beta_x t}\)
wordt omgezet in
\(\ln(q_{x,t}) = \alpha_x + \beta_x t\)
Merk nog op dat ze alle jaartallen stilzwijgend naar het begin van de getallenlijn verschuiven (naar t = 0, 1, 2, ...).
Op zich is dit geen probleem, het verandert alleen de waarde van je constante alpha:
\(\ln(q_{x,t}) = \alpha_x + \beta_x t = \alpha_x + \beta_x (1990+t-1990) = (\alpha_x + 1990\beta_x) +\beta_x(t-1990)\)

Afbeelding

Nu bepalen we voor elke leeftijd x de regressielijn:
\(\hat{y_x} = \alpha_x + \beta_x t\)
Let in Excel op de fixatie met het dollarteken $ van de juiste kolom en de juiste rij, zodat je alle elementen van je tabel in één keer kan copy-pasten.

Afbeelding

met als resultaat:

Afbeelding


STAP 2
Sommige lijnen hierboven kruisen, dit lijkt niet te passen bij het natuurlijk beloop, maar eerder te zijn veroorzaakt door statistisch toeval.
De richting van de lijnen wordt bepaald door \(\beta_x\), deze willen we dus aanpassen richting aannemelijker waarden.
Dat doen ze ook weer met een afvlakking via het voortschrijdend meetkundig gemiddelde.
Omdat de waarden van \(\beta_x\) nogal sterk wisselen, heb ik gekozen voor een iets groter window: nu 7 breed.
Noot: omdat Excel protesteert tegen negatieve waarden in GEOMEAN, heb ik ze eerst positief gemaakt, dan GEOMEAN toegepast, en tenslotte het resultaat weer terug negatief gemaakt.

Afbeelding


STAP 3
Nu gaan we voor elke leeftijd x de \(\alpha_x\) zoeken, zodanig dat de lijn
\(\hat{y_x} = \alpha_x + \beta_x t\)
volgens de kleinste kwadraten benadering zo goed mogelijk bij de werkelijk \(y_{x,t}=\ln(q_{x,t})\) past,
waarbij in dit geval de afgevlakte \(\beta_x\) al vastligt (zie stap 2).
We zoeken dus de \(\alpha_x\) waarvoor
\(\displaystyle{\sum_{t=0}^{26}} (\hat{y_x} - y_{x,t})^2\)
minimaal is.
Dan moet de afgeleide naar \(\alpha_x\) nul zijn:
\(\frac{d}{d\alpha_x}\displaystyle{\sum_{t=0}^{26}} (\hat{y_x} - y_{x,t})^2 = 0\)
ofwel
\(\frac{d}{d\alpha_x}\displaystyle{\sum_{t=0}^{26}} (\alpha_x + \beta_x t - \ln(q_{x,t}))^2 = 0\)
ofwel
\(\displaystyle{\sum_{t=0}^{26}} 2(\alpha_x + \beta_x t - \ln(q_{x,t}))= 0\)
ofwel
\(\displaystyle{\sum_{t=0}^{26}} (\alpha_x + \beta_x t - \ln(q_{x,t}))= 0\)
ofwel
\(\displaystyle{\sum_{t=0}^{26}} \alpha_x + \displaystyle{\sum_{t=0}^{26}}(\beta_x t - \ln(q_{x,t}))= 0\)
ofwel
\(27 \alpha_x = \displaystyle{\sum_{t=0}^{26}}(\ln(q_{x,t})-\beta_x t )\)
ofwel
\(\alpha_x = \frac{\displaystyle{\sum_{t=0}^{26}}(\ln(q_{x,t})-\beta_x t )}{27}\)

Maak een nieuwe x-t tabel met daarin alle waarden van \(\ln(q_{x,t})-\beta_x t\),
\(\alpha_x\) is dan het (gewone, rekenkundige) gemiddelde (AVERAGE) van elke kolom daarin:

Afbeelding

Met deze waarden voor alpha en beta vinden we de nieuwe regressielijnen:

Afbeelding

De lijnen lopen zo beter parallel.
Wat ook opvalt is dat hun onderlinge afstanden nogal chaotisch wisselen. Eigenlijk zou je nu nog een stap 4 willen toevoegen waarin je de alpha's aanpast om die afstanden regelmatiger te maken.

Tenslotte:
FIGUUR 2 van het artikel geeft de alpha's als functie van leeftijd.
Voor ons wordt dit:

Afbeelding

FIGUUR 3: de bèta's als functie van leeftijd hadden we hierboven (stap 2) al gegeven.

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 30 aug 2019, 09:14

beste Arie

Perfect! Dit zocht ik.

Ik simuleer de berekeningen overeenkomst uw formules en op het eerste zicht kom ik ook op dezelfde getallen uit.

Ik stel wel vast dat bij bepaalde mortaliteitsberekeningen van andere bronnen (weliswaar vanaf de jaren '50) de alpha's positief zijn en dat de beta's vanaf een bepaalde leeftijd ook positief worden. Ik dacht dat dit niet mogelijk was of vergis ik mij?

Bedankt

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 30 aug 2019, 12:22

\(q_{x,t} = e^{\alpha_x+\beta_xt} \le 1\) (want \(q_{x,t}\) is een kans en 0 <= kans <= 1)
Dit geldt ook voor jaar nul:
\(e^{\alpha_x+\beta_x\cdot 0} = e^{\alpha_x} \le 1\)
dus
\(\alpha_x \le \ln(1) = 0\)

Als \(\beta_x = 0\) dan is \(q_{x,t} = e^{\alpha_x}\) = een constante en zal \(q_{x,t}\) voor leeftijd x over alle jaren hetzelfde blijven.
Als \(\beta_x > 0\) dan zal \(\alpha_x+\beta_xt\) voor leeftijd x over alle jaren t toenemen, dus dan zal ook \(q_{x,t} = e^{\alpha_x+\beta_xt}\) over de jaren toenemen, en dat is niet wat we verwachten.
Bovendien zal in dit laatste geval \(\alpha_x+\beta_xt\) na verloop van tijd positief worden, waarmee de kans \(q_{x,t}\) groter dan 1 wordt, en dat mag nog steeds niet.


Mogelijk worden de positieve waarden veroorzaakt doordat het model over tijd t gezien beperkt geldig is.
Voor mannen van x=40 jaar hadden we in ons eerdere voorbeeld gevonden
(stap 2: \(\beta_{40}=-0.02388\) en stap 3: \(\alpha_{40}=-6.0114\)):
\(q_{40,t}=e^{-6.0114-0.02388t}\)
Als we met dit model 252 jaar in de tijd terug zouden gaan (\(t \le -252\)) dan wordt \(q(t) > 1\)

Ook voor steeds grotere t is het model niet realistisch: alle \(q_{x,t}\) waarden dalen dan naar nul: in de wat verdere toekomst zal bijna niemand meer overlijden.
Zie bijvoorbeeld FIGUUR 6 op pag. 13 van het artikel: voor 10-jarigen is \(q_{10,t}\) in 2100 al vrijwel nul.
Een model met een absolute ondergrens (limietwaarde) zou me realistischer lijken:
\(q_{x,t} = \gamma_x + e^{\alpha_x+\beta_xt}\) voor een constante \(\gamma_x > 0\)

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 01 sep 2019, 08:23

bedankt opnieuw voor deze heldere uitleg.

In deze berekening (http://www.christian-jaumain.be/doc/Mor ... l-2015.xls) staan de alpha's en beta's (vanaf een bepaald moment) positief. MIsschien gebruikt deze persoon een andere berekening?

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 02 sep 2019, 08:46

In dat laatste Excel bestand gebruiken ze inderdaad een andere formule,
zie bovenaan tabblad Prosp in dat bestand:

\(q_x(t) = \frac{e^{e^{(\alpha_x/t+\beta_x)}}}{10^6+e^{e^{(\alpha_x/t+\beta_x)}}}\)

Voorbeeld:
Hieronder de resultaten voor mannen van 40 jaar:
kolom 1: jaar
kolom 2: ruwe \(q_{40}\)-waarden zoals we die eerder gevonden hebben
kolom 3: q volgens de benadering
\(q_{40,t} = e^{\alpha_{40}+\beta_{40}\cdot (t-1990)}\)
waarbij
\(\alpha_{40}=-6.0114\)
\(\beta_{40}=-0.02388\)
kolom 4: ruwe \(q_{40}\)-waarden volgens tabblad StatbelM in het nieuwe bestand
kolom 5: \(q_x(t)\) volgens de nieuwe formule, met
\(\alpha_{40}=7273.210197\)
\(\beta_{40}=-1.644961099\)
(zie tabblad Prosp regel 104)
\(ee\) hierin is de dubbele exponent \(exp(exp(\alpha/t + \beta))\) uit de formule

Wat opvalt is:
(1) dat de ruwe q-waarden slechts ongeveer overeenkomen (zelfde grootte-orde en zelfde trend), maar niet exact gelijk zijn
(2) dat de nieuwe benadering ver onder de werkelijke q-waarden ligt.
Is er wellicht een begeleidend artikel waarin je de afleiding van de nieuwe formule kan vinden?

Afbeelding

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 09 sep 2019, 18:35

de formule heb ik toegevoegd als afzonderlijk bestand.

K is een constante (= 10^6) volgens deze formule.

Bevreemdend is dat ik de beta's al heb berekend, maar ik kom vanaf jaar drie op andere cijfers uit.

Bv. voor vrouwen (anno 2015) voor jaar 0 - jaar 10:

-7,38062
-8,966634531
-10,88642005
-12,49777825
-13,53365815
-13,56274337
-13,10902321
-12,37526026
-12,20979219
-12,18872626

Ander probleem is dat vanaf jaar 105 het resultaat 0 is volgens mijn berekening. Vanaf dat moment is qx = 1.

Vermoedelijk heb ik de formule voor beta verkeerd toegepast.

Formule voor alpha heb ik nog niet volledig uitgedokterd
Bijlagen
formule.docx
(10.46 KiB) 4 keer gedownload

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 15 sep 2019, 11:44

Intussen heb ik vastgesteld dat de qx aangepast wordt.

Hiervoor bestaan er verschillende manieren die beschreven worden in het boek.

Ik denk dat de volgende methode werd gebruikt:

voor x = 0, x = 1 en x = 2: de qx wordt niet aangepast (qx = q'x = q''n)

voor jaren 3-15:


als x = 3


q''x wordt op dezelfde manier berekend

voor jaren 16-25

(in formule moet macht 1/2 gebruikt worden)

q''x wordt op dezelfde manier berekend

vanaf jaar 26

(in formule moet macht 1/10 gebruikt worden)

q''x wordt op dezelfde manier berekend

mijn resultaten zijn nog steeds afwijkend

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 15 sep 2019, 21:58

Shorty schreef: voor jaren 3-15:
Dit is een gewogen gemiddelde van omgekeerden (reciproken) van q vanaf 2 waarden voorafgaand aan q[x] t/m 2 waarden na q[x]:

\(10\cdot \frac{1}{q'x} = 1\cdot \frac{1}{q[x-2]}+2\cdot \frac{1}{q[x-1]}+4\cdot \frac{1}{q[x]}+2\cdot \frac{1}{q[x+1]}+ 1\cdot \frac{1}{q[x+2]}\)

1/q[x] telt hierin 4 keer mee, 1/q[x-1] en 1/q[x+1] elk 2 keer, en 1/q[x-2] en 1/q[x+2] elk 1 keer.
Dit levert net als eerder een afvlakking van de grafiek, alleen nu weegt de omgeving van elke q[x] minder zwaar mee (hoe verder van q[x] af, hoe minder het gewicht van de betreffende waarde).

Shorty schreef: als x = 3
Dit is hetzelfde, maar nu met een kleiner window (we gebruiken hier 3 waarden in plaats van 5 waarden)

Shorty schreef: voor jaren 16-25

(in formule moet macht 1/2 gebruikt worden)
Waarschijnlijk is de formule deze (overal een 2-de macht, dus ook bij qx):

\(q'x = \left([(q[x-2])^2 + 2(q[x-1])^2 + 4(q[x])^2 + 2(q[x+1])^2 + (q[x+2])^2]/10\right)^{0.5}\)

ofwel

\(q'x = \sqrt{\frac{1}{10}\cdot \left(q[x-2]^2 + 2\cdot q[x-1]^2 + 4\cdot q[x]^2 + 2 \cdot q[x+1]^2 + q[x+2]^2\right)}\)

Dit is dan een gewogen gemiddelde van de kwadraten van q, en daar de wortel van.

PS: als je in LaTeX formules de machten tussen accolades zet, bijvoorbeeld 10^{0.5}, dan wordt alle tekst tussen de accolades als macht gezien: \(10^{0.5}\)

Shorty schreef: vanaf jaar 26

(in formule moet macht 1/10 gebruikt worden)
En hier staat waarschijnlijk:
\(q'x = \left(q[x-2] \cdot q[x-1]^2 \cdot q[x]^4 \cdot q[x+1]^2 \cdot q[x+2]\right) ^{0.1}\)

Dit is de 10-de macht wortel van het product van 10 factoren q, waarvan q[x] er 4 levert en q[x-1] en q[x+1] elk 2.


Het is wel vreemd dat ze al deze methodes door elkaar heen gebruiken.
Kan je wellicht een voorbeeld van 1 serie \(q[x]\) waarden met bijbehorende \(q'[x]\) waarden op dit forum plaatsen?

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 16 sep 2019, 11:55

volgende bestanden heb ik opgeladen:

berekening alpha (waarschijnlijk verkeerde formule)
simulatie (berekening beta op basis van bekomen alpha): onder sheat1 heb ik de formule gebruikt zoals reeds eerder beschreven, onder sheat2 en sheat3 zijn andere formules gebruik zoals beschreven in het boek.

arie
Moderator
Moderator
Berichten: 3244
Lid geworden op: 09 mei 2008, 09:19

Re: Sterftetafel

Bericht door arie » 16 sep 2019, 15:57

Waar is de link (URL?) naar het bestand?

Shorty
Nieuw lid
Nieuw lid
Berichten: 8
Lid geworden op: 22 aug 2019, 18:43

Re: Sterftetafel

Bericht door Shorty » 16 sep 2019, 17:32


Plaats reactie