Category Archives: ECO568

Optimal control, part 2

In the first part (here), we introduced Bellman’s idea of backward induction. But what if we consider now infinite time horizon ? Actually, the maths will be even more simple… and we will be able to use fixed pointed theorem to derive solutions.

  • The mathematical framework

Here, consider the following value function

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-01.png

and define

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-02.png

A sequence https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-04.png is said to be an admissible solution for starting point x,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-05.png

if https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-06.png and https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-07.png. If we reformulate the dynamic programming idea, we obtain that if https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-04.png is a solution to problem https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-08.png, then for all https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-09.png, sequence https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-10.png is a solution to problem https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-11.png. It comes that function v is a solution of Bellman’s equation

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-12.png

Note that is can be ssen as some fixed point resul, since

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-13.png

i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-contr-14.png

So far, it shouldn’t be so hard….

  • Frank Ramsey’s model (discrete version)

In 1928, Frank Ramsey wanted to understand the amount of savings in a dynamic perspective (in how much of its income should a nation save). Consider the following infinite horizon problem, where some planifier wants to maximize

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-01.png

subject to constraints https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-02.png https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-03.png and https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-04.png.
Before looking at dynamic programming answers, we might start with standard Lagrangian optimization techniques.
Assuming concavity of utility function and production function, we should look only for interior solutions. Define the Lagrangian as

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-05.png

Thus, the first order conditions are then given by

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-06.png

and

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-088.png

Assume further some terminal condition, e.g.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-08.png

(also called transversality condition). If we combine those two conditions, and assume that the first constraint is saturated, we obtain the so-called Euler equation,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-09.png

It is also possible to use Bellman’s equation: given the dynamic of the capital

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-10.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-11.png

The first order condition states

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-12.png

But since v is unknown, so is its derivative. But from the enveloppe theroem, we obtain something like

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-13.png

where

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-14.png

We can then write

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-15.png

i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-16.png

and finally

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-17.png

which is, Euler’s equation.

  • A specified model, with calculations

As in the previous post (here), consider a log utility function, and a power production function,https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-18.png and https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-19.png. The dynamic is then

 https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-20.pngand https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-21.png

Note that fixed points are here

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-22.png

and

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-23.png

Recall that the value function is defined as

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-24.png

A natural idea to derive the value function can be to iterate, i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-25.png

starting with a simple function, e.g the null function, at step 0. At step n=1

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-26.png

thus

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-27.png

At step n=2,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-28.png

i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-29.png

The first order condition is then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-30.png

and thus, we obtain

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-31.png

that can be plugged in the previous equation, i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-32.png

At step 3, we start from that new expression, derive the first order condition, and we get

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-33.png

and

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-34.png

and so on…
And finally, we can prove that

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-35.png

i.e. https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-36.png. Assuming that

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-37.png

actually, we can prove that

https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-38.png

(and https://perso.univ-rennes1.fr/arthur.charpentier/latex/co-opt-39.png has a form that can be explicited).

Optimal control, part 1

Since I had recently a request (from Benoît) about optimal control, I will start here a series of posts on that topic. But first, let us start with a simple problem, with discrete timeno randomness, and with a finite horizon. This might be a too simple framework to model complex problem, but that should be interesting to derive heuristic intuitions (I will skip here the mathematical problems, that can be found in very good books… references will come soon).

  • An introduction to backward induction

Before starting seriously, let us consider the following example: we want to reach the red city on the right from the red city on the left, as fast as possible. There are some roads, and the number is the number of hours it takes. Let us prove that the optimal way is the red one,

The first idea can be to calculate all possible trajectories, but with a large number of roads, the number of possible ways can soon be extremely large. An alternative can be to look backwards (like any students facing a question where the answer is given: start from the end, and try to find a possible way to reach it).


Numbers are greens are the number of hours that we still need one we’ve reached that point. Let us move again one step backward, and consider the orange points,

In the middle, we had to chose either to go up (it will still take 9 hours) or go down (and then 14 hours are necessary). Thus, the optimal strategy, once we’ve reach that point, it to take the 9 hour road. This will be idea the idea proposed by Bellman. Let us go backward again, to the purple cities. Again, we have to chose the shorter way,

From the top, the fastest road will take 13 hours, and from the bottom, it will take 16 hours. Thus, since it takes 10 hours to reach the top city, this road is necessarily faster than taking the one below (since it takes 8 hours to reach the nearest city).
Any this is it. We now have an intuitive idea of what should be done to find optimal strategies.

  • The optimization problem, discrete with finite horizon

Let us consider the following optimization problem: we want to find the optimal strategy https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-01.png that maximizes the following function

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-02.png

with simple constraints, such as https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-03.png (a state space) and https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-04.png (i.e. some dynamic constraints). Assume further that the starting point is given, i.e.
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-05.png. In economic application, note that frequently https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-06.png i.e. we consider a discounted version of the value.

  • The idea of dynamic programming

The intuitive idea of dynamic programming is that if the optimal path from A to C goes throught B, then the path is optimal from B to C. Thus, it will be natural to consider backward induction techniques.
Thus, define
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-07.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-08.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-09.png

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-10.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-11.png
Then Bellman’s principle can be used to link those problems: if https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-12.png is a solution of the problem https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-13.png then, for all
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-14.png, https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-15.png is a solution of problem https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-16.png.
Note that, so far, we assume that such an optimal sequence does exist. Thus, we get that for all x

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-17.png

and more generally,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-18.png

He
nce, from a practical point of view, we solve those equation using a backward approch. I.e. first,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-20.png

and then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-21.png

and so on

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-22.png

… etc. It can be proved that the sequence https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-23.png is solution of https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-24.png if and only if for all https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-25.png,  https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-15.png
is solution of

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-27.png

So far, it does not look so difficult….

  • A simple example

Let  https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-30.png denote the consumption at period t, and assume consumption yields utility

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-31.png

as long as the consumer lives. Assume the consumer is impatient, or has a stronger preference for present, so that he discounts future utility by a factor https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-32.png. Let https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-33.png be capital he got at time t. Assume that his initial capital is a given amount https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-34.png, and suppose that this period’s capital and consumption determine next period’s capital as

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-35.png

where https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-36.png is a positive constant and https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-37.png. Assume further that capital cannot be negative. Then the consumer’s problem is simply

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-38.png

given https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-39.png. Bellman’s equation is then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-40B.png

whih leads us to a simplier problem than the initial one, since only two variables are involved here https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-41.png and https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-42.png. And to solve that problem, we use backwards induction techniques.
Since https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-44.png is known, we can derive easily https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-45.png,  and so on until https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-46.png. More precisely, given https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-47.png, we can get https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-49.png which is the maximum of function

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-50.png

with https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-51.png. One can see that the following function is a possible solution

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-52.png

where each https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-53.png is a constant. Further, the optimal amount to consume at time https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-54.png is

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-55.png

i.e., if we explicit those expressions

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-60.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-61.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-62.png

…etc.

  • A reformulation of the optimisation problem

Another way of expressing the optimization problem is the following: https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-70.png was the variable of interest, https://perso.univ-rennes1.fr/arthur.charpenti<br />
er/latex/control-71.png was the control variable, and https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-72.png. Thus, the programm

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-73b.png

can be expressed as

https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-74.png

Several extension can be considered,

  • consider an infinite sum
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-80.png
  • consider a random component
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-81.png
  • consider a continuous version
https://perso.univ-rennes1.fr/arthur.charpentier/latex/control-82.png

But those items will be for posts that I still have to write down….

Paradoxe de Grossman et Stiglitz


Pour le cinquième cours à l’X, sur les asymétries d’information, les slides sont en ligne, ainsi que les énoncés des exercices. Je ferais PC l’après midi, salle 75, bâtiment Paul Levy. Sinon la page maintenue par Alfred Galichon se trouve ici. Petit complément sur le paradoxe de Grossman et Stiglitz, étudié en exercice (i.e. si un marché est efficient du point de vue de l’information, autrement dit toute l’information pertinente est contenue dans les prix de marché, alors aucun agent n’est incité à acquérir de l’information sur laquelle sont fondés les prix),

Grossman and Stiglitz (1980) argued that because information is costly, prices cannot perfectly reflect the information which is available, since if it did, those who spent resources to obtain it would receive no compensation, leading to the conclusion that an informationally efficient market is impossible.” Sewell (2006)

” Second, perfect efficiency is an unrealistic benchmark that is unlikely to hold in practice. Even in theory, as Grossman and Stiglitz (1980) have shown, abnormal returns will exist if there are costs of gathering and processing information. These returns are necessary to compensate investors for their information-gathering and information-processing expenses, and are no longer abnormal when these expenses are properly accounted for. In a large and liquid market, information costs are likely to justify only small abnormal returns, but it is difficult to say how small, even if such costs could be measured precisely.” Campbell, Lo and MacKinlay (1997), page 24

” Grossman (1976) and Grossman and Stiglitz (1980) go even further. They argue that perfectly informationally efficient markets are an impossibility, for if markets are perfectly efficient, the return to gathering information is nil, in which case there would be little reason to trade and markets would eventually collapse. Alternatively, the degree of market inefficiency determines the efforrt investors are willing to expend to gather and trade on information, hence a non-degenerate market equilibrium will arise only when there are sufficient profit opportunities, i.e., inefficiencies, to compensate investors for the costs of trading and information-gathering. The profits earned by these industrious investors may be viewed as economic rents that accrue to those willing to engage in such activities.” Lo and MacKinlay (1999), pages 5-6

Comsumption based CAPM


Pour le quatrième cours à l’X, sur l’équilibre et le CCAPM (consumption based), les slides sont en ligne, ainsi que les énoncés des exercices. Je ferais PC l’après midi, salle 75, bâtiment Paul Levy. Sinon, il n’y aura ni cours ni PC la semaine prochaine (le 3 février). Pour aller un peu plus loin sur le CCAPM, je renvoie vers les slides de Gabrielle Demange. Sinon pour compléter la question 3, je citerais le papier suivant

Kahane, Y. et Nye, D.J., «A Portfolio Approach to the Property-Liability Insurance Industry»,. Journal of Risk and Insurance 42 (1975), p. 579-598

On y retrouve que les risques d’assurance (et donc les catastrophes) sont très peu corrélées avec le “marché”, et donc permettent de diversifier un portefeuille d’actions.

Markowitz et CAPM

Pour le troisième cours à l’X, sur Markowitz, l’approche moyenne-variance et le CAPM, les slides sont en ligne, ainsi que les énoncés des exercices. Je ferais PC l’après midi, salle 75, bâtiment Paul Levy.

Comme toutes les semaines maintenant, un petit complément sur un imprécision lors de la PC… j’avais pensé (espéré) que l’on pourrait avoir un résultat général sur le comportement du portefeuille tangent, lorsque la corrélation évolue. J’ai donc repris* l’exemple de l’exercice, avec 3 actifs (dont 1 sans risques), en comparant trois cas possibles. Le cas limite est celui du milieu, lorsque les trois actifs sont alignés dans le plan moyenne variance. A gauche est représenté le cas “convexe” et à droite le cas “concave“. Les points violets correspondent à l’évolution de la position du portefeuille tangent en fonction de la corrélation entre les deux actifs risqués, entre -1 et 1 (ou plutôt 0.999999). Encore une fois, le cas où la corrélation vaut 1 ne peut être traité que si les points sont alignés, i.e. l’hypothèse d’absence d’opportunité d’arbitrage est vérifiée.

Dans le cas convexe“, le portefeuille tangent se rapproche d’un actif sans risque virtuel, tel que cet actif et les deux actifs sans risque seraient alignés. Dans le cas concave“, on converge vers le point de plus haut rendement (alors qu’on passait par le point de plus bas rendement dans le cas “convexe“), mais on le repasse pour partir à l’infini, avant de revenir par dessous, pour finalement atteindre – là aussi – l’actif sans risque virtuel, tel que cet actif et les deux actifs sans risque seraient alignés

Bref, je ne sais pas s’il existe un résultat général sur le comportement du portefeuille tangent, mais si un géomètre veut se lancer sur ce problème, je suis intéressé par les conclusions !

* repris numériquement seulement, sur un exemple numérique simple… avant d’avancer un résultat, je voulais voir si un résultat simple (et général) pouvait être obtenu sur des exemples numériques.

Single crossing et TVaR

Pour le second cours à l’X, les slides sont en ligne, ainsi que les énoncés desexercices. Je ferais PC l’après midi, salle 75, bâtiment Paul Levy.

Chose promise, chose due… sur le second exercice, sur la dominance stochastique à l’ordre 2, il existe une propriété dite de single-crossing, comme je l’avais évoqué en PC (malheureusement ce n’est qu’une condition suffisante). Autrement dit, si les fonctions de répartition soient…

On parle parfois de lemme de Ohlin, ou du critère de Karlin et Novikoff (1963). Parmi les références, je peux vous mettre le résultat donné dans le livre de Michel Denuit, Jan Dhaene, Marc Goovaerts, et Rob Kaas, dans Actuarial Theory for Dependent Risks,

Sinon pour l’interprétation en terme de dominance stochastique à l’ordre 2, il faut remonter au livre de Marc Goovaerts, et Rob Kaas, Effective Actuarial Methods.

D’ailleurs, cette notion de comparaison est très liée aux notions de “stop-loss order”, “TVaR order”, “variability order” ou de “increasing convex”. Le Chapitre 3 du livre de Moshe Shaked et George Shantikumar porte d’ailleurs exclusivement sur cette notion.

En ce qui concerne le dernier point, sur l’interprétation dans le cas Gaussien, on peut utiliser ce résultat (même s’il ne donne qu’une condition suffisante).

Economie de l’incertain, finance et asset pricing

Pour le premier cours à l’X, je replace Alfred Galichon. Les slides sont en ligne, ainsi que les énoncés des exercices. Le cours (ainsi que la PC auront lieu Amphi Painlevé).

En guise de complément sur l’exercice 2 sur l’APT, et une explication plus claire, je renvoie aux pages 162-171 du Asset Pricing de Cochrane. En particulier la dernière question portant sur l’approximate APT est traité (avec les mêmes notations, cf aussi ici).