Robert Aumann (2008) - Rule Rationality vs. Act Rationality

The assumption of rationality -- that people act to maximize their utility, given their information -- is fundamental in economics. We suggest that the maximization need not be conscious, for each act separately. Rather, people develop rules that yield optimal outcomes usually, but not necessarily always

The idea of rationality that people try to maximize their self-interest probably lies, it’s the one unifying factor in economics. I'd like to start with a story about Professor Selten over here, Reinhard Selten, who always walks around with an umbrella, no matter what the weather is. It can be raining, and then of course it’s rational to carry an umbrella. Or the sun could be shining and then it appears irrational to carry an umbrella. Of course it’s always possible that even when the sun is shining, it could begin to rain. The clouds could gather and then it could begin to rain and then you are sorry that you didn’t take an umbrella. But professor Selten goes further than that. I have personally observed him in the Israeli Negev desert in the summer (laughing) carrying an umbrella. This lecture is devoted to trying to explain Professor Selten’s behaviour! Professor Selten is a famous economist, and as we have just said, economics is about studying irrationality. It’s true that if one studies rationality one does not have to be rational oneself. Just like if one is an entomologist, you do not have to be a bee in order to study bees. Nevertheless I think Professor Selten’s behaviour is interesting and worthy of study and explanation. So let’s go to the next slide. We just spoke about bees and let me tell you about an experiment carried out by an entomologist called Andreas Bertsch, the German entomologist who did this experiment about 1985. He had a field of artificial flowers, artificial flowers consist of discs in the middle of which is a nectar tube which provides nectar or does not provide nectar, as the experimentor, in other words Professor Bertsch, wishes. And what he did was he had a field of blue and yellow flowers and he released some bees on this field. For a while, when the bees were fairly young, I don’t know how much, a week or two weeks, he would provide nectar only in the blue flowers and he did not provide nectar in the yellow flowers. The bees learnt that and they went to the blue flowers. And then, after a few weeks he switched. He turned off the nectar in the blue flowers and he turned on the nectar in the yellow flowers. And the bees kept going to the blue flowers and found no nectar there and they kept going to the blue flowers again and again. And they found no nectar and eventually they starved to death. They died from starvation and never tried a yellow flower. Now, that is irrational. Now, I think one can expect rationality from Professor Selten, but why would one expect rationality from a bee? One doesn’t normally associate the idea of rationality with bees. But there is an important connection between rationality and all living things, plants and animals. And that connection is provided by evolution. The theory of evolution is based on the idea of survival of the fittest, and fitness means staying alive. That’s one element, one important element, perhaps the most important element in fitness is staying alive. So one would expect all living things to develop genes, through the process of evolution, to develop genes which enable them to stay alive. And therefore one would expect also bees to develop genes which would enable them to stay alive. And when a bee behaves in a blatant way which leads it to die, as in the experiment of Professor Bertsch, this raises a question. One expects a certain degree of rationality from all living beings, because otherwise, without this rationality they would not survive. I don’t want to go too much into the details of this, but in fact in game theory there is a very important connection between the game theoretic equilibrium, the equilibrium of Professor Nash, and the behaviour of living things, the behaviour of plants and animals, even lower animals like bees. So one does expect rationality from a bee, and the experiment of Bertsch shows that at least in this case bees behave irrationally. Let’s go to the next example, this is the ultimatum game. I’ll describe the ultimatum game, the experiment was done by Güth and collaborators. Werner Güth is a student of Professor Selten, so Professor Selten is really the star of this show, let’s give him a hand (applause). Okay, the rules of the ultimatum game are as follows: Two people must divide 100 DM, nobody over here knows what a DM is anymore. But this was done in 1981, I think I'm not too far off the mark by saying that a 1981 DM is approximately 1 Euro today. Well, more or less, it’s in the ballpark. So two people must divide 100 DM, they are in separate rooms, they do not know each other and can interact only this one time. A designated one of the two, whom we’ll call ‘the offerer’ makes an offer. The other one, ‘the responder’, may either accept or reject the offer. So this is done via computer. They cannot communicate in any way, the offerer makes the offer without any explanation of how to divide, the other one can only type in yes or no, that’s all. If the responder accepts, the amount is divided accordingly, if not no one gets anything. Now, one would expect in this case that the offerer would offer something like perhaps 99/1. The subject was students over here, students are preverbally poor and no one would turn down 1 DM. But let’s be generous, let’s say that the offerer should offer 95/5 or 90/10 perhaps. Because he would expect the responder not to walk away from 1 DM, from 5 DM, from 10 DM, certainly he wouldn't walk away from 10 DM, you can buy a lot of beer for 10 DM. And the offerer would take advantage of this and take the lion’s share for himself. That’s not what happened. Most offers were 65/35 or even more generous and were accepted. Some offers were 80/20, and even offers that were 80/20 were rejected. Now, this is irrational. Why would a student walk away from 20 DM? Well, possible explanations are pride, self-respect, the student felt insulted by such an offer. He wants to take revenge for an offer that he considers unfair. So these are possible explanations. Irrelevant explanation is a reputational effect. In other words that the responder does not want to develop a reputation for being what we call in the United States a sucker. A person who, well, you know what it means! So we have those explanations of pride, self-respect, insult, revenge. Somehow they are not quite satisfactory, those explanations, because I think the purpose of game theoretical, more generally economic analysis, is to account for feelings like this. One does not want to take something like pride, self-respect, insult, revenge and take it as given. Especially from an evolutionary viewpoint one wants to say how did feelings like this evolve. But this is a possible explanation. Let me go to a different topic. I think these two things, the ultimatum game and the behaviour of the bees are problems over here that we want to try to understand within the framework of rationality. I want to go off on a tangent a little bit and that is to discuss the idea of utilitarianism and specifically to compare rule utilitarianism with act utilitarianism. Let me remind you what utilitarianism is. Utilitarianism is not part of economics. Utilitarianism is a philosophical doctrine of ethics. It’s an ethical philosophical doctrine which says how people should behave. What is the basis of good moral ethical behaviour? It was started by Jeremy Bentham in the late 18th century. The idea of utilitarianism is that one should act in a way which maximizes total benefit to society. If you wish, you could take the utilities of everybody in society and add them up, and then you should make your choices on the basis of what maximizes not your own utility but the utility of all of society, the sum of the utilities. One does not necessarily have to talk about sums of utility functions but in general the benefit to society in some sense, that does not have to be further specified. This is the idea of Jeremy Bentham. John Stuart Mill and John Harsanyi, who shared the prize, the Bank of Sweden - it’s a long word - it’s the Bank of Sweden Prize in Memory of Alfred Nobel, that’s it. He shared the Bank of Sweden prize in memory of Alfred Nobel with Professor Selten and with Professor Nash, who was also at this conference in 1994, and he died a few years after that. And John Stuart Mill refined this concept of Bentham’s concept. And, in order to describe this refinement, let me refer to the book by Fyodor Dostoyevsky called Crime and Punishment. You remember, there was a young gentleman in Dostoyevsky’s book by the name of Raskolnikov, and it was an old money lender who was in some sense a drag on society. Raskolnikov needed money, the money lender had money, she did not want to lend it to Raskolnikov, because she was a little different from Dr. Yunus, who we heard this morning (laughing). So he thought that, according to the doctrine of Jeremy Bentham of utilitarianism, it was okay to murder her and take the money. For two reasons: First of all, society would be better off without this old hag, and second of all, he could use the money much better than her. Sorry, he could use the money much better than she could use it. So the sum total benefit to society would be increased if he murders her and takes the money. This is the backbone of this story and he does it now. There’s something wrong with this. I think Dostoyevsky feels it and all of us feel it in reading Dostoyevsky’s book. And Raskolnikov himself felt it, because he fell ill, he got a fever, immediately afterwards of course he was eventually apprehended by the police and all that. Now, what’s wrong with that feeling? The point is that in making ethical judgment, one should consider the rule, the rule is ‘thou shalt not murder’. And not ‘does this particular act increase the benefit to society?’. It’s important to consider the rule, it’s the rules that have to be utilitarian. In other words, you should consider a rule that in general maximizes the benefit to society. It’s not that each act has to maximize the benefit to society. This is the improvement that was suggested by John Stuart Mill, or not the improvement, the modification of Bentham’s rule, which was suggested by John Stuart Mill and was actively promoted by John Harsanyi in his discussion of utilitarianism. So in either case, judgments are made on a utilitarian basis, i.e. maximum welfare of society. But in one case, you are maximizing the utility of the act and in the other case, you are maximizing the utility of the rule. Now we take a similar distinction and we apply it to the idea of rationality. In other words, in making decisions should one consider the rule, should one go by rules or should one go by acts. Does one maximize the utility of each act separately, or does one develop rules by which to act and then one maximizes the utility of the rule. Now, in this case the judgments are made on an egotistic basis. You are maximising your own welfare, you are not maximizing the welfare to society. Now we are talking about economics or game theory. We are not talking about ethical behaviour, this is not ethics anymore. But does one develop rules or does one maximize each act separately. Maximize the utility to yourself of each act separately. And what I'd like to suggest is that people do not actually maximize the utility of each act separately. What they do is that they develop rules of behaviour, people and also bees, develop rules of behaviour and they adopt those rules which usually, on average or in total yield maximum utility. They do not maximize, they do not do a separate calculation for each act. So in the ultimatum game: Should you consider the rule? And the rule is ‘don’t let people kick you in the stomach’. A 90/10 offer is a person kicking you in the stomach. And that’s not a good idea to let people kick you in the stomach. That’s the rule in general, or should you consider the act, should I take 20 DM or nothing? Now, if you are considering the act, then certainly you should take 20 DM, you don’t know the other guy, there’s no reputational effect. But the rule is ‘don’t let people kick you in the stomach’, and then one should turn it down. But these are not ethical philosophical issues. In the ultimatum game, in the behaviour of the bees, it’s not a philosophical issue, it’s not an ethical issue. Why shouldn't I just maximize my welfare? Whereas it makes sense in the manner of utilitarianism, it makes sense to maximize the rule, it doesn’t seem to make sense to maximize the rule in individual behaviour. The answer is that rule rationality is a positive notion. In other words, I'm not recommending rule rationality, I'm saying that’s how the world works. The world, people do not maximize each act separately. They develop rules of behaviour either by learning or by evolution or by copying or whatever. And this is how the world actually works. It’s not something that I recommend. If I were a student and participating in the experiment of good and is collaborative I would take the 20 DM. I would recommend taking the 20 DM. Maybe I wouldn't do it myself but I certainly would recommend taking the 20 DM. So rationality is an expression of evolutionary forces, which work by the rule, not the exception, not the contrived situation. There’s something wrong with this presentation, because these little boxes should be around the word ‘not’... What do you do with computers? I have never learnt to live with them. They never work for me, they don’t like me and I don’t like them either. All right, how does this work out in the two examples we’ve given? In the example of the bees and the flowers, the rule is ‘learn which flowers give nectar and then go to those flowers’, that’s the rule. In the ultimatum game it is, as I said before, ‘don’t let people kick you in the stomach’. How does this work out? How do these rules form? Well, in each case there’s some kind of mechanism that leads to the rule. In the case of the bees and the flowers we have what’s called a learning window. The learning window is that evolution has constructed bees so that they have a period at the beginning of their lives in which they are able to learn. By the way, human beings also have a learning window, if a child does not learn to speak by the age of - I don’t know exactly what the age is – but let’s say ten or so, give it an upper band, then he’ll never learn to speak. Similarly with reading and other things, there are learning windows. If you don’t learn how to use a computer by the age of 70 you’ll never learn! So there’s a thing called the ‘learning window’ and this is how the bees learnt to use the blue, learnt that the blue flowers give nectar, they learnt this in the time that they were able to learn anything. Afterwards they were not able to learn anything and it’s not that they purposely starved themselves to death, but rather that they were unable to switch to the yellow flowers. Now why didn’t the bees develop? Why didn’t evolution develop something other than the learning window? Why didn’t evolution develop a gene which will enable the bees to try something else when the blue flowers don’t work? At least to try the yellow flowers. Well, the answer is very simple, Bertsch’s experiment is a contrived unnatural situation to which evolution doesn’t apply. In the open field, if blue flowers gave nectar up to week two, then they’ll give nectar after week two, also. These are things that happen in Bertsch’s laboratory. They don’t happen out there in nature. So evolution doesn’t apply to them. Evolution is not going to work on things that don’t occur in nature. So that is how the learning window developed, it is perfectly adapted to evolutionary forces. That’s how the learning window developed, that’s how the rule developed and that is why these bees are rule rational but not act rational. Another example of a mechanism is the ultimatum game, which we just described. In the ultimatum game we have the mechanism that works is exactly those things that I mentioned before. Evolution has built into people a sense of pride, a sense of self-respect. The idea of being insulted, the idea of revenge, because usually, in most situations those things enhance your reputation, they keep you from letting other people kick you in the stomach. And that is a mechanism, just like the learning window is a mechanism for the bees and flowers, these things of pride and self-respect insult and revenge are mechanisms for keeping people from letting other people kick you in the stomach. In other words for enhancing the reputational effect. In this case the reputational effect is irrelevant because people don’t see each other, they don’t know each other, it’s only just this once, but just like Bertsch’s experiment is not natural, so also Güth’s experiment is not carried out in a natural setting. The natural setting is a setting in which when you accept an 80/20 split, it gets known that you’re a sucker. Okay, other examples, let me first go to the last item, Professor Selten’s umbrella. This is the one case in which the choice of a rule is conscious. Usually the rule is not consciously adopted as in the other cases we saw. But Professor Selten adopted the rule because he lives in Germany. And sometimes the sun shines and sometimes it rains, and sometimes the sun shines and very quickly it turns to rain. Selten says ‘I'm always going to take an umbrella, I’ve had enough of this crap, I don’t take an umbrella and then it starts raining’. So he adopts this rule and then he says ‘I can’t be bothered to change this rule, just because I'm in Israel’. I take an umbrella and that’s it. I do this also myself. I fasten the seat belt when I go around the block in my car. It doesn’t make any sense, you fasten the seatbelt when there’s some kind of significant probability that you’ll get into a serious accident. And I'm just driving around the block at 10 km/h, it doesn’t make sense to fasten the seatbelt. But why think about it? You just automatically fasten the seatbelt, and that’s why Selten automatically takes an umbrella. We can discuss this afterwards. Okay, let me give some other quick examples, recency, we are going backwards in the thing. Recency is one of the supposedly irrational elements that were discovered by the behavioural economists. They take the most recent results, the more recent results have a much bigger effect on people’s behaviour than things that happened long ago. But this is something which is rule rational. When you’re doing a filing system in a computer, always the first item that comes up is the last item that you used. Recency plays a very important role in computer programs and that is because people usually, the more recent results are indeed more significant. Sometimes they are not, but the rule of recency is rule rational, it doesn’t have to be act rational. I just want to give two other examples, one other example. I’ll just talk about hunger, it’s rational to eat. Okay, when you are hungry, it’s rational to eat. Hunger is a mechanism that allows you to nourish yourself. You don’t eat because you feel ‘well, I need energy to keep myself going’. It’s not something that you figure out rationally. If you are hungry you eat. But it’s rule rational, it’s not act rational. Some people are very obese. I don’t see anybody like that in the audience, but if you go to the United States you see a lot of very obese people, and when they are hungry, they should not eat. So it’s not necessarily act rational. When people came out of the concentration camps after the Second World War, many of them, all of them were very hungry. And when you are hungry, you should eat, right? No, some people who ate too much after coming out of the concentration camps died as a result. So it’s not always act rational, it’s rule rational. I’ll quit now and allow some questions. QUESTION.(inaudible)… ROBERT AUMANN. In all over, let me say this in response to that question. If you think of act rationality as a thesis, act rationality traditionally underlies classical economics. Milton Friedman already said in the mid-50s that people are not really rational, but they only act as if they were rational. So there you’re already approaching rule rationality. But traditionally act rationality is the basis of classical economics. Kahneman and Tversky and other behavioural economists are saying ‘no, that’s all wet, it doesn’t make any sense, people don’t really behave rationally at all, how they do behave isn’t clear, but they don’t behave rationally’. And then comes your humble servant, so we have act rationality as a thesis, behavioural economics is the antithesis and then, like Hegel, we come with a synthesis, which would be rule rationality. Okay, next question. QUESTION. (inaudible) ROBERT AUMANN. When I fasten my seatbelt, I sort of do it automatically. I don’t want to start thinking ‘should I, is this trip long enough?’ And until I figured out whether the trip is long enough to justify fastening the seatbelt, I could have made the trip three times. In other words, I just adopt this rule out of convenience. I'm going to fasten my seatbelt and that’s it. I think Professor Selten has a similar idea in his umbrella rule. It’s just he doesn’t want to bother every time ‘okay, in Israel I shouldn’t do it, in Germany I should do it, if I'm in Venezuela should I do it or shouldn't I do it? I have to ask how the weather changes, it’s too much trouble. I adopt the rule umbrella, that’s it.’ Next question? QUESTION. (inaudible) ROBERT AUMANN. Does updating of rules lead to rationality, to act rationality? Most rules are adopted unconsciously. Selten’s umbrella rule is an exception, it was adopted consciously. Aumann’s seatbelt rule is an exception, it was adopted consciously. But most rules are adopted unconsciously, so probably some updating can take effect, even in unconscious things because these things are learnt. So if you’re Selten and you move to Israel, you start living there and you adopted the rule unconsciously, then you would probably update it. Yes? QUESTION. (inaudible) ROBERT AUMANN. Okay, that’s an easy answer, that’s an easy one to field. There are no normative implications. In other words, I do not suggest rule rationality. It’s not a good idea usually, with a few exceptions, like when it’s too much bother to figure out each time is it rational this time, or is it not. But in general I do not think that people should act rule rational. It’s foolish to do that. In other words, in Güth’s experiment, I would say to the student ‘take the 20 DM!’. Next question. QUESTION. (inaudible) ROBERT AUMANN. Okay, let me respond to that. Your mention of Smith is very apt, because the 02 prize, let me try to get this right. The Bank of Sweden prize in memory of Alfred Nobel for 2002 was shared by Daniel Kahneman and Vernon Smith. Now, very often that prize is taken as a celebration of behavioural economics, as a stamp of approval for behavioural economics. Actually it isn’t because what Kahneman did was behavioural economics, in other words, he proved through experiments and polls and things like that, that people behave irrationally. What Vernon Smith did was he proved through experiments that people behave rationally. Vernon Smith, the experiments for which he got the prize were experiments that showed that neoclassical economics worked just fine. So what the ’02 prize was celebrating were not these two contradictory positions but they were celebrating again what Professor Selten did many years before, and that is the use of experiments in economics and game theory. He should have gotten that prize, too. So let’s give him a hand again. Okay, thank you I think that’s about it.

Das Konzept von Rationalität, nach dem die Menschen versuchen, ihre eigenen Interessen im größtmöglichen Maße durchzusetzen, ist wahrscheinlich der eine verbindende Faktor in den Wirtschaftswissenschaften. Ich möchte mit einer Geschichte über Professor Selten beginnen, der hier drüben sitzt. Reinhard Selten, der immer mit einem Regenschirm herumläuft, unabhängig davon, wie das Wetter ist. Es kann regnen und dann ist es natürlich rational, einen Regenschirm zu benutzen. Oder die Sonne könnte scheinen und dann scheint es irrational zu sein, einen Regenschirm zu benutzen. Natürlich ist es immer möglich, dass es, selbst wenn die Sonne scheint, zu regnen beginnen könnte. Es könnten Wolken heranziehen und es könnte beginnen zu regnen und dann ärgert man sich, dass man keinen Regenschirm mitgenommen hat. Aber Professor Selten übertreibt es. Ich habe ihn in der Wüste Negev in Israel persönlich dabei beobachtet, wie er im Sommer (lacht) einen Regenschirm benutzte. Dieser Vortrag verfolgt das Ziel, Professor Seltens Verhalten zu erklären. Professor Selten ist ein berühmter Wirtschaftswissenschaftler und, wie soeben erwähnt, besteht das Ziel der Wirtschaftswissenschaften darin, die Irrationalität zu erforschen. In der Tat muss man, wenn man die Rationalität erforscht, nicht selbst rational sein. Mann muss ja auch als Insektenkundler keine Biene sein, um die Bienen zu erforschen. Dennoch denke ich, dass Professor Seltens Verhalten interessant ist, und dass es sich lohnt, es zu erforschen und zu erklären. Kommen wir zur nächsten Folie. Gerade haben wir über Bienen gesprochen und nun möchte ich Ihnen von einem Experiment erzählen, das von dem Insektenkundler Andreas Bertsch durchgeführt wurde, dem deutschen Insektenkundler, der dieses Experiment etwa 1985 gemacht hat. Er hatte ein Feld mit künstlichen Blumen, künstliche Blumen bestehen aus Scheiben, in deren Mitte sich eine Nektarröhre befindet, aus der entweder Nektar austritt oder aus der kein Nektar austritt, je nach Belieben dessen, der das Experiment durchführt, das heißt, je nach Professor Bertschs Belieben. Er hatte ein Feld mit blauen und gelben Blumen und er setzte einige Bienen in diesem Feld aus. Eine Weile lang, als die Bienen noch recht jung waren, wie jung genau, weiß ich nicht, ein oder zwei Wochen alt, stellte er nur bei den blauen Blumen Nektar bereit, wohingegen er bei den gelben Blumen keinen Nektar bereitstellte. Die Bienen lernten das und flogen zu den blauen Blumen. Dann nach einigen Wochen nahm er eine Umstellung vor. Er kappte den Nektar bei den blauen Blumen und aktivierte ihn bei den gelben Blumen. Und die Bienen flogen weiterhin zu den blauen Blumen und fanden dort keinen Nektar vor und immer wieder flogen sie zu den blauen Blumen. Und sie fanden dort keinen Nektar vor und verhungerten schließlich. Sie verhungerten und versuchten es nicht einmal bei einer gelben Blume. Also, das ist irrational. Nun, ich denke, von Professor Selten kann man Rationalität erwarten, aber warum sollte man von einer Biene Rationalität erwarten? Normalerweise bringt man das Konzept der Rationalität nicht mit Bienen in Verbindung. Aber es gibt eine wichtige Verbinduung zwischen der Rationalität und allen Lebewesen, Pflanzen und Tieren. Und diese Verbindung ist durch die Evolution gegeben. Die Evolutionstheorie basiert auf der Vorstellung des Überlebens des am besten Angepassten, und am besten angepasst sein ist gleichbedeutend mit überleben. Dies ist ein Element, ein wichtiges Element,vielleicht das wichtigste Element des Angepasstseins, dass man überlebt. Man würde also erwarten, dass alle Lebewesen im Laufe des Prozesses der Evolution Gene entwickeln, Gene, die sie in die Lage versetzen zu überleben. Daher würde man auch erwarten, dass Bienen Gene entwickeln, die sie in die Lage versetzen zu überleben. Und wenn eine Biene sich offensichtlich in einer Art und Weise verhält, die sie sterben lässt, so wie im Experiment von Professor Bertsch, wirft dies eine Frage auf. Man erwartet von allen Lebewesen einen gewissen Grad an Rationalität, denn andernfalls, ohne diese Rationalität überleben sie nicht. Ich möchte nicht zu sehr ins Detail gehen, aber in der Spieltheorie gibt es eine sehr bedeutende Verbindung zwischen dem spieltheoretischen Gleichgewicht, dem Gleichgewicht von Professor Nash, und dem Verhalten von Lebewesen, dem Verhalten von Pflanzen und Tieren, selbst von niederen Tieren wie Bienen. Man erwartet also keine Rationalität von einer Biene und das Experiment von Bertsch zeigt, dass sich Bienen zumindest in diesem Fall irrational verhalten. Kommen wir zum nächsten Beispiel, das ist das Ultimatumspiel. Ich werde das Ultimatumspiel beschreiben, das Experiment wurde von Güth und seinen Mitarbeitern gemacht. Werner Güth ist ein Student von Professor Selten, also, Professor Selten ist wahrhaft der Star dieser Veranstaltung, ich bitte um Applaus für ihn (Applaus). Gut, die Regeln des Ultimatumspiels sind wie folgt: Zwei Personen müssen 100 DM aufteilen, hier weiß niemand mehr, was DM ist. Aber dies wurde 1981 gemacht, ich denke, ich liege nicht so falsch, wenn ich sage, dass eine DM 1981 ungefähr 1 Euro heute entspricht. Nun, mehr oder weniger, es bewegt sich in der Größenordnung. Also, zwei Personen müssen 100 DM aufteilen, sie sind in getrennten Räumen, sie kennen einander nicht und können nur dieses eine Mal interagieren. Ein Bestimmter der beiden, den wir "den Anbieter" nennen, macht ein Angebot. Der andere, "der Empfänger", kann das Angebot entweder annehmen oder ablehnen. Dies wird mithilfe eines Computers getan. Sie können in keiner Weise miteinander kommunizieren, der Anbieter macht das Angebot ohne eine Erklärung dazu, wie die Aufteilung aussieht, der andere kann nur Ja oder Nein eintippen, das ist alles. Wenn der Empfänger einwilligt, wird der Betrag entsprechend aufgeteilt, wenn nicht, bekommt niemand irgendetwas. Nun würde man in einem solchen Fall erwarten, dass der Anbieter vielleicht so etwas wie 99/1 anbietet. Der Hintergrund war, dass die Studenten hier schon immer arm sind und niemand 1 DM ablehnen würde. Aber seien wir großzügig, sagen wir mal, dass der Anbieter 95/5 oder vielleicht 90/10 anbietet. Weil er erwartet, dass der Empfänger nicht auf 1 DM, nicht auf 5 DM, nicht auf 10 DM verzichtet, sicher würde er nicht auf 10 DM verzichten, für 10 DM kann man eine Menge Bier kaufen. Und der Anbieter würde das ausnutzen und den Löwenanteil für sich behalten. Das ist nicht passiert. Die meisten Angebote waren 65/35 oder sogar großzügiger und wurden akzeptiert. Einige Angebote waren 80/20 und sogar 80/20-Angebote wurden abgelehnt. Das ist irrational. Warum sollte ein Student auf 20 DM verzichten? Nun, mögliche Erklärungen sind Stolz, Selbstachtung oder der Student fühlte sich durch solch ein Angebot beleidigt. Er möchte sich für ein Angebot, das er als unfair betrachtet, revanchieren. Dies sind also mögliche Erklärungen. Eine irrelevante Erklärung ist ein Ansehenseffekt. Anders ausgedrückt: Der Empfänger möchte nicht als das angesehen werden, was wir in den USA einen "sucker" (Trottel) nennen. Eine Person, die, na ja, Sie wissen, was das bedeutet! Wir haben also als Erklärungen Stolz, Selbstachtung, Beleidigung, Revanche. Irgendwie sind diese Erklärungen nicht befriedigend, denn ich denke, der Zweck der spieltheoretischen, allgemeiner ausgedrückt: der ökonomischen Analyse ist es, derartige Gefühle zu erklären. Man möchte Dinge wie Stolz, Selbstachtung, Beleidigung, Revanche nicht als etwas Gegebenes ansehen. Insbesondere von einem evolutionsbiologischen Standpunkt aus betrachtet möchte man wissen, wie sich solche Gefühle entwickelt haben. Aber dies ist eine mögliche Erklärung. Kommen wir nun zu einem anderen Thema. Ich denke, dass diese beiden Dinge, das Ultimatumspiel und das Verhalten der Bienen, hier Probleme sind, die wir im Rahmen der Rationalität versuchen wollen zu verstehen. Ich möchte nun ein bisschen das Thema wechseln, und zwar möchte ich das Konzept des Utilitarismus diskutieren und insbesondere möchte ich den Regelutilitarismus mit dem Handlungsutilitarismus vergleichen. Lassen Sie mich zunächst erläutern, was Utilitarismus ist. Der Utilitarismus ist kein Gegenstand der Wirtschaftswissenschaften. Der Utilitarismus ist eine philosophische Doktrin der Ethik. Er ist eine ethisch-philosophische Doktrin, die besagt, wie sich Menschen verhalten sollen. Was ist die Grundlage für gutes moralisch-ethisches Verhalten? Seinen Anfang nahm er mit Jeremy Bentham im späten 18. Jahrhundert. Das Konzept des Utilitarismus besteht darin, dass man so handeln soll, dass der gesamtgesellschaftliche Nutzen dadurch maximiert wird. Wenn man möchte, kann man den Nutzen eines jeden Menschen in der Gesellschaft erfassen und alles addieren und dann trifft man eine Wahl nicht anhand der Frage, wodurch sich der eigene Nutzen mehren lässt, sondern anhand der Frage, wie sich der Nutzen für alle Menschein in der Gesellschaft mehren lässt, es geht also um die Summe der Nutzen. Man muss nicht unbedingt über Summen von Nutzenfunktionen sprechen, aber im Allgemeinen und in einem gewissen Sinne über den Nutzen für die Gesellschaft, der nicht weiter spezifiziert werden muss. Das ist das Konzept von Jeremy Bentham, John Stuart Mill und John Harsanyi der sich den Nobelpreis, den Preis – es ist ein langes Wort – den Preis der Bank von Schweden in Gedenken an Alfred Nobel, so heißt er. Er teilte sich den Preis der Bank von Schweden in Gedenken an Alfred Nobel mit Professor Selten und Professor Nash, der 1994 auch bei dieser Veranstaltung dabei war und einige Jahre später starb. Und John Stuart Mill verfeinerte das Konzept von Bentham. Und um diese Verfeinerung zu beschreiben, möchte ich auf das Buch "Schuld und Sühne" von Fjodor Dostojewski zu sprechen kommen. Sie erinnern sich, es gab einen jungen Mann in Dostojewskis Buch, der Raskolnikov hieß, und es gab eine alte Geldverleiherin, die in einem gewissen Sinne eine Last für die Gesellschaft war. Raskolnikov brauchte Geld, die Geldverleiherin hatte Geld, sie wollte Raskolnikov aber keines leihen, da sie sich ein wenig von Dr. Yunus unterschied, den wir heute Morgen gehört haben (lachend). Also dachte er, dass es gemäß der Utilitarismus-Doktrin von Jeremy Bentham in Ordnung sei, sie zu ermorden und das Geld zu nehmen. Aus zwei Gründen: Erstens sei die Gesellschaft ohne diese alte Hexe besser dran, zweitens könne er das Geld viel besser gebrauchen als sie. Entschuldigen Sie, er könne das Geld viel besser gebrauchen als sie es gebrauchen könne. Also sei der Gesamtnutzen für die Gesellschaft höher, wenn er sie tötet und das Geld nimmt. Das ist der Grundgedanke dieser Geschichte und er macht es. Etwas ist falsch daran. Ich denke, Dostojewski spürt das und wir alle spüren das, wenn wir Dostojewskis Buch lesen. Und auch Raskolnikov selbst spürte das, weil er krank wurde, er bekam Fieber, natürlich wurde er gleich danach schließlich von der Polizei festgenommen und so weiter. Nun, was ist an diesem Gefühl falsch? Der Punkt ist, dass man, wenn man ein ethisches Urteil fällt, die Regel "Du sollst nicht töten" beachten sollte. Und nicht die Frage "Erhöht dieses spezifische Handeln den Nutzen für die Gesellschaft?". Es ist wichtig, die Regel zu beachten, dass Regeln utilitaristisch sein müssen. Anders ausgedrückt: Man soll eine Regel beachten, die im Allgemeinen den Nutzen für die Gesellschaft mehrt. Jedoch muss nicht jede Handlung den Nutzen für die Gesellschaft mehren. Das ist die Verbesserung, die von John Stuart Mill vorgeschlagen wurde, besser gesagt: nicht die Verbesserung, die Abänderung von Benthams Regel, die von John Stuart Mill vorgeschlagen und von John Harsanyi in seiner Erörterung des Utilitarismus aktiv propagiert wurde. In beiden Fällen werden Urteile also auf der Grundlage des Utilitarismus gefällt, das heißt, nach dem größtmöglichen Wohlergehen für die Gesellschaft. Aber in einem Fall maximiert man den Nutzen der Handlung und im anderen Fall maximiert man den Nutzen der Regel. Nun nehmen wir eine ähnliche Unterscheidung vor und wenden diese auf das Konzept der Rationalität an. Anders ausgedrückt: Wenn man Entscheidungen trifft, soll man dann die Regel beachten, soll man sich nach Regeln richten oder soll man sich nach Handlungen richten. Maximiert man den Nutzen einer jeden Handlung einzeln oder entwickelt man Regeln, nach denen man handelt, und maximiert dann den Nutzen der Regel. Also, in diesem Fall werden die Urteile auf der Grundlage von Egoismus gefällt. Man maximiert das eigene Wohlergehen, nicht das Wohlergehen für die Gesellschaft. Nun sprechen wir über Wirtschaftswissenschaften oder über die Spieltheorie. Wir sprechen nicht über ethisches Verhalten, hier geht es nicht mehr um Ethik. Aber entwickelt man Regeln oder maximiert man jede Handlung einzeln. Man maximiert den Eigennutzen einer jeden Handlung einzeln. Und was ich vorschlagen möchte, ist, dass die Menschen nicht den Nutzen einer jeden Handlung einzeln maximieren. Was sie tun, ist, dass sie Verhaltensregeln entwickeln, Menschen und auch Bienen entwickeln Verhaltensregeln und sie übernehmen diese Regeln, die normalerweise, im Durschnitt oder insgesamt, den maximalen Nutzen bringen. Sie maximieren nicht, sie führen keine separate Berechnung für jede einzelne Handlung durch. Was das Ultimatumspiel angeht: Soll man die Regel beachten? Und die Regel lautet "Sorg dafür, dass die Leute dir nicht in die Magengrube schlagen". Ein 90/10-Angebot ist gleichbedeutend mit einer Person, die einem in die Magengrube schlägt. Und es ist keine gute Idee, sich von anderen Leuten in die Magengrube schlagen zu lassen. Das ist im Allgemeinen die Regel oder soll man die Handlung in Betracht ziehen, soll ich 20 DM nehmen oder gar nichts? Nun, wenn man die Handlung betrachtet, dann sollte man gewiss die 20 DM nehmen, man kennt die andere Person nicht, es gibt keinen Ansehenseffekt. Aber die Regel lautet "Sorg dafür, dass die Leute dir nicht in die Magengrube schlagen" und dann sollte man ablehnen. Aber dies sind keine ethisch-philosophischen Fragestellungen. Im Ultimatumspiel, beim Verhalten der Bienen handelt es sich nicht um eine philosophische Fragestellung, es handelt sich nicht um eine ethische Fragestellung. Warum soll ich nicht einfach mein Wohlergehen maximieren? Zwar macht es Sinn im Hinblick auf den Utilitarismus, es macht Sinn, die Regel zu maximieren, jedoch scheint es keinen Sinn zu machen, die Regel im individuellen Verhalten zu maximieren. Die Antwort ist, dass Regelrationalität etwas Positives ist. Anders ausgedrückt: Ich empfehle nicht die Regelrationalität, ich sage, dass die Welt so funktioniert. Die Welt, die Menschen maximieren nicht jede Handlung einzeln. Sie entwickeln Verhaltensregeln entweder durch Lernen oder durch Evolution oder durch Nachahmung oder durch was auch immer. Und genau so funktioniert die Welt. Es ist nichts, was ich empfehle. Wenn ich Student wäre und an dem Experiment des gut und kollaborativ Seins teilnehmen würde, würde ich die 20 DM nehmen. Ich würde empfehlen, die 20 DM zu nehmen. Ich selbst würde es nicht tun, aber mit Sicherheit würde ich empfehlen, die 20 DM zu nehmen. Rationalität ist also ein Ausdruck evolutionärer Kräfte, die nach der Regel funktionieren, nicht nach der Ausnahme, nicht nach der arrangierten Situation. Etwas ist falsch an dieser Darstellung, weil diese kleinen Kästchen um das Wort "not" (nicht) herum platziert sein sollten... Was soll man mit Computern machen? Ich habe nie gelernt, mit ihnen zu leben. Sie arbeiten nie für mich, sie mögen mich nicht und ich mag sie auch nicht. Nun gut, wie funktioniert das bei den beiden Beispielen, die wir behandelt haben? Beim Beispiel mit den Bienen und den Blumen lautet die Regel "Lern, welche Blumen Nektar bereitstellen und dann flieg zu diesen Blumen", das ist die Regel. Beim Ultimatumspiel lautet die Regel, wie ich bereits sagte, "Sorg dafür, dass die Leute dir nicht in die Magengrube schlagen". Wie funktioniert das? Wie formen diese Regeln? Nun, in beiden Fällen gibt es eine Art von Mechanismus, der zur Regel führt. Im Falle der Bienen und der Blumen haben wir das, was wir ein Lernfenster nennen. Das Lernfenster ist derartig, dass die Evolution Bienen so hervorgebracht hat, dass es einen Zeitraum zu Beginn ihres Lebens gibt, in dem sie in der Lage sind zu lernen. Übrigens haben auch Menschen ein Lernfenster, wenn ein Kind nicht im Alter von – ich weiß nicht genau, wie vielen Jahren – sagen wir mal zehn Jahren oder so als Obergrenze lernt zu sprechen, dann wird es nie lernen zu sprechen. Ähnliches gilt beim Lesen oder anderen Dingen, es gibt Lernfenster. Wenn man nicht gelernt hat, wie man mit einem Computer umgeht, bevor man 70 ist, lernt man es auch nicht mehr! Es gibt also etwas, das man "Lernfenster" nennt, und so lernten die Bienen, zu den blauen Blumen zu fliegen, sie lernten, dass die blauen Blumen Nektar bereitstellten, sie lernten dies in dem Zeitraum, in dem sie in der Lage waren zu lernen. Danach waren sie nicht in der Lage zu lernen und sie haben sich nicht absichtlich zu Tode gehungert, es war vielmehr so, dass sie nicht in der Lage waren, sich auf die gelben Blumen hin umzustellen. Warum haben sich die Bienen nicht entwickelt? Warum hat die Evolution nicht etwas anderes als das Lernfenster hervorgebracht? Warum hat die Evolution nicht ein Gen hervorgebracht, das die Bienen in die Lage versetzt, etwas anderes zu versuchen, wenn die blauen Blumen nicht zum Erfolg führen? So dass sie es wenigstens einmal mit den gelben Blumen versuchen. Nun, die Antwort ist sehr einfach, das Experiment von Bertsch ist eine arrangierte unnatürliche Situation, bei der die Evolution nicht zum Tragen kommt. Wenn in einem freien Feld blaue Blumen bis zum Ende der zweiten Woche Nektar bereitstellen würden, dann würden sie auch noch nach dem Ende der zweiten Woche Nektar bereitstellen. Es handelt sich hierbei um Dinge, die in Bertschs Labor geschehen. Sie geschehen nicht draußen in der Natur. Also kommt die Evolution nicht zum Tragen. Die Evolution wird bei Dingen, die in der Natur nicht auftreten, nicht funktionieren. So hat sich das Lernfenster entwickelt, es ist perfekt an die evolutionären Kräfte angepasst. So hat sich das Lernfenster entwickelt, so hat sich die Regel entwickelt und daher sind diese Bienen regelrational, nicht jedoch handlungsrational. Ein anderes Beispiel für einen Mechanismus ist das Ultimatumspiel, das ich gerade erklärt habe. Im Ultimatumspiel kommt der Mechanismus zur Anwendung, der genau dem entspricht, was ich zuvor erwähnt habe. Die Evolution hat in den Menschen einen Sinn für Stolz, einen Sinn für Selbstachtung herausgebildet. Die Vorstellung davon, beleidigt zu werden, die Vorstellung von Revanche, da diese gewöhnlich und in den meisten Situationen das Ansehen erhöhen, sorgt dafür, dass man nicht zulässt, dass andere einem in die Magengrube schlagen. Und dies ist ein Mechanismus, so wie das Lernfenster ein Mechanismus für die Bienen und Blumen ist. Dinge wie Stolz, Selbstachtung, Beleidigung und Revanche sind Mechanismen, die die Menschen davon abhalten zuzulassen, dass einem andere Menschen in die Magengrube schlagen. Anders ausgedrückt dient dies der Verstärkung des Ansehenseffektes. In diesem Fall ist der Ansehenseffekt irrelevant, da die Menschen einander nicht sehen, da sie einander nicht kennen, es ist nur dieses eine Mal, aber in dem gleichen Maße wie das Experiment von Bertsch nicht natürlich ist, wird auch das Experiment von Güth nicht in einer natürlichen Umgebung durchgeführt. Die natürliche Umgebung ist eine Umgebung, in der, wenn man eine 80/20-Aufteilung akzeptiert, herauskommt, dass man ein Trottel ist. Nun gut, weitere Beispiele, lassen Sie mich zunächst über den letzten Punkt sprechen, Professor Seltens Regenschirm. Dies ist der eine Fall, in dem die Auswahl einer Regel bewusst erfolgt. Normalerweise wird die Regel nicht bewusst übernommen so wie in den anderen Fällen, die wir betrachtet haben. Aber Professor Selten folgte dieser Regel, weil er in Deutschland lebt. Und manchmal scheint die Sonne und manchmal regnet es und manchmal scheint die Sonne und ganz plötzlich beginnt es zu regnen. Selten sagt: und dann beginnt es zu regnen". Er übernimmt also diese Regel und dann sagt er: Ich habe einen Regenschirm bei mir und damit ist gut. Auch ich mache das. Ich schnalle mich an, wenn ich mit dem Auto um den Block fahre. Das macht keinen Sinn, man schnallt sich an, wenn es eine signifikante Wahrscheinlichkeit gibt, dass man in einen schweren Unfall verwickelt wird. Und ich fahre nur mit 10 km/h um den Block, es macht keinen Sinn, sich anzuschnallen. Aber warum soll man darüber nachdenken? Man schnallt sich einfach automatisch an und daher nimmt Selten automatisch einen Regenschirm mit. Das können wir später erörtern. Gut, lassen Sie mich noch schnell einige weitere Beispiele geben, Neuheit, wir gehen in der Sache zurück. Neuheit ist eines der vermutlich irrationalen Elemente, die von Verhaltensökonomen entdeckt wurden. Sie nehmen die neuesten Ergebnisse, die neueren Ergebnisse haben eine viel größere Auswirkung auf das Verhalten der Menschen als Dinge, die vor langer Zeit geschehen sind. Aber dies ist etwas, das regelrational ist. Wenn man ein Speichersystem in einem Computer konstruiert, ist das erste, was angezeigt wird, immer dasjenige, das man zuletzt benutzt hat. Neuheit spielt eine sehr wichtige Rolle bei Computerprogrammen und der Grund ist, dass die neueren Ergebnisse normalerweise in der Tat die bedeutenderen Ergebnisse für die Menschen sind. Manchmal sind sie es nicht, aber die Regel der Neuheit ist regelrational, sie muss nicht handlungsrational sein. Ich möchte bloß noch zwei weitere Beispiele geben, ein weiteres Beispiel. Ich spreche einfach über Hunger, es ist rational zu essen. Nun, wenn man hungrig ist, ist es rational zu essen. Hunger ist ein Mechanismus, der es einem gestattet, sich selbst zu ernähren. Man isst nicht, weil man das Gefühl hat "nun ja, ich benötige Energie, um mich am Leben zu erhalten". Dies ist nichts, was man rational erfasst. Wenn man hungrig ist, isst man. Aber es ist regelrational, es ist nicht handlungsrational. Einige Menschen sind sehr fettleibig. Unter den Zuhörern sehe ich niemanden, auf den das zutrifft, aber wenn Sie in die Vereinigten Staaten von Amerika gehen, sehen Sie viele sehr fettleibige Menschen, und wenn diese hungrig sind, sollten sie nicht essen. Das ist also nicht unbedingt handlungsrational. Als die Menschen nach dem Zweiten Weltkrieg aus den Konzentrationslagern kamen, waren viele von ihnen, alle sehr hungrig. Und wenn man hungrig ist, sollte man etwas essen, stimmt's? Nein, einige Menschen, die zu viel gegessen hatten, nachdem sie aus dem Konzentrationslager herausgekommen waren, sind infolgedessen gestorben. Es ist also nicht immer handlungsrational, es ist regelrational. Ich höre nun auf und gestatte einige Fragen. FRAGE. (nicht hörbar) … ROBERT AUMANN. Lassen Sie mich vor allem Folgendes als Antwort auf diese Frage sagen. Wenn man Handlungsrationalität als These auffasst, liegt die Handlungsrationalität traditionell den klassischen Wirtschaftswissenschaften zugrunde. Milton Friedman sagte bereits Mitte der 50er Jahre, dass die Menschen nicht wirklich rational sind, und dass sie nur so handeln als seien sie rational. Dies geht bereits in Richtung der Regelrationalität. Aber traditionell ist die Handlungsrationalität die Grundlage der klassischen Wirtschaftswissenschaften. Kahnemann und Tversky und andere Verhaltensökonomen sagen: wie sie sich verhalten ist unklar, jedoch verhalten sie sich nicht rational". Und dann kommt dein bescheidener Diener, also haben wir die Handlungsrationalität als These, die Verhaltensrationalität ist die Antithese, und dann kommen wir, wie Hegel, zu einer Synthese, die die Regelrationalität ist. Gut, nächste Frage. FRAGE. (nicht hörbar) ROBERT AUMANN. Wenn ich mich anschnalle, dann tue ich das sozusagen automatisch. Ich möchte nicht anfangen, darüber nachzudenken: ob die Fahrt lang genug ist, damit das Anschnallen gerechtfertigt ist, hätte ich die Fahrt dreimal machen können. Anders ausgedrückt: Ich übernehme diese Regel einfach aus Bequemlichkeit. Ich schnalle mich an und damit ist gut. Ich denke, Professor Selten hat eine ähnliche Vorstellung bei seiner Regenschirmregel. Er möchte sich einfach nicht jedes Mal herumplagen: wenn ich in Venezuela bin, soll ich dann einen Regenschirm dabeihaben oder nicht? Ich muss mich fragen, wie sich das Wetter ändert, das ist ein zu großer Aufwand. Ich übernehme die Regenschirmregel, fertig." Noch eine Frage? FRAGE. (nicht hörbar) ROBERT AUMANN. Führt die Aktualisierung von Regeln zu Rationalität, zu Handlungsrationalität? Die meisten Regeln werden unbewusst übernommen. Der Regenschirm von Selten ist eine Ausnahme, die Regel wurde bewusst übernommen. Die Anschnallregel von Aumann ist eine Ausnahme, sie wurde bewusst übernommen. Aber die meisten Regeln werden unbewusst übernommen, also kann wahrscheinlich eine Aktualisierung stattfinden, selbst bei unbewussten Dingen, denn diese Dinge sind erlernt. Wenn Sie also Selten sind und nach Israel ziehen, und Sie beginnen, dort zu leben und Sie übernahmen die Regel unbewusst, dann würden Sie sie wahrscheinlich aktualisieren. Ja? FRAGE. (nicht hörbar) ROBERT AUMANN. Gut, die Antwort ist einfach, es ist einfach, hierauf etwas zu erwidern. Es gibt keine normativen Implikationen. Anders ausgedrückt: Ich rate nicht zur Regelrationalität. Normalerweise ist das keine gute Idee, mit einigen Ausnahmen, zum Beispiel, wenn es zu viel Anstrengung bedeutet, jedes Mal zu bestimmen, ob es in diesem Fall rational ist oder nicht. Aber im Allgemeinen denke ich nicht, dass die Menschen regelrational handeln sollten. Es ist dumm, das zu tun. Anders ausgedrückt: Beim Experiment von Güth würde ich dem Studenten sagen: Nächste Frage. FRAGE. (nicht hörbar) ROBERT AUMANN. Gut, lassen Sie mich darauf antworten. Dass Sie Smith erwähnen, ist sehr passend, denn der Nobelpreis 2002, lassen Sie mich das richtigstellen. Den Preis der Bank von Schweden in Gedenken an Alfred Nobel teilten sich 2002 Daniel Kahnemann und Vernon Smith. Nun, sehr oft wird dieser Preis als Würdigung der Verhaltensökonomie, als Genehmigungsstempel für die Verhaltensökonomie aufgefasst. Tatsächlich ist er das nicht, denn was Kahnemann machte, war Verhaltensökonomie, anders ausgedrückt: Er bewies durch Experimente und Umfragen und Ähnliches, dass sich die Menschen irrational verhalten. Vernon Smith aber bewies durch Experimente, dass sich die Menschen rational verhalten. Die Experimente, für die Vernon Smith den Nobelpreis erhielt, waren Experimente, die zeigten, dass die neoklassische Ökonomie einfach gut funktioniert. Was also mit dem Nobelpreis 2002 gewürdigt wurde, waren nicht diese beiden widersprüchlichen Positionen, sondern es war eine wiederholte Würdigung dessen, was Professor Selten viele Jahre zuvor geleistet hatte, und zwar die Verwendung von Experimenten in den Wirtschaftswissenschaften und in der Spieltheorie. Er hätte diesen Preis ebenfalls bekommen sollen. Ich bitte daher erneut um Applaus für ihn. Gut, ich danke Ihnen, Ich denke, das war's jetzt.

Robert Aumann (2008)

Rule Rationality vs. Act Rationality

Robert Aumann (2008)

Rule Rationality vs. Act Rationality

Abstract

The assumption of rationality -- that people act to maximize their utility, given their information -- is fundamental in economics. We suggest that the maximization need not be conscious, for each act separately. Rather, people develop rules that yield optimal outcomes usually, but not necessarily always. If one thinks of neoclassical economics as a thesis, and behavioral economics as its antithesis, then this may provide a synthesis.

Cite


Specify width: px

Share

COPYRIGHT

Cite


Specify width: px

Share

COPYRIGHT


Related Content