Sir Clive Granger (2008) - Evaluation of Global Models

An economy is a very complex object involving decisions being made by millions of consumers and thousands of other entities including businesses and governments

The countries love to build models and, given the topic and given some data, a bit of theory, they will build a model. It could be a model of an industry or a region of some country, or maybe a whole country. And we’ve had country models now for at least 50 years, they are getting increasingly more complex, more sophisticated and hopefully better. For the last decade or so it has been realised that a country model is very limited in its value. Because what happens in one country is affected by what happens in other countries. Partly because of the growth of trade in the world economy, you have to be aware of your success with the trading partners. Trade is one of these things that the human race has always realised the benefits of. In every grave site that people dig around, they find evidence of trade from the very earliest days. I mean, from a piece of stone or something they find there, or even precious metals, flint, they find evidence of trade, because these things are not found in the area of the grave. And trade, as you all know, has been increasing dramatically over the last decade. The growth of India and China as major trade partners with the more developed countries, or the then more developed countries, has made trade hugely more important now than it was say 20 years ago. And so there’s no point in building a single country model, you have to build a model that is a global model. It becomes quite a large task to build a model of the global economy. Let’s think about that for a second. The world contains about six billion individuals divided into about one and a half billion families. Each family would have at least one decision maker, probably more than one, but let’s just say one. There are also many millions of other decision makers, government units, corporations and so forth. There’s at least two billion decision makers around the world. A model must encompass all the decisions made by these individuals or groups, because they are not all reaching the same decision and not for the same reason. They are basing their decision on different information sets and therefore they are not all in sync with each other. So we are faced with a very huge task of building a model that captures what is going on amongst all these different decision makers. Now, what we could do to simplify everything. We could build a single and simple model for the whole world economy just using aggregate variables. So, for example, we could find an aggregate global GDP data. In fact there is such a series, people have put that together already. The value is another question. So you put the GDP of India and China and the US and Germany and everybody else, all into one series and call that the global GDP. You could also get a global production series or a global consumption series. There are various other series you need to build a major macro model. Unemployment is more difficult because the definitions of unemployment are different in different countries. And so we'd have to have some way of merging that. In the US, if you work one hour a month, you are employed, whereas that wouldn't be true in other economies. We have to find some way to get around that, we could always do that. We already have international markets for interest rates, so that’s okay, and various commodities, such as oil and metals. The various silver and gold and so forth, scrap steel. There are markets for those, so that’s part of the whole global thing. We could put a model together of all these global aggregate things and build a simple model. It’s quite possible that such a model exists somewhere, I’ve never seen it. It wouldn't be that difficult to do. People wouldn’t like it very much, it’s too clunky, too unsubtle as a model. But it would be possible. With the construction of a world central bank, which people are talking about, this is a model that would become quite relevant. What's the other extreme? To build several economy models for each country in the world. That’s a lot of countries. Right now, in the United Nations there are 192 members. Some of those countries are pretty small. San Marino is a little dot in the middle of Italy, a little mountain top. It only has a few hundred people living there. It’s a member of the United Nations, so it will count as a country. Vatican is actually not a member of the United Nations, so it doesn’t count as a country. But there are lots of quite small countries in that 192. Some of these countries will not have much data. Perhaps have none at all. And you can’t build a model without some good quality data. So you can’t build a model for every country. It can be down to the question of how many countries could we build models for. And the question is: Is it really worthwhile building models for some very tiny countries which have very little impact on the rest of the world, compared to some of the big countries. And so although we could do an every-country model, or every country that has a data, I haven’t seen this model, I doubt it exists. There is actually quite an interesting approximation to it called Project LINK. Project LINK is a model that has existed now for 40 or 50 years, started off by Larry Klein, Nobel Prize winner from Penn. It consists now of about 60 countries. So each country has its own model, they are all of similar construction form, not identical. They don’t have the same sort of data everywhere. But they all are supposed to be rather similar in form and they are built by teams of expert econometricians, mostly based on that country but some other people would visit from places that have more econometricians hanging around. They’ll go and help you build the model and maintain the model. So Project LINK now consists of about 60 models for different countries and they would churn out forecasts for things for each country and they are all linked together by trade flows. That’s an example of a global model which has been existing now for at least 20 years, maybe a bit more. They are a little bit - I have to be careful how I phrase this – they are not very outcoming by what specifications they use for the models. They don’t publish the models at all. Occasionally one slips out a bit, but they seem to be quite dynamic, fairly modern in structure. Not sure if they all have the same model, they have similar models. Not clear if they are the most up to date of all possible specifications. But they are okay, they use some error correction forms and they are certainly linear and dynamic. There’s a centre in Toronto which runs the whole LINK process and there’s a website for LINK, but it doesn’t say much about what the actual models are. They also have an annual meeting, in fact two, I’ve been to one of them. It’s very interesting, they don’t discuss individual models. They have posted many forecasts but they don’t have any confidence around the forecasts, which makes evaluation of the forecasts very difficult. I may mention that later on. For example, in May 2005, they gave forecasts for oil prices for say 2005 and 2006. They said that oil price in 2006 would be 37 dollars, but with no confidence intervals. In fact, in 2006 the oil price was 78 dollars. Whether that forecast was good or bad we don’t know, because we don’t know the confidence interval. If the confidence interval was only a few dollars, then it was a bad forecast, if it was 100 dollars, it’s quite a reasonable forecast. Point forecast without a confidence interval is not easy to evaluate. There’s very little knowledge about Project LINK, even though it’s a very big project. It must employ a lot of econometricians. I mean it’s 60 countries, each has its own model. It must be at least 200 or so econometricians around the world working on this project. Yet it’s not very well known as an area. What's the alternative to LINK? What one could do is to group the countries in various sensible ways and then model the groups. Let’s think about that for a second. Suppose we look at the say eight major countries: US, UK, Germany, Japan, France, Italy, Spain and Canada. Together they make up 46% of the world’s GDP, 12% of the world population and 47% of the world exports. So eight countries by themselves will give you nearly half of the world GDP and exports, but not much of the population. If you expand that up to the 29 advanced countries list, you can get that up to about 55 % of the GDP, 15% of the world population and 70% of the world exports. So expanding them over countries doesn’t buy you a lot in terms of how much more of the world you capture. If you add China and India to that, you then get 29% plus China and India, that’s about 74% of world GDP, 56% of the world population and 80% of world exports. So if you build a model based on 31 countries, you capture most of the world’s GDP, most of the world exports and about half the world population. And for economic purposes, that’s probably a reasonable group of countries to look at. The rest of the world is important population-wise, but not economically in terms of trade. And so people could have built models based on that type of approach, you just have a group of countries and build models for that. So some global models use just a number of single countries plus the 10 I just mentioned plus groups of other countries, might be called Western Europe, Eastern Europe including Russia, Southeast Asia and so forth, South America. One of the problems is that the quality and the quantity of the data available for these different regions vary a lot and it’s not just a matter of what type of country it is, it depends on whether they were always very interested or careful in gathering data, information. And so some parts of those countries didn’t think about gathering much data until at least 20 years ago. There isn’t much early data. In other countries it was expensive to gather a lot of data, and there wasn’t much effort expended on it. That’s true of say Russia and China until recently. India was different because India had a lot of Brits there, British people who were always interested in gathering data. So any ex-British colony has reasonable data, that’s the only good thing about it, but it’s certainly something that is a fact. So the quantity of data and the quality of data in different countries varies a lot. That very much determines what you can do in terms of building models in different countries. So when you are building a model based on lots of countries, what choice of country you use and how you group them would depend on the objectives of the model as well as the resources available for model construction. But they are particularly concerned with the quantity and quality of the economic data that’s available. If the purpose of the model is to represent those many economies that will naturally need a very comprehensive model. If you have a lot of economies in your model, then you need a lot of work. Let me go through a few of the models that are out there to explain the differences that exist now. There’s a guy called Ray Fair at Yale, who has been producing macromodels of good quality now for several decades. His website has a lot of information about the models, he’s got a couple of books on them too. He’s one of these people who has been very open about what's in the models, what the parameters look like, how they are estimated and so forth. It’s a very excellent approach to presenting models. And in his book he has really two major models, one for the United States and one for the rest of the world. The rest of the world model involves now 45 countries and 30 of those have structural equations. With annual data you can’t get much dynamics in the model, because they can’t be renewed quicker than every year, so really every quarter, perhaps every month. You really need quarterly data to do a good job. He does talk about what sort of form model he has, they are often quite complicated, there are often changes of logs, of variables. As these are published, you can look at them all very well. Not only that, his whole model is on his website. So you can look it up on the web, you are even allowed, if you want to, to change some of the coefficients. And seeing how that would effect the forecast being made by his model. I mean, he has a very open approach to the whole modelling process. Unlike almost every other modeller that can be mentioned. He also tests his models in many sensible ways, including forecasting, which I want to talk about later. He also runs some interesting party simulations about what would happen to the US com if the Federal Reserve increased interest rates substantially, for example. That would bring me back to evaluation later on, because we can evaluate forecasts. We can’t evaluate these policy tests because Fair never did that. And so we have to only evaluate things which actually happened in the economy, not things that might have happened. It’s interesting, I asked the question what would the model say if the Fed did something. But we can never check that. So the Fairmodel are interesting group models. A modern version of that I call the Pesaran model, Professor Hashem Pesaran at Cambridge worked on this model, and his workers. Considering a model called regional independences, using a global error correcting macroeconometric model. It’s based on the model too. This model is now being used by the European Community as a sort of official econometrics model for the EC and also the connection with the EC and the rest of the world. So it’s becoming a model that is being used by real people, real decision makers in important ways. So that’s a model that I think is now probably the best model that’s available. You can see it in the old form - the most recent form is not available yet, but will become available soon - and it has very high quality. It’s based on the error correction model so it’s mostly linear, with some non-linear components. But it’s very dynamic, which is what I prefer. Different sort of model entirely is the so-called computable general equilibrium models, which are based entirely on theory and based on the idea that if the economy is in equilibrium now and it’s bummed out of equilibrium for some reason, the theory would tell you the route that the economy will take to get back to equilibrium. The route that every variable in the economy would take to get back to equilibrium. So it makes a forecast that after a big shock hits an economy how the economy will behave. That’s a very interesting model. Based entirely on theory there is some data involved in it, but it’s basically quite a good model. It doesn’t tell you how long the model will take to get back to equilibrium. It says it will go back to equilibrium and this is the path it will take. There’s now a nice model called G-Cubed, run by a guy called Warwick McKibbin, Professor McKibbin, an Australian. That is a private model, it’s a model that you can buy if you care to. It will cost you several thousand dollars to look at. That’s one of the problem with many of these global models now, that they are becoming commercial. Therefore they are not very useful for most people. There are a number of those I could mention that people are building models, they may or may not be good models, we never see them. We get adverts for them, they describe how they are done, but we never see the outputs, we don’t know how to compare them. There's also a science based model, made more complex. There are six linked sectors: population, pollution, geographic space, agriculture, natural resources and capital investment. It seems to be largely deterministic, it’s a set of written down equations, there’s very little estimation being done, based on data. And it has dynamics, and so again you get the process going and you observe what's going to happen. Now, the original Club of Rome model in 1974 got a lot of publicity. It was predicting that by 2010 the whole world would start to collapse. Essentially pollution would be so bad by now that we couldn’t produce any more food and therefore we would get starvation and industry would start clogging up. That was met with such derision by most people that the government went back and re-estimated their model and put some extra facts in, and then they actually changed the date of decline to 2014. We have a few years yet before the collapse, according to this model. The model had all kinds of other strange aspects, economically, it had a very peculiar production function, for example. If you doubled physical input and doubled labour in production function, you quadrupled output. That’s not the way the production function normally works. If you double all input, you double output. But they had a different function. So anyway their model was not viewed very sensible, got a lot of publicity. They are now working on a new formula model and all we know is that they are doing it, nobody knows, no discussion, there’s nothing public about it. The website is almost empty and all we can tell is it’s going to be probably similar to the old one but hopefully much better. So a lot of these other approaches around, which we can’t often get at. Maybe about 10 or 15 other models we can’t get at. The fact that a model has been estimated, it even has firm foundations, doesn’t mean it’s any good. We have to always evaluate our models before we know how good they are. That’s true anywhere in econometrics. Anywhere in forecasting. So how do you evaluate a global model? It’s a big task, these models are often enormous. Well, people always say forecasting is the first step. Do these models forecast? And the answer is: Yes, they forecast all over the place. But are the forecasts any good? There’s lots of ways to evaluate the forecast. That would take another whole lecture on the forecast evaluation. But the question really is: Do we expect the global model to forecast well for every country and for every variable in the economy, better than some other model? That’s an enormous task, I would think very unlikely. And the few evaluations that have occurred, say with the Pesaran model, is that it does forecast quite well in several economies with several variables, and it would be a very simple forecasting model around them all. That’s saying it is doing a pretty good job, but it doesn’t say it’s the best forecasting model, it’s probably not. You are asking too much of a model to be good at everything, everywhere, every economic variable. You have to be much more specific, what's the purpose of the model. These models are not being built for forecasting, they can be used for forecasting, they are being used for forecasting, they are producing forecasts. But they are really devised for policy. They are most useful for questions like if something happened to the world economy, if there was a sudden shock to the world economy, what would be the effect with the various economies? So, for example, suppose oil prices suddenly went up by 25%. How would the various economies change with that change in oil prices? Every economy, every model has oil prices now in as an exogenous variable. Okay, so oil prices went up suddenly, how will the model forecast oil prices, affect oil prices? Well, that’s happened recently. We could go back and look at what the model is saying, 10, 15 or 20 months ago, about what the model would predict would happen if oil prices went up substantially to various economies and to various variables. We can now see how or what did happen to the economies because that’s now in the past. So we could actually use that to see how well the models were doing on a particular shock to the world economy. We could ask for other things, what would happen if some major economy collapsed? I suppose Japan suddenly had a very bad problem, or China had a very bad economic problem, or US is having a very bad problem. What would the effect be on other economies? These global models are supposed to be able to tell you the forecast, the side effects, these turn-on effects from one economy to another economy, which other models can’t possibly do. Because there’ll be effects on trade and through each other the effects will keep going round and round and eventually work themselves out to where will the major effects be. Will the EC be more affected by the big shock to the US economy or less affected? And so forth. Well, we can run quasi-simulations with these global models and they will then, hopefully, enable us to have some idea of the uses of the model. Some of that has been done, mostly with the Pesaran model and probably with the Fair model, I’ve not seen that on the web. And possibly the LINK, but I’ve not seen that either. So most of these models which could be doing interesting evaluation attempts are not occurring. At least they are not being shown publicly. We could think about forecasting trade links. A model that is based on trade should be able to forecast trade links. And how they’ll be changing as an economy has some shock to it. So if India has some economic shock and is trading with the EC and the US, how will those trade links be affected by India? And then how will that pass on through the US and so on onto other countries? Interesting China and India don’t do much trading, so they wouldn’t affect each other very much. It would always be indirect effects but not direct effects. So these models should be able to tell us the effects on trade of shocks to one economy to another. Which you can’t get any other way other than by a big model. The models have potential to tell us a lot about the world if they are any good, but they are so big and so difficult to evaluate, you have very little idea whether these models work or not. And so the next decade or so has to be in terms of looking at the models, asking the question ‘do they work very well?’ in the situation we’ve seen, where the world economy has done something. Did the model forecast that was going to happen, did it forecast what the effects of that happening and so on. And we can then have models. That will occur, it hasn’t happened yet. What we are trying to do with evaluation is not to find the best model. Historically we used to always think of, when we had a lot of different models, we would try and get through and throw all of them out except one. That would be the best model and that’s the one we’ll stick to. But thinking about model evaluation these days is rather different. Not just here but in models generally. We are inclined to want us to throw out many of the models, but keep a group of good models, interesting models. A decision maker would rather have forecasts from several different models than a forecast from one model. Even though the one model is the best model. With several different models, you get forecasts from different viewpoints and points that make us consider those different viewpoints through those forecasts. We can combine the forecasts, if we want, and give the weights of different models, but even better is to give the individual forecast, like thick and thin modelling. Thin modelling is when you use a single model, thick modelling is where you choose a group of good models and keep several models. There’s now a tendency in places like the Federal Reserve Bank to move towards thick modelling and not just choose the best model but to choose several. Now, how we choose the best group to keep is very unclear. It depends on the decision maker. So we may want to throw out some very bad models but in forecasting, in portfolio theory, say, we don’t necessarily want to throw out the worst behaving share, because its combination with the other ones can actually produce occasionally good portfolio. So it’s not quite clear, we know what criteria to use, of when to throw out models or not. They are very expensive to things to hold around, keep around, so you don’t want to keep all the models. It would be nice to throw some of them out and keep some of the others. So the present state of the art is that we want to evaluate lots of models. And evaluate them in terms of their relevance jointly to the ultimate object, which is to provide decision makers, wherever they might be, in different areas, with forecasts or notes about the usefulness of certain aspects of the model, for instance policy. And then provide those just for a few good models and not all of them. I’m going to finish a bit early, so if there are any questions, you are welcome to ask them. Thank you.

Staaten lieben es, Modelle zu entwickeln. Geben Sie ihnen ein Thema und ein paar Daten, und sie werden mit ein bisschen Theorie ein Modell dazu entwickeln – Modelle für eine bestimmte Branche oder eine Landesregion, oder vielleicht auch von dem Land als Ganzes. Ländermodelle existieren schon seit mindestens 50 Jahren, und sie werden mit der Zeit immer komplexer, differenzierter und hoffentlich auch immer besser. In den letzten zehn Jahren ist jedoch immer deutlicher geworden, dass isolierte Ländermodelle nur von sehr begrenztem Nutzen sind, weil sich die Geschehnisse in verschiedenen Ländern untereinander beeinflussen. Die heutigen Staaten sind unter anderem durch die immer stärkeren Wirtschaftsverflechtungen auf gute Handelspartnerschaften angewiesen. Der Handel ist einer jener Bereiche, deren Vorteile die Menschen schon seit jeher begriffen haben. Auf jedem Friedhof, auf dem man ein paar Ausgrabungen macht, finden sich uralte Zeugnisse von Handelstätigkeit. Solche Nachweise finden sich in Form von Steinen oder anderen Dingen wie Edelmetalle oder Feuerstein, die nicht natürlicherweise an diesen Orten vorkommen. Wie Sie alle wissen, haben die Handelsaktivitäten in den letzten zehn Jahren dramatisch zugenommen. Durch das starke Wachstum von China und Indien als wichtigen Handelspartnern der Industrienationen hat der Handel in den letzten 20 Jahren enorm an Bedeutung gewonnen. Aus diesem Grund hat es wenig Sinn, isolierte Modelle für einzelne Länder zu erstellen, sondern man müsste stattdessen ein globales Modell entwickeln. Es ist eine große Aufgabe, ein globales Wirtschaftsmodell zu entwickeln. Lassen Sie uns dies einen Moment näher betrachten. Auf der Welt leben rund sechs Milliarden Menschen, die sich in rund anderthalb Milliarden Familien aufteilen. Jede Familie hat mindestens einen Entscheidungsträger - meistens sind es mehr als einer, aber nehmen wir einmal an, es gäbe genau einen Entscheidungsträger pro Familie. Dann gibt es noch Millionen weiterer Entscheidungsträger, wie Staatsregierungen, Unternehmen usw., so dass wir zusammen auf mindestens zwei Milliarden Entscheidungsträger auf der Welt kommen. Ein Modell muss sämtliche Entscheidungen von allen diesen Entscheidungsträgern berücksichtigen, weil sie nicht alle in ihren Entscheidungen übereinstimmen und unterschiedliche Entscheidungsgründe haben. Jede Entscheidung basiert auf einer anderen Informationsgrundlage, und die Entscheidungsträger stimmen sich nicht untereinander ab. Daher ist es eine immense Aufgabe, ein solches Modell zu entwickeln, da die Interaktionen sämtlicher Entscheidungsträger darin berücksichtigt werden müssen. Nun könnte man die Dinge vereinfachen. Es wäre z.B. möglich, aus aggregierten Variablen ein vereinfachtes Modell für die gesamte Weltwirtschaft zu erstellen. Dazu müssten wir z.B. ein aggregiertes globales BIP ermitteln. Solche Daten stehen zur Verfügung, sie wurden in der Vergangenheit schon ermittelt. Eine andere Frage ist der konkrete Wert dieser Variablen. Man fasst das BIP von Indien, China, den USA, Deutschland und allen anderen Ländern zu einer Datenreihe zusammen und nennt das Ergebnis „globales BIP“. Auf dieselbe Weise erhält man auch Datenreihen zur globalen Produktion und zum globalen Konsum. Man benötigt eine ganze Menge solcher Datenreihen, um zu einem Makromodell zu gelangen. Bei der Arbeitslosigkeit ist es schwieriger, weil sie von Land zu Land anders definiert wird, so dass wir erst einen Weg finden müssten, die länderspezifischen Einzelwerte zusammenzuführen. Wenn Sie z.B. in den USA eine Stunde pro Monat arbeiten, gelten Sie schon nicht mehr als arbeitslos, während in anderen Ländern andere Definitionen gelten. Also müsste man erst eine Möglichkeit finden, diese Unterschiede auszuräumen, aber so etwas ist immer machbar. Für Zinsen gibt es bereits internationale Märkte, ebenso wie für verschiedene Rohstoffe wie Öl und Edelmetalle, Silber und Gold, oder Stahlschrott. Für alle diese Faktoren gibt es eigene Märkte, die in das globale Modell einfließen müssen. Wir könnten also alle diese aggregierten globalen Werte zusammenstellen und ein einfaches globales Modell daraus machen. Es ist möglich, dass es ein solches Modell schon irgendwo gibt, aber mir ist nichts dergleichen bekannt. Aber es könnte gut sein. Die Leute würden es wahrscheinlich nicht sonderlich mögen, weil es sehr grob und schwerfällig wäre. Aber es wäre möglich. Mit der Schaffung einer Weltzentralbank, die verschiedentlich im Gespräch ist, würde ein solches Modell sehr wichtig. Das andere Extrem wäre, für jedes Land der Welt ein separates Wirtschaftsmodell zu entwickeln. Und es gibt eine Menge Länder. Bei den Vereinten Nationen sind derzeit 192 Länder repräsentiert - das hieße 192 separate Ländermodelle. Einige dieser Länder sind außerdem sehr klein. San Marino z.B. ist nur ein winziger Punkt auf der italienischen Landkarte, ein kleiner Berggipfel, wo nur ein paar Hundert Menschen leben. Aber San Marino ist Mitglied der Vereinten Nationen und zählt damit als separates Land. Der Vatikan dagegen ist kein UN-Mitglied und zählt somit nicht als separates Land. Aber auf jeden Fall gibt es jede Menge ziemlich kleiner Staaten unter den 192 Mitgliedern der Vereinten Nationen. Einige dieser Länder werden nur wenige oder gar keine Daten haben, und ohne eine solide Datenbasis kann man kein Modell entwickeln. Somit stellt sich die Frage, für wie viele Länder es denn möglich ist, ein eigenes Modell zu erstellen. Und eine weitere Frage ist, ob es überhaupt sinnvoll ist, für jedes winzige Land ein komplettes Modell zu entwickeln, da sie im Gegensatz zu großen Ländern kaum Einfluss auf das weltwirtschaftliche Geschehen haben. Obwohl es also möglich wäre, ein Gesamtmodell aus einzelnen Ländermodellen zusammenzusetzen habe ich ein solches Modell bisher noch nicht gesehen und glaube auch nicht, dass es schon irgendwo existiert. Was es allerdings gibt, ist eine interessante Annäherung an ein solches Modell, das im Rahmen des sogenannten LINK- Projekts erstellt wurde. Dieses Modell wurde vor 40-50 Jahren von Larry Klein ins Leben gerufen, einem Nobelpreisträger von der Penn-Universität, und es umfasst inzwischen rund 60 Länder. Es gibt für jedes Land ein separates, nach einer einheitlichen Struktur aufgebautes Modell. Die Modelle sind nicht identisch im Aufbau, weil nicht alle Länder dieselben Daten zur Verfügung haben, aber das Projekt zielt darauf ab, alle Ländermodelle möglichst einheitlich zu strukturieren. Die Modelle werden in Teams aus spezialisierten Ökonometrikern entwickelt, die weitgehend im jeweiligen Land ansässig sind. Einige Experten arbeiten in einem zentralisierten Team zusammen und unterstützen die einzelnen Länder beim Aufbau und der Pflege ihrer Modelle. Das LINK-Projekt umfasst also mittlerweile rund 60 Ländermodelle, die alle über modellierte Handelsflüsse miteinander verbunden sind und Prognosen für verschiedene länderspezifische Aspekte erstellen. Dies ist also ein Beispiel für ein globales Modell, das seit mindestens 20 Jahren besteht, vielleicht auch schon etwas länger. Diese Leute sind – ich muss aufpassen, wie ich es ausdrücke – sie sind nicht sehr mitteilsam in Bezug auf die Spezifikationen ihrer Modelle. Sie veröffentlichen überhaupt nichts über ihre Modelle, nur manchmal sickert etwas über einzelne der Modelle durch. Die Organisation scheint ziemlich dynamisch zu sein und hat offenbar eine moderne Struktur. Ich bin nicht sicher, ob die Länder alle dasselbe Modell haben, aber soweit ich weiß sind sie nur ähnlich. Ich bin auch nicht sicher, ob sie unbedingt die allerneuesten Spezifikationen verwenden – aber die Modelle sind nicht schlecht, sie enthalten einige Fehlerkorrekturen, und es sind auf jeden Fall lineare, dynamische Modelle. Das gesamte LINK-Projekt wird in einem Zentrum in Toronto koordiniert. Es gibt auch eine LINK-Website, auf der aber keine näheren Informationen über die Modelle gegeben werden. Darüber hinaus gibt es auch eine Jahreskonferenz, genauer gesagt halbjährlich. An einer dieser Konferenzen habe ich einmal teilgenommen, das war sehr interessant. Zwar wurden dort die Modelle nicht konkret besprochen, aber es wurden viele Prognosen gezeigt. Leider wurden keine Konfidenzintervalle zu den Prognosen angegeben, so dass ihre Qualität sehr schwer zu beurteilen ist. Vielleicht gehe ich darauf später noch einmal ein. Im Mai 2005 beispielsweise erstellten sie Prognosen für den Ölpreis, sagen wir für die Jahre 2005 und 2006. Für 2006 wurde ein Ölpreis von 37 US-Dollar prognostiziert, allerdings ohne Angabe eines Konfidenzintervalls. Tatsächlich betrug der Ölpreis im Jahr 2006 dann 78 US-Dollar. Nun kann man aber nicht sagen, ob die Prognose von 37 US-Dollar gut oder schlecht war, solange man das Konfidenzintervall nicht kennt. Wenn es nur bei ein paar Dollar lag, war es eine schlechte Prognose, aber wenn das Konfidenzintervall 100 Dollar betrug, war die Prognose ganz ordentlich. Wie gesagt, punktuelle Prognosen ohne Angabe eines Konfidenzintervalls sind nur sehr schwer zu beurteilen. Über das LINK-Projekt ist insgesamt also nur sehr wenig bekannt, obwohl es ein sehr großes Projekt ist, an dem eine Menge Ökonometriker mitwirken. Man kann sich das vorstellen, bei 60 Ländern, die alle ein eigenes Modell erstellt haben. Da müssen schon mindestens um die 200 Ökonometriker rund um den Globus an diesem Projekt arbeiten, und trotzdem dringt nur sehr wenig davon nach außen. Welche Alternativen gibt es zu LINK? Man könnte beispielsweise Länder nach sinnvollen Kriterien gruppieren und dann diese Ländergruppen modellieren. Lassen sie uns diese Option einen Moment näher betrachten. Angenommen, wir nehmen die acht größten Länder: USA, Großbritannien, Deutschland, Japan, Frankreich, Italien, Spanien und Kanada. Auf diese Länder entfallen zusammen 46% des weltweiten BIP, 47% der Weltexporte und 12% der Weltbevölkerung. Man deckt mit diesen acht Ländern also fast die Hälfte des weltweiten BIP- und Exportvolumens ab, aber nur einen kleinen Bruchteil der Weltbevölkerung. Wenn man die Liste auf die 29 höchstentwickelten Länder erweitert, kommt man auf rund 55% des weltweiten BIP, Im Hinblick auf die Bevölkerungsabdeckung bringt uns das also noch nicht viel weiter. Addiert man nun zu diesen 29 Ländern noch China und Indien hinzu, erhält man 74% des weltweiten BIP, Mit diesen 31 Ländern erfasst man also einen Großteil des gesamten BIP- und Exportvolumens sowie rund die Hälfte der Weltbevölkerung. Somit scheint dies für die Zwecke einer ökonomischen Analyse eine sinnvolle Ländergruppierung zu sein. Der Rest der Welt ist aus Bevölkerungssicht zwar ebenso wichtig, im Hinblick auf das Wirtschaftsgeschehen fällt er aber wenig ins Gewicht. Man könnte also auch nach diesem Ansatz ein Modell erstellen – man greift eine Gruppe von Ländern heraus und entwickelt ein gemeinsames Modell für diese Ländergruppe. Einige globale Modelle bestehen nur aus einer Handvoll Einzelländern, plus den zehn oben genannten Ländern sowie weiteren Ländergruppen, wie z.B. Westeuropa, Osteuropa einschließlich Russland, Südostasien, Südamerika usw. Nun ist ein weiteres Problem, dass die verfügbaren Daten in den verschiedenen Regionen hinsichtlich ihrer Qualität und Quantität stark variieren. Das richtet sich nicht nur nach der Art des Landes, sondern wichtig ist z.B. auch, ob in einem Land immer schon Interesse an einer sorgfältigen Daten- und Informationserhebung bestand. In einigen Ländern hätte man bis vor 20 Jahren gar nicht daran gedacht, großartige Datenerhebungen durchzuführen, so dass es hier kaum weiter zurückreichende Daten gibt. In anderen Ländern war die Datenerhebung sehr kostspielig, und es wurde aus diesem Grund nicht viel Aufwand dafür betrieben. Dies galt z.B. noch bis vor kurzem für Russland und China. In Indien dagegen ist die Lage anders. Dort leben schon seit langem viele Briten, und die Briten interessieren sich seit jeher dafür, alle möglichen Daten zu sammeln. Aus diesem Grund stehen für ehemalige britische Kolonien immer ordentliche Daten zur Verfügung – auch wenn das vielleicht der einzige Vorteil der Kolonialisierung war. Die Qualität und Quantität der verfügbaren Daten variieren also stark zwischen einzelnen Ländern und bestimmen in hohem Maß, wie gut man ein bestimmtes Land in ein Modell einbeziehen kann. Wenn man also ein Modell mit vielen Ländern erstellen will, richtet sich die Auswahl und Gruppierung der Länder nicht nur nach den Zielen des Modells, sondern auch nach den zur Modellierung verfügbaren Ressourcen, wobei hier die Quantität und Qualität der verfügbaren Wirtschaftsdaten an erster Stelle steht. Wenn man ein makroökonomisches Modell für eine große Anzahl von Ländern entwickeln will, wird das Modell logischerweise ziemlich komplex. Es umfasst viele Länder und verschlingt einen dementsprechend hohen Arbeitsaufwand. Lassen Sie mich einige Modelle beschreiben, um die bestehenden Unterschiede zu verdeutlichen. Ray Fair von der Yale-Universität z.B. entwickelt schon seit mehreren Jahrzehnten gute Makromodelle. Auf seiner Internetseite finden sich viele Informationen zu den Modellen, und er hat auch mehrere Bücher dazu geschrieben. Er ist sehr offen in Bezug auf seine Modelle, z.B. welche Parameter die Modelle enthalten, wie die Parameterwerte bestimmt werden usw. In seinem Buch beschreibt er zwei sehr interessante Modelle, eines für die USA und eines für den Rest der Welt. Letzteres umfasst inzwischen 45 Länder, 30 davon über strukturelle Gleichungen. Mit nur einmal jährlichen Datenupdates erhält man kein sehr dynamisches Modell, dazu müssen sie schon auf Quartalsbasis oder sogar monatlich aktualisiert werden. Prof. Fair beschreibt auch, welche Formmodelle er verwendet. Viele davon sind ziemlich kompliziert, und es werden regelmäßig Logarithmen oder Variablen ausgetauscht. Die Modelle werden veröffentlicht, so dass sie jedem offen stehen. Das komplette Modell steht sogar auf der Internetseite zur Verfügung. Man kann dort damit herumspielen, einige Koeffizienten verändern und beobachten, wie sich die Modellprognose dadurch verändert. Im Gegensatz zu den meisten anderen Modellarchitekten ist Ray Fair sehr offen in Bezug auf den gesamten Modellierungsprozess. Er testet seine Modelle mit zahlreichen Methoden, einschließlich Prognosen, darauf werde ich später noch zurückkommen. Darüber hinaus führt Prof. Fair auch einige interessante politische Prognosen durch, z.B. welche Auswirkungen es auf die USA hätte, wenn die Federal Reserve die Zinsen deutlich anheben würde. Das bringt mich zurück zum Thema Modellbewertung, weil man Prognosen bewerten kann. Bei hypothetischen Prognosen wie der erwähnten Zinsanhebung der Fed ist eine Bewertung nicht möglich, weil diese Maßnahmen nicht tatsächlich umgesetzt werden. Man kann eine Modellprognose natürlich nur dann bewerten, wenn die prognostizierte Situation zu einem späteren Zeitpunkt real eintritt. Meine Frage nach den Auswirkungen einer bestimmten hypothetischen Maßnahme der Fed kann man natürlich nie in der Realität nachprüfen. Aber auf jeden Fall handelt es sich bei den Fair-Modellen um interessante Ländergruppenmodelle. Ein moderner Ansatz ist das Pesaran-Modell, das von Professor Hashem Pesaran in Cambridge und seinen Mitarbeitern entwickelt wurde. Sie arbeiten an einem Modell mit regionalen Independenzen und verwenden dazu ein globales makroökonomisches Modell mit Fehlerkorrekturen, das ebenfalls auf dem Modell basiert. Dieses Modell wird aktuell von der Europäischen Union gewissermaßen als offizielles ökonometrisches EU-Modell verwendet, ebenso wie für die Wechselwirkungen zwischen der EU und ihrer Außenwelt. Dieses Modell wird also von echten Entscheidungsträgern bei wichtigen realen Fragestellungen eingesetzt. Das Pesaran-Modell dürfte meines Erachtens das beste derzeit bestehende Modell sein. Die aktuelle Modellversion wird zwar erst demnächst öffentlich zur Verfügung gestellt, aber eine ältere Version des Modells ist offen zugänglich, und seine Qualität ist hervorragend. Das Modell basiert auf dem Fehlerkorrekturmodell und ist daher weitgehend linear mit einigen nichtlinearen Komponenten. Aber es ist ein sehr dynamisches Modell, was ich persönlich sehr schätze. Etwas völlig anderes sind die komplett theoriebasierten sogenannten Durchrechenbaren allgemeinen Gleichgewichtsmodelle (DAG). Sie basieren auf folgender Annahme: Wenn sich die Volkswirtschaft aktuell in einem Gleichgewichtszustand befindet und dieses Gleichgewicht aus irgendeinem Grund gestört wird, kann man anhand der Modelltheorie den genauen Anpassungsprozess berechnen, wie die Volkswirtschaft zu ihrem Gleichgewichtszustand zurückkehrt. Genauer gesagt, wie sich jede Variable genau verändert, damit die Volkswirtschaft zu ihrem Gleichgewichtszustand zurückkehrt. Dieses Modell sagt also exakt voraus, wie die Volkswirtschaft reagiert, wenn sie von einem heftigen Schock erschüttert wird. Es ist ein sehr interessantes, komplett theoriebasiertes Modell, das aber auch einige Daten enthält. Ein ziemlich gutes Modell. Es gibt zwar keine Informationen darüber, wie lange es dauert, bis der Gleichgewichtszustand wieder erreicht wird, aber es beschreibt den genauen Anpassungsprozess. Ebenfalls interessant ist das sogenannte G-Cubed-Modell von dem australischen Professor Warwick McKibbin. Es ist ein privates Modell, das man für mehrere tausend Dollar kaufen kann. Das ist eines der Probleme bei diesen globalen Modellen, dass sie oft kommerzialisiert werden und daher nicht auf breiter Ebene zugänglich sind. Ich könnte eine ganze Reihe solcher Modelle aufzählen, bei denen wir keine Ahnung haben, ob sie gut oder schlecht sind, weil wir sie nie zu Gesicht bekommen. Wir bekommen nur Werbeunterlagen darüber, in denen der Modellaufbau beschrieben ist, aber man sieht nie Ergebnisse von diesen Modellen, um sie vergleichen zu können. Darüber hinaus gibt es noch ein weiteres, sehr komplexes wissenschaftliches Modell, in dem sechs Faktoren miteinander verknüpft werden: Bevölkerung, Umweltverschmutzung, Geografie, Landwirtschaft, natürliche Ressourcen und Kapitalinvestitionen. Es scheint ein weitgehend deterministisches Modell mit einem Katalog vorgegebener Gleichungen zu sein, das nur sehr wenige datenbasierte Schätzungen ermöglicht. Außerdem enthält das Modell dynamische Muster, so dass man also auch hier einen Prozess startet und beobachtet, was passiert. Das ursprüngliche Club of Rome-Modell aus dem Jahr 1974 hat großes öffentliches Aufsehen erregt. Damals wurde vorhergesagt, dass um das Jahr 2010 die Welt komplett zusammenbrechen würde. Vor allem die Umweltverschmutzung würde bis zur heutigen Zeit so stark zunehmen, dass keine Nahrungsmittel mehr produziert werden könnten und infolgedessen Hungersnöte ausbrechen und die Industrie langsam zum Erliegen kommen würde. Dies wurde von der Öffentlichkeit mit solchem Hohn aufgenommen, dass das Modell daraufhin von der Regierung überprüft und um einige zusätzliche Fakten erweitert wurde, so dass sich der prognostizierte Zusammenbruch schließlich auf das Jahr 2014 verschob. Demnach bleiben uns also noch ein paar Jahre Zeit. Das Modell enthielt eine ganze Reihe merkwürdiger ökonomischer Elemente, wie z.B. eine sehr bizarre Produktionsfunktion. Wenn man in dieser Funktion die materiellen Einsatzfaktoren und den Arbeitseinsatz verdoppelte, wurde das Produktionsergebnis vervierfacht. Normalerweise ist es bei Produktionsfunktionen so, dass sich bei einer Verdopplung aller Einsatzfaktoren auch das Ergebnis verdoppelt. Nur in diesem Modell wurde eine andere Funktion verwendet. Obwohl das Modell nicht viel Zustimmung fand, erhielt es dennoch viel öffentliche Aufmerksamkeit. Aktuell arbeiten sie an einem neuen formelbasierten Modell, über das aber bisher nichts bekannt ist – es gibt keinerlei öffentliche Diskussion darüber. Es dringt nichts darüber an die Öffentlichkeit, und auch die Internetseite enthält so gut wie keine Informationen. Alles was wir wissen ist, dass es dem alten Modell offenbar ähnelt. Hoffentlich ist es nur ein ganzes Stück besser als das alte. Es gibt also zahlreiche unterschiedliche Ansätze, von denen leider nur viele unter Verschluss gehalten werden. Es bestehen noch etwa 10 oder 15 weitere solcher Modelle, über die nichts an die Öffentlichkeit dringt. Nur weil irgendwo ein Modell eingesetzt wird, bedeutet das noch nicht, dass es auch etwas taugt, selbst wenn es auf soliden Grundlagen basiert. Um sagen zu können, ob ein Modell gut ist, müssen wir es immer zuerst bewerten. Das ist ein Grundsatz in der Ökonometrie bzw. überall dort, wo es um Prognosen geht. Wie kann man also ein globales Modell bewerten? Das ist eine schwierige Aufgabe, weil diese Modelle oft äußerst komplex sind. Im Allgemeinen ist der erste Schritt eine Prognose. Diese Art von Modellen generieren alle möglichen Prognosen - aber sind sie auch zu gebrauchen? Es gibt zahlreiche Bewertungsansätze für Prognosen. Zum Thema Prognosebewertung müsste man einen komplett eigenständigen Vortrag halten. Die wesentliche Frage bei der Bewertung müsste lauten: Liefert das globale Modell gute Prognosen für jedes Land und jede einzelne Variable, und sind diese Prognosen besser als bei anderen Modellen? Das ist eine enorm schwierige Frage, deren Beantwortung ich kaum für möglich halte. Bislang wurden überhaupt erst ganz wenige Modellbewertungen vorgenommen, wie z.B. für das Pesaran-Modell. Die Bewertung des Pesaran-Modells hat gezeigt, dass es für einige Länder und einige Variablen ziemlich gute Prognosen liefert und grundsätzlich ein sehr einfaches Prognosemodell ist. Mit anderen Worten: Das Modell funktioniert ziemlich gut, aber es ist wahrscheinlich nicht das beste Prognosemodell der Welt. Es wäre zu viel verlangt, dass ein Modell durch die Bank für jedes Land und jede Variable gut funktionieren soll. Jedes Modell verfolgt ja einen speziellen Zweck, der ganz genau definiert werden muss. Die Modelle werden ja nicht hauptsächlich für Prognosezwecke entwickelt – sie können Prognosen generieren und werden auch dafür genutzt, aber eigentlich werden die Modelle für politische Zwecke entwickelt. Sie sind eigentlich für Fragestellungen gedacht wie: Welche Auswirkungen hätte es auf die einzelnen Länder, wenn die Weltwirtschaft von einem plötzlichen Schock erschüttert wird? Angenommen, die Ölpreise würden plötzlich um 25% steigen. Zu welchen Veränderungen würde dies in den einzelnen Volkswirtschaften führen? Der Ölpreis ist in allen Ländermodellen als exogene Variable enthalten. Welche Auswirkungen prognostiziert das Modell also für die einzelnen Länder im Fall eines plötzlichen Ölpreisanstiegs? So etwas hatten wir ja kürzlich. Jetzt könnten wir nachschauen, welche Prognosen das Modell vor 10, 15 oder 20 Monaten für den Fall einer starken Ölpreiserhöhung für verschiedene Länder und Variablen generiert hat, und die damaligen Prognosen mit der heutigen Realität vergleichen. Daran könnte man ablesen, wie gut die Prognosen des Modells im Hinblick auf einen bestimmten weltwirtschaftlichen Schock sind. Genauso könnten wir auch andere Fragen testen, z.B. wie sich der Zusammenbruch einer wichtigen Volkswirtschaft auswirken würde. In einem solchen Fall dürfte z.B. Japan große Probleme bekommen, oder China oder die USA. Aber wie sähen die Auswirkungen in anderen Ländern aus? Globale Modelle generieren Prognosen und zeigen zudem Nebenwirkungen und Dominoeffekte der Länder untereinander, was mit anderen Modellen unmöglich ist. Es würde Handelsauswirkungen geben, und verschiedene Effekte würden sich gegenseitig eine Weile am Laufen halten, bis sie sich schließlich an bestimmten Stellen kanalisieren würden. Hätte ein großer Schock in der US-Wirtschaft starke oder weniger starke Auswirkungen auf die EU? Auf jeden Fall können wir Quasi-Simulationen mit diesen globalen Modellen generieren, die idealer Weise Hinweise auf geeignete Einsatzmöglichkeiten des jeweiligen Modells liefern. In gewissem Umfang wurde dies mit bestehenden Modellen bereits gemacht, am meisten mit dem Pesaran-Modell und vielleicht auch mit dem Fair-Modell, darüber habe ich im Internet jedoch nichts gefunden. Vielleicht auch mit dem LINK-Modell, aber auch davon weiß ich nichts. Die meisten Modelle, für die eine Bewertung interessant wäre, treten also nicht in Erscheinung, oder zumindest werden keine Bewertungsergebnisse über sie veröffentlicht. Eine weitere Möglichkeit wäre, Prognosen für Handelsverflechtungen zu erstellen. Mit Hilfe eines handelsbasierten Modells sollte man Handelsverflechtungen und ihre Reaktionen auf bestimmte wirtschaftliche Schocks prognostizieren können. Angenommen, Indien unterhält Handelsbeziehungen zur EU und den USA und erleidet einen Wirtschaftsschock. Wie würde sich das auf die Handelsbeziehungen zur EU und den USA auswirken? Und wie würden sich diese Auswirkungen in den USA und anderen Ländern weiter fortpflanzen? China und Indien betreiben interessanterweise nur wenig Handel miteinander, so dass sie sich im Ernstfall kaum gegenseitig beeinflussen würden. China und Indien hätten immer nur indirekte Einflüsse, aber so gut wie keinen direkten Einfluss aufeinander. Solche Modelle sollen uns also die Auswirkungen wirtschaftlicher Schocks auf die Handelsbeziehungen der Länder untereinander aufzeigen. Von guten Modellen können wir viel über die Welt lernen, allerdings sind sie so groß und so schwer zu bewerten, dass es sehr schwierig ist festzustellen, ob bzw. wie gut sie funktionieren. Aus diesem Grund dürfte in den nächsten rund zehn Jahren verstärkt daran gearbeitet werden, die bestehenden Modelle hinsichtlich ihrer Qualität zu testen. Dazu müssen wir fragen, ob ein Modell die real eintretenden Folgen korrekt prognostiziert, ob es die weiteren Auswirkungen dieser Folgen korrekt vorhersagt usw. Diese Art von Analysen wird erst neu entstehen, bisher gibt es erst wenig Erfahrung in diesem Bereich. Es geht bei einer Modellbewertung nicht darum, das absolut beste Modell aus einer bestimmten Modellauswahl zu identifizieren. Wenn in der Vergangenheit eine größere Anzahl von Modellen zur Verfügung stand, war es üblich, alle Modelle zu testen und dann nacheinander auszusortieren bis auf eines, das dann zum besten Modell erklärt und als einziges verwendet wurde. Heutzutage geht man bei der Modellbewertung ganz anders vor, nicht nur bei dieser Art von Modellen, sondern allgemein. Wir gehen immer stärker dazu über, nicht mehr so viele Modelle auszusortieren, sondern mehrere gute, interessante Modelle nebeneinander zu halten. Entscheidungsträger stützen sich heute lieber auf die Prognosen mehrerer unterschiedlicher Modelle als nur eines einzigen, selbst wenn vielleicht eines der Modelle das absolut Beste ist. Beim Einsatz mehrerer Modelle erhält man Prognosen aus verschiedenen Blickwinkeln sowie Anhaltspunkte zur Einordnung der unterschiedlichen Ergebnisse. Zudem können auch Prognosen miteinander kombiniert und die Modelle dabei unterschiedlich gewichtet werden. Am besten sind jedoch individuelle Prognosen, wie z.B. „dickes“ und „dünnes“ Modellieren. Beim „dünnen“ Modellieren verwendet man ein einziges Modell, während man bei „dickem“ Modellieren mehrere gute Modelle vorauswählt und zum Einsatz bereithält. Bei Entscheidungsträgern wie z.B. der Federal Reserve Bank besteht derzeit ein Trend zum „dicken“ Modellieren, d.h. es werden mehrere Modelle gehalten anstatt nur das vermeintlich beste. Dabei ist jedoch sehr unklar, wie diese Modelle ausgewählt werden, das hängt individuell vom jeweiligen Entscheidungsträger ab. Einerseits sollen die schlechtesten Modelle aussortiert werden, während man jedoch z.B. zu Prognosezwecken in der Portfoliotheorie das Modell mit dem niedrigsten Prognosewert beibehalten sollte, weil man durch Kombination mit den übrigen Modellen mitunter recht gute Portfolios erhält. Der Prozess der Modellauswahl ist also unklar, selbst wenn die Auswahlkriterien klar sind. Da es sehr kostspielig ist, mehrere Modelle gleichzeitig zu halten, muss jedoch eine gewisse Auswahlentscheidung getroffen werden. Nach dem derzeit bewährtesten Ansatz bewertet man zahlreiche Modelle hinsichtlich ihres gemeinsamen Nutzens für das relevante Ziel – nämlich Entscheidungsträgern in den unterschiedlichsten Bereichen Prognosen oder Brauchbarkeitshinweise für bestimmte Aspekte des Modells, wie z.B. politische Fragestellungen, zu liefern. Letztlich werden ihnen dann nur für einige gute Modelle und nicht für alle Modelle Ergebnisse bereitgestellt. Ich bin schon vorzeitig am Ende meines Vortrags – wenn Sie also noch Fragen haben, können Sie diese jetzt gerne stellen. Vielen Dank.

Sir Clive Granger (2008)

Evaluation of Global Models

Sir Clive Granger (2008)

Evaluation of Global Models

Abstract

An economy is a very complex object involving decisions being made by millions of consumers and thousands of other entities including businesses and governments.

In an attempt to capture the main features of an actual economy econometricians will build models including many equations with variables being related to lag terms linearly and nonlinearly. These models can, hopefully, be useful for generating useful forecasts and policy implications. Virtually every country in the world has at least one such model.

However, with the importance of trends continuously growing, the economies of countries are becoming more interlinked and so it is important to consider a global model which will be ambitious and large in form. In the lecture I discuss in general terms several such models.
However, it is important to then consider the question: how does one evaluate such large models? This turns out to be a difficult and complex problem.

Cite


Specify width: px

Share

COPYRIGHT

Cite


Specify width: px

Share

COPYRIGHT


Related Content