Die Modellierung physikalisch-technischer Fragestellungen führt oft zu numerischen Problemen, insbesondere zur numerischen Behandlung von Differentialgleichungen. Trotz des gewaltigen Fortschrittes auf dem Gebiet der Computertechnologie ist man hier auf effiziente - aber auch gerade auf „robuste“ - Verfahren angewiesen, die man auch auf steife oder instabile Probleme anwenden kann.
Seit mehreren Jahren beschäftige ich mich mit der Approximation der Lösung von Differentialgleichungen mit Hilfe von Approximationsfunktionen, die über Vaterwavelets konstruiert werden. In den Jahren 2012 bis 2014 hatte ich hierzu ein Projekt geleitet, welches vom Zentrum für Forschung und Entwicklung (ZFE) der Hochschule Darmstadt finanziert wurde. Das Projekt trug im Jahr 2012 den Titel "Bestimmung der Parameter beim numerischen Lösen von Differentialgleichungen mit einem Wavelet-Kollokationsverfahren". Hier wurde von mir untersucht, wie man die verschiedenen Parameter, wie die Anzahl der Summanden bzw. der Basiselemente bei der Approximationsfunktion, die Anzahl der Stützstellen und auch den Parameter j, der Index des Raumes Vj der Multiskalenanalyse, dessen Basiselemente bei der Konstruktion der Approximationsfunktion verwendet werden, "optimal" wählen kann. Dabei wurde keine Voraussetzung an den Typ der Differentialgleichung gestellt. Weiterhin wurden mehrere Abschätzungen hergeleitet und es ergaben sich auch weitere Resultate, die zunächst nicht anvisiert wurden, die aber bei den Untersuchungen und Simulationen aufgefallen waren.
Die Vorarbeit für dieses Projekt und für die Veröffentlichungen in den Jahren 2013 und 2014 zu diesem Thema umfasst aber deutlich mehr Jahre. Seit dem Jahr 2000 beschäftige ich mich mit diesem Gebiet und habe hierzu diverse Projekte und Diplomarbeiten angeboten und auch Fachbücher veröffentlicht (siehe [82], oder auch [83] mit einem Kapitel von mir zum Thema Wavelets).
Nach den ersten Simulationen wurde anstelle eines klassischen Kollokationsverfahrens ein Verfahren verwendet, das etwas allgemeiner ist, da hier die Quadratsumme der Residuen minimiert wird. D.h., anstatt ein Gleichungssystem zu lösen und die Residuen an bestimmten Stellen gleich Null zu setzen, wird die Quadratsumme der Residuen an den Kollokationsstellen (wir behalten hier die Bezeichnung bei) minimiert, so dass man bei der Anzahl der Kollokationsstellen nicht eingeschränkt ist. Für eine bestimmte Anzahl von Kollokationsstellen ist dieses Verfahren wiederum äquivalent zu einem klassischen Kollokationsverfahren und in vielen Beispielen ist dieser Fall mit eingeschlossen. Wir sprechen der Einfachheit halber im Folgenden von einer Wavelet-Kollokationsmethode.
Im Rahmen des Projektes wurden verschiedene Typen von Differentialgleichungen mit diesem Verfahren approximativ gelöst, denn diese Methode kann man auf diverse Typen von Differentialgleichungen anwenden. Es wurde hierbei ein Indikator (dieser wird später öfter das Kriterium genannt, siehe Definition 4-1 von Qa), der auf der Quadratsumme der Residuen basiert, gefunden, mit dem man erkennen kann, in wie weit einige gewählte Parameter des Verfahrens gut gesetzt wurden, wie die Anzahl der Stützstellen. Hier ergaben sich Zusammenhänge zwischen dem Approximationsfehler und dem Wert dieses Indikators in diversen Beispielen (wobei in den meisten Beispielen a = 2 gesetzt wurde). Dieser Indikator wird im 4. Kapitel näher untersucht. Auf der Basis dieses Indikators wurde ein adaptiver Algorithmus entwickelt, um die Parameter der Wavelet-Kollokationsmethode einzustellen (siehe Überlegungen dazu in Kapitel 4.2 bzw. 4.3 und den Algorithmus im Kapitel 4.4). Dieser wurde in ein Mathematica-Modul implementiert und getestet (siehe hierzu auch [V14]). Bei einigen Test-Differentialgleichungen lieferte dieser Algorithmus deutlich bessere Resultate als die Mathematica Funktion NDSolve, die auf diverse klassische (implizite und explizite) Methoden zurückgreift.
Für den Approximationsfehler konnten Abschätzungen mit Sätzen aus der numerischen Mathematik hergeleitet werden. Einige dieser Resultate wurden veröffentlicht (siehe Kapitel 16.2).
Es ergaben sich - neben den ursprünglich geplanten Forschungszielen - weitere Ergebnisse, wie beispielsweise jenes, dass man die Methode der Approximation bzw. die Wavelet-Kollokationsmethode auch zur Extrapolation verwenden kann. D.h., wenn man die Lösung einer Differentialgleichung beispielsweise mit dem Shannon-Wavelet auf einem Intervall approximiert hat, dann gibt es auch in einem größeren Bereich außerhalb des Approximationsintervalls nur relativ kleine Abweichungen zwischen der Approximationsfunktion und der exakten Lösung (siehe Kapitel 5.1.2 und Kapitel 15). Weitere Resultate ergaben sich beim Vergleich der Approximationen über die Wavelet-Kollokationsmethode mit denen der Orthogonalprojektion auf Vj (siehe Kapitel 10 und 13).
Eine ursprüngliche Idee von mir, bei der eine diskrete Wavelettransformation (DWT) zur Abschätzung der Verbesserung einer Lösung durchgeführt werden kann, wurde getestet (siehe Kapitel 4.2 und Kapitel 9). Da man aber mit dem Indikator eine Approximation relativ gut beurteilen kann, ist eine DWT nicht nötigt. Zudem müssen hier zusätzliche Voraussetzungen erfüllt sein.
Es konnten auch Parameter der Differentialgleichung (DGL) in den Beispielen aus der Reaktionskinetik (dies waren hier die Reaktionsgeschwindigkeiten) identifiziert (d.h. statistisch geschätzt) werden. Hier ergaben sich ebenfalls signifikante Zusammenhänge zwischen dem Wert des Kriteriums Qa und dem Fehler bei der Identifikation in den Beispielen. Bei der Parameteridentifikation wurde auch eine Schätzung in zwei Schritten durchgeführt, die bei vielen Problemen - beispielsweise in der Reaktionskinetik - mit relativ geringem Aufwand durchgeführt werden kann (siehe Kapitel 7.2 und [V5]).
Bei den Simulationen wurden gewöhnliche Differentialgleichungen erster und zweiter Ordnung verwendet, wie auch Systeme und Differential-Algebraische Gleichungen. Hier konnten mit der Wavelet-Kollokationsmethode sehr gute Ergebnisse erzielt werden. Ebenso bei partiellen Differentialgleichungen. Der entwickelte adaptive Algorithmus wurde auf gewöhnliche Differentialgleichungen angewendet, später aber auch auf partielle Differentialgleichungen. Dazu wurde eine Masterarbeit vergeben. In dieser Masterarbeit wurden Parameter (Rendite und Volatilität) der Black-Scholes Differentialgleichungen identifiziert bzw. geschätzt und es wurde auch die Schätzung in zwei Schritten angewendet.
Im Rahmen der Untersuchungen ergaben sich einige Vorteile bei der Wavelet-Kollokationsmethode:
Ein Nachteil ist der Aufwand, der sich aber allgemein bei impliziten Methoden ergibt, die aber bei steifen oder instabilen Problemen verwendet werden (müssen), wie auch bei Randwertproblemen.
Weiterhin ergab sich:
Insgesamt kann man mit dem Shannon-Wavelet gute Ergebnisse erzielen, auch wenn es keinen kompakten Träger besitzt. Hier kennt man auch gut die Bedeutung des Detailparameters j im Fourierraum, die sich über das Abtasttheorem von Shannon ergibt (siehe Kapitel 11). Man benötigt im Vergleich zu den Daubechies-Wavelets (Ordnung 5 bis 8) in den Beispielen mehr Koeffizienten, aber es wurde bei den Daubechies-Wavelets immer auch ein größerer Detailparameter j benötigt, was in der Hinsicht interessant ist, da die verwendeten Daubechies-Wavelets eine deutlich höhere Ordnung als das Shannon-Wavelet besitzen.
Mit dem Kriterium Qa konnte in den Beispielen gut erkannt werden, in wie weit die Approximation "brauchbar" ist und bei Parameteridentifikationsproblemen, in wie weit die Schätzung gut war. Speziell ergab sich in diversen Simulationen sogar ein linearer Zusammenhang zwischen ln(Q2) und ln(sse) (wobei sse die Quadratsumme der Approximationsfehler ist). Das Kriterium Qa dient als Basis für den adaptiven Algorithmus und wurde auch theoretisch untersucht (im Kapitel 4.3). Bei dem Algorithmus kann man verschiedene Wavelets verwenden.
Eine wichtige Frage war auch die nach der Fehlerabschätzung bei der Approximation. Bei den Recherchen für diese Arbeit bzw. für das Forschungsprojekt wurde eine Reihe von Veröffentlichungen mit Fehlerabschätzung gefunden. Die meisten bezogen sich auf sogenannte interpolierende Wavelets. Bei vielen dieser Abschätzungen wird auch genau ein Typ von Differentialgleichung betrachtet (z.B. Randwertproblem 2. Ordnung), wie auch spezielle Wavelets. Eine Fehlerabschätzung für den Approximationsfehler in Abhängigkeit des Detailparameters j (und der Ordnung eines Wavelets) findet man in Kapitel 4.3, wobei beim Shannon-Wavelet ein direkter Bezug zum Fourierraum besteht (siehe auch Kapitel 11, 12 und [V15] und [V18]).
Es wurden Abschätzungen hergeleitet, die berücksichtigen, dass die Approximationsfunktion nicht über eine Orthogonalprojektion auf den Raum Vj berechnet wurde ("L2- Approximation"), sondern über die Minimierung der Residuen. D.h., hier wird berücksichtigt, dass die Approximationsfunktion - wie bei den meisten Anwendungen in dieser Arbeit - über eine Differentialgleichung bestimmt wurde und nicht über eine Orthogonalprojektion, wie bei vielen Abschätzungen, die "allgemein" aufgestellt wurden.
Hier gibt es einige Unterschiede, wenn man nur eine Approximation auf einem Kompaktum I bestimmt, was auch die Kapitel 10 und 13 zeigen. Bei Funktionen, die nicht auf quadratisch integrabel sind, sondern nur auf einem Kompaktum I, kann man mit der Wavelet-Kollokationsmethode wesentlich bessere Approximationen erzielen, als wenn man (mit Indikatorfunktion 1I von I) orthogonal auf Vj projiziert, denn das "Abschneiden der Funktion y" hat i. Allg. negative Auswirkungen im Fourierraum (siehe Kapitel 10 und [V12]), so dass man i. Allg. ein deutlich größeres j für eine gute Approximation bei einer Orthogonalprojektion von auf Vj benötigt. Die Orthogonalprojektion (mit dem Shannon- oder mit einem Daubechies-Wavelet) verhält sich bei einem solchen Typ von Funktion wie die Teilsumme einer Fourier-Reihe (siehe Kapitel 10, 13 und [V12] und [V19]).
1) ist messbar und
Wenn dann nennen wir f quadratisch integrabel auf I. Für schreiben wir später kurz
2) Lp(I) = / Np mit Np = {f | f(t) = 0 für fast alle t}. In Lp(I) sind somit keine Funktionen, sondern nur Äquivalenzklassen. Für eine einfachere Notation (wie es auch allgemein in der Literatur zum Thema Wavelets gehandhabt wird) sagen wir später öfter „f ist in was bedeutet, dass f ein Repräsentant der Äuquivalenzklasse [f] ist, die in Vj liegt. Siehe hierzu Bemerkung 2-1. In den Beispielen betrachten wir Funktionen und keine Äquivalenzklassen. Für schreiben wir später kurz L2.
3) det A ist die Determinante der quadratischen Matrix A.
4) ist die abgeschlossene Hülle von V.
5) Der Träger einer Funktion f ist
6) mit f, g L2(I). Hier bedeutet die horizontale Linie über g komplex konjugiert. Für schreiben wir im Folgenden immer kurz
7) V W bedeutet V ist orthogonal zu W. D.h. für V, W für alle und
8) Für f in L2(I) ist die L2(I)-Norm definiert durch
9) Für die Fouriertransformierte einer Funktion verwenden wir Großbuchstaben. F ist somit die Fouriertransformierte von f mit
Die Zurücktransformierte von F ist f mit
Es gibt nun mehrere Möglichkeiten für die Wahl der Konstanten c1 und c2.
Wir verwenden Bei einer anderen Wahl wird ein Hinweis gegeben (z.B. c1 = 1 und
10) 1A ist die Indikatorfunktion:
11) Die Skalierungsfunktion des Shannon-Wavelets ist:
12) Für die Euklidische Norm schreiben wir statt ||.||2 auch kurz ||.||.
13) Für die i-te Komponente einer Lösungsfunktion y wird, wie üblich, die Bezeichnung yi verwendet. Damit es hier nicht zu Verwechselungen mit der Approximationsfunktion yj aus dem Raum Vj kommt, wird die i-te Komponente von yj mit yj(i) bezeichnet und es wird im jeweiligen Zusammenhang auch immer darauf hin gewiesen, ob es sich um die Approximationsfunktion yj oder die i-te Komponente von y handelt.
14) Wir verwenden später öfter die Approximationsfunktion
welche von den Basiskoeffizienten ck abhängt (wie auch von kmin und kmax), was aber nicht an der Notation yj erkennbar ist. Zusätzlich hängen die ck auch von j ab, aus Gründen einer vereinfachten Notation wird dies aber ebenfalls nicht in der Schreibweise dargestellt (außer wenn dies – z.B. bei einem Verleich – notwendig ist). Die Basiskoeffizienten werden später öfter in einem Vektor c zusammengefasst. Wenn später erwähnt wird, dass ein spezielles Wavelet bei der Approximation verwendet wurde, dann wird gemeint, dass wir die Skalierungsfunktion dieses Wavelets bei der Konstruktion der Approximationsfunktion yj wie oben verwenden.
15) Die Fehlerquadratsumme sse berechen wir später in diversen Beispielen diskret über
Hier stellt yj eine Approximationsfunktion für y dar. Die Stellen ti müssen nicht notwenigerweise mit denen der Wavelet-Kollokationsmethode übereinstimmen und auch nicht m mit deren Anzahl. Als mittlere Fehlerquadratsumme wird
verwendet. Der Summationsindex kann auch mit i = 0 beginnen.
Bemerkungen 2-1:
1) wird auch der Raum aller auf dem Intervall [a,b] quadratisch integrablen Funktionen genannt. Falls und allgemein gilt, so muss
gelten. Mit der entsprechenden Norm
wird zu einem halbnormierten Raum und zum Banachraum, d.h., zu einem vollständig normierten Raum. Dabei ist N = {f | f = 0 fast überall}, d.h. für gilt Wir benötigen später den Raum oder kurz: L2
Der Raum L2 (und auch L1, den wir auch benötigen) enthält genau genommen keine Funktionen, sondern nur Äquivalenzklassen, Funktionen befinden sich in In einer solchen Äquivalenzklasse befinden sich alle Funktionen, die sich nur auf einer Lebesgue Nullmenge unterscheiden.
Somit kann
gelten, obwohl v(t) nicht identisch Null ist für alle (sie kann an abzählbar vielen Stellen von Null verschieden sein). Damit ist
kein normierter Raum (nur ein halbnormierter Raum) und dies ist auch der Grund, warum man in der Theorie den Raum L2 benötigt. Genau genommen könnte man dann nicht sagen, die Funktion L2 ist ein Wavelet, viele Bücher zum Thema Wavelet tun dies aber (der Einfachheit halber) und sprechen von einer Funktion aus L2. D.h., wenn in den folgenden Kapiteln „f ist in Lp“ steht, so bedeutet dies genau genommen, dass f ein Repräsentant der Äquivalenzklasse [f] ist und
2) In den meisten Beispielen wird das Shannon-Wavelet verwendet. D.h., wenn nichts explizit zum Wavelet in einem Beispiel gesagt wird, handelt es sich immer um das Shannon-Wavelet.
In diesem Kapitel wird kurz auf die zum Verständnis der noch folgenden Kapitel notwendigen Grundlagen zu Wavelets eingegangen. Weitere Details hierzu findet man in [13].
Formal werden an eine Multiskalenanalyse (MSA) insgesamt 5 Bedingungen geknüpft. Eine Multiskalenanalyse von L2 ist durch eine Folge von abgeschlossenen Teilräumen des gegeben, für die gilt:
Mit (III) erhalten wir durch eine Orthonormalbasis des Raumes Vj. Wegen
erhält man aber mit
keine Orthonormalbasis des Raumes Darum benötigt man zusätzlich ein System von Teilräumen des die paarweise orthogonal sind, d. h.
Die Räume Wj sind so definiert, dass das Wj das orthogonale Komplement von Vj in Vj+1 ist, womit