Das Subdifferential ist eine Verallgemeinerung des Gradienten auf nicht differenzierbare konvexe Funktionen. Das Subdifferential spielt eine wichtige Rolle in der konvexen Analysis sowie der konvexen Optimierung.
Inhaltsverzeichnis
1Definition
2Anschauung
3Beispiel
4Beschränktheit
4.1Beweis
5Differenzierbarkeit
6Literatur
Definition
Sei eine konvexe Funktion. Ein Vektor heißt Subgradient von an der Stelle , wenn für alle gilt[1]
,
wobei das Standardskalarprodukt bezeichnet.
Das Subdifferential ist die Menge aller Subgradienten von im Punkt .[2]
Existieren die folgenden Grenzwerte so wird das Intervall aller Subgradienten das Subdifferential der Funktion bei genannt und wird als geschrieben.
Für eine konvexe Funktion gilt , für eine nicht konvexe Funktion braucht dies nicht zu gelten und dann ist .
Anschauung
Subgradienten einer konvexen Funktion
Intuitiv bedeutet diese Definition für , dass der Graph der Funktion überall über der Geraden liegt, die durch den Punkt geht und die Steigung besitzt:
Da die Normalengleichung von gerade
ist, ist die Normale an also .
Im allgemeinen Fall liegt über der Hyperebene, die durch den Fußpunkt und die Normale gegeben ist.
Wegen des Trennungssatzes ist das Subdifferential einer stetigen konvexen Funktion überall nichtleer.
Beispiel
Das Subdifferential der Funktion , ist gegeben durch:
Eine ähnliche Eigenschaft ist bei der Lasso-Regression für die Herleitung der Soft-Threshold-Funktion wichtig.
Beschränktheit
Sei stetig und sei beschränkt. Dann ist die Menge beschränkt.
Beweis
Sei stetig und sei beschränkt. Setze wobei . Angenommen, ist nicht beschränkt, dann gibt es für ein und ein mit . Sei . Somit sind . Wir erhalten die Abschätzung
.
ist also kein Subgradient. Das ist ein Widerspruch.
Differenzierbarkeit
Ist die Funktion differenzierbar in , so gilt:
Siehe [3] für einen Beweis.
Zudem gilt: Ist das Subdifferential einelementig, so ist an der Stelle differenzierbar.[4]