Zum Inhalt springen
Startseite

Verstärkungslernen (Reinforcement Learning) – Definition, Prinzip & Beispiele

Verstärkungslernen (Reinforcement Learning): Definition, Prinzipien & praxisnahe Beispiele zu Agenten, Belohnungssystemen, Exploration vs. Exploitation – kompakt & verständlich erklärt.

Autor: Erstellt: Aktualisiert:

Die Biologie hinter dem Verstärkungslernen finden Sie unter Operante Konditionierung und Belohnung

Reinforcement Learning (RL) bedeutet, einem Software-Agenten beizubringen, wie er sich in einer Umgebung verhalten soll, indem er ihm sagt, wie gut es ihm geht. Es ist ein Bereich des maschinellen Lernens, der von der behavioristischen Psychologie inspiriert ist.

Das Verstärkungslernen unterscheidet sich vom beaufsichtigten Lernen, weil nie die richtigen Inputs und Outputs gezeigt werden. Außerdem lernt das Reinforcement Learning im Gegensatz zum beaufsichtigten Lernen in der Regel nach und nach (Online-Lernen). Das bedeutet, dass ein Agent wählen muss, ob er das, was er am besten weiß, erforscht oder dabei bleibt.

Bildergalerie

1 Bild
File:Rl_agent.png
simple.wikipedia.org · CC BY-SA 4.0

Grundprinzipien

Beim Verstärkungslernen steht die Interaktion zwischen einem Agenten und seiner Umgebung im Mittelpunkt. In jedem Zeitschritt beobachtet der Agent einen Zustand, wählt eine Aktion und erhält als Rückmeldung eine Belohnung (Reward). Das Ziel des Agenten ist es, eine Strategie (Policy) zu lernen, die über die Zeit die kumulierte Belohnung maximiert.

Wichtige Begriffe

  • Agent: das lernende System, das Entscheidungen trifft.
  • Umgebung (Environment): alles außerhalb des Agenten, mit dem er interagiert.
  • Zustand (State): eine Darstellung der aktuellen Situation, die der Agent beobachtet.
  • Aktion (Action): eine Handlung, die der Agent ausführt.
  • Belohnung (Reward): numerisches Feedback, das sofort angibt, wie „gut“ eine Aktion war.
  • Policy: die Regel oder Wahrscheinlichkeitsverteilung, nach der der Agent Aktionen auswählt.
  • Value-Funktion: schätzt den erwarteten kumulierten Nutzen (Return) eines Zustands oder Zustands-Aktions-Paares.
  • Modell: ist eine interne Vorhersage der Umgebungsdynamik (z. B. wie sich Zustände nach Aktionen verändern).
  • Discount-Faktor (γ): bestimmt, wie stark zukünftige Belohnungen gegenüber unmittelbaren bewertet werden.

Kernprobleme und Konzepte

  • Exploration vs. Exploitation: Ein Agent muss entscheiden, ob er bekannte, meist gute Aktionen ausnutzt (Exploitation) oder neue Aktionen ausprobiert, um bessere Strategien zu entdecken (Exploration).
  • Credit Assignment: Wie ordnet man einzelne Aktionen Belohnungen zu, besonders wenn Belohnungen verzögert kommen?
  • Sparse Rewards: In vielen realen Problemen erhält der Agent selten Belohnungen, was das Lernen erschwert.
  • On-policy vs. Off-policy: On-policy-Methoden lernen aus den Daten, die von der aktuellen Policy erzeugt wurden; Off-policy-Methoden können aus fremden Daten lernen.

Lernansätze und populäre Algorithmen

Verstärkungslernverfahren lassen sich grob einteilen in model-free und model-based Methoden sowie in wertbasierte und policy-basierte Ansätze.

  • Value-basierte, model-free: Q-Learning (off-policy), SARSA (on-policy). Deep Q-Networks (DQN) erweitern Q-Learning durch neuronale Netze und Replay Buffer.
  • Policy-basierte Methoden: Policy Gradient-Verfahren optimieren direkt die Policy; Beispiele sind REINFORCE.
  • Actor-Critic: Kombination aus Policy (Actor) und Value-Schätzer (Critic). Moderne Varianten wie A2C, A3C, PPO sind stabil und effizient.
  • Model-based RL: Der Agent lernt ein Modell der Umgebung und plant damit voraus; oft sample-effizienter, aber komplexer.

Beispiele und Anwendungen

  • Spiele: Atari-Spiele, Schach, Go – RL hat hier beeindruckende Erfolge erzielt.
  • Robotik: Bewegungsplanung, Greifen, adaptives Verhalten in realen Umgebungen.
  • Empfehlungssysteme: Personalisierte Empfehlungen durch sequenzielle Entscheidungsfindung.
  • Autonomes Fahren: Entscheidungen in dynamischen, stochastischen Umgebungen.
  • Betriebsoptimierung: z. B. Energienetzsteuerung, Inventar-Management, Portfoliostrategien.

Typisches Lernbeispiel: Multi-Armed Bandit

Ein einfaches, erklärendes Problem ist das Multi-Armed-Bandit-Problem: Mehrere Hebel (Armen) haben unbekannte Auszahlungserwartungen; der Agent muss herausfinden, welche Hebel am meisten einzahlen, dabei aber nicht zu viel Zeit mit Erkundung verschwenden. Es demonstriert die grundlegende Exploration-Exploitation-Abwägung.

Herausforderungen in der Praxis

  • Sample-Effizienz: Viele RL-Algorithmen benötigen sehr viele Interaktionen mit der Umgebung.
  • Stabilität und Hyperparameter: Training kann instabil sein; gute Hyperparameterwahl ist oft entscheidend.
  • Sim-to-Real: Modelle, die in Simulation gut arbeiten, verhalten sich in der realen Welt oft anders.
  • Sicherheits- und Ethikfragen: unbeabsichtigte oder gefährliche Verhaltensweisen müssen verhindert werden (Reward-Hacking, unbeabsichtigte Nebenwirkungen).

Tipps für den Einstieg

  • Beginnen Sie mit einfachen Umgebungen (z. B. OpenAI Gym) und kleinen Algorithmen wie Q-Learning.
  • Nutzen Sie Replay Buffers, Target Networks und einfache Regularisierungen, um Trainingsstabilität zu erhöhen.
  • Experimentieren Sie mit Reward-Design: klare, wohlüberlegte Belohnungen erleichtern das Lernen.
  • Lesen Sie Standardwerke wie “Reinforcement Learning: An Introduction” von Sutton & Barto und folgen Sie aktuellen Tutorials zu Deep RL.

Zusammenfassung

Verstärkungslernen ist ein mächtiger Ansatz, um Agenten zu trainieren, die sequenzielle Entscheidungen treffen müssen. Es unterscheidet sich vom beaufsichtigten Lernen durch das Fehlen expliziter „richtiger“ Antworten und durch die Notwendigkeit, Exploration und Exploitation auszubalancieren. Mit zunehmender Rechenleistung und verbesserten Algorithmen werden Anwendungen in Spielen, Robotik und Industrie immer erfolgreicher — gleichzeitig bleiben praktische Herausforderungen wie Sample-Effizienz und Sicherheit zentral.

Einführung

Ein Reinforcement Learning System besteht aus einer Richtlinie ( π {\displaystyle \pi } {\displaystyle \pi }), einer Belohnungsfunktion ( R {\displaystyle R}{\displaystyle R} ), einer Wertfunktion ( v {\displaystyle v}{\displaystyle v} ) und einem optionalen Modell der Umgebung.

Eine Richtlinie sagt dem Agenten, was er in einer bestimmten Situation zu tun hat. Es kann eine einfache Regeltabelle oder eine komplizierte Suche nach der richtigen Aktion sein. Richtlinien können sogar stochastisch sein, d.h. anstelle von Regeln weist die Richtlinie jeder Aktion Wahrscheinlichkeiten zu. Eine Richtlinie allein kann einen Agenten dazu bringen, Dinge zu tun, aber sie kann nicht von sich aus lernen.

Eine Belohnungsfunktion definiert das Ziel für einen Agenten. Sie nimmt einen Zustand ein (oder einen Zustand und die in diesem Zustand ausgeführte Aktion) und gibt eine Zahl zurück, die Belohnung genannt wird und die dem Agenten sagt, wie gut es ist, in diesem Zustand zu sein. Die Aufgabe des Agenten ist es, auf lange Sicht die größtmögliche Belohnung zu erhalten. Wenn eine Aktion eine geringe Belohnung ergibt, wird der Agent in Zukunft wahrscheinlich eine bessere Aktion durchführen. Die Biologie verwendet Belohnungssignale wie Vergnügen oder Schmerz, um sicherzustellen, dass Organismen am Leben bleiben und sich fortpflanzen können. Belohnungssignale können auch stochastisch sein, wie z.B. ein Spielautomat in einem Kasino, bei dem sie manchmal zahlen und manchmal nicht.

Eine Wertfunktion teilt einem Agenten mit, wie viel Belohnung er nach einer Richtlinie π {\displaystyle \pi } {\displaystyle \pi }ausgehend von Zustand s {\displaystyle s}{\displaystyle s} erhält. Sie stellt dar, wie wünschenswert es ist, in einem bestimmten Zustand zu sein. Da die Wertfunktion dem Agenten nicht direkt gegeben wird, muss er auf der Grundlage der bisher erhaltenen Belohnung eine gute Schätzung oder Einschätzung abgeben. Die Schätzung der Wertfunktion ist der wichtigste Teil der meisten Reinforcement Learning-Algorithmen.

Ein Modell ist die mentale Kopie des Agenten von der Umwelt. Es wird verwendet, um zukünftige Aktionen zu planen.

Wenn wir dies wissen, können wir über die Hauptschleife für eine Verstärkungs-Lernepisode sprechen. Der Agent interagiert mit der Umgebung in diskreten Zeitschritten. Stellen Sie es sich wie das "Tick-Tack" einer Uhr vor. Bei der diskreten Zeit passieren die Dinge nur während der "Ticks" und der "Tocks", und nicht dazwischen. Zu jedem Zeitpunkt t = 0 , 1 , 2 , 3 , 3 , . . . . {\a6}Anzeigeart t=0,1,2,3,... } {\displaystyle t=0,1,2,3,...}beobachtet der Agent den Zustand der Umwelt S t {\displaystyle S_{t}} {\displaystyle S_{t}}und wählt eine Aktion A t {\displaystyle A_{t}}{\displaystyle A_{t}} basierend auf einer Richtlinie π {\displaystyle \pi } {\displaystyle \pi }. Im nächsten Zeitschritt erhält der Agent ein Belohnungssignal R t + 1 {\Anzeigestil R_{t+1}}} {\displaystyle R_{t+1}}und eine neue Beobachtung S t + 1 {\Anzeigestil S_{t+1}} {\displaystyle S_{t+1}}. Die Wertfunktion v ( S t ) {\darstellungsstil v(S_{t})}{\displaystyle v(S_{t})} wird unter Verwendung der Belohnung aktualisiert. Dies wird so lange fortgesetzt, bis ein Endzustand S T {\Anzeigestil S_{T}}{\displaystyle S_{T}} erreicht ist.

Verwandte Artikel

Autor

AlegsaOnline.com Verstärkungslernen (Reinforcement Learning) – Definition, Prinzip & Beispiele

URL: https://de.alegsaonline.com/art/81975

Teilen