Flexible Daten-Akquisition & Interpretation für verteilte
Sensor-Aktor-Systeme im Produktionsumfeld
Sebastian Zug, André Dietrich, Marc Schappeit, Christoph Steup, Prof. Dr. Jörg Kaiser
Institut für verteilte Systeme OvGU Magdeburg, {zug, dietrich, schappeit, steup, kaiser}@ivs.cs.uni-magdeburg.de
Zusammenfassung
Aktuelle Forschungsprojekte propagieren die unmittelbare Interaktion von Robotern mit Menschen im privaten wie im industriellen Bereich. Die dafür nötige fehlertolerante und flexible Umgebungserfassung stellt die bestehenden zentralistisch und statisch orientierten Konzepte vor große Probleme. Geht man aber davon aus, das die Informationen aller Sensor-Aktor-Systeme innerhalb einer intelligenten Umgebung verbreitet werden, so kann auf dieser Basis eine dynamische, adaptive und damit fehlertolerantere Aggregation von Messdaten umgesetzt werden. Diese Arbeit untersucht die aus diesem Konzept resultierenden Anforderungen, beschreibt die darauf aufbauend entwickelte Architektur und illustriert anhand eines Beispielszenarios die Vorteile des Ansatzes.
Schlüsselwörter: Datenfusion, Datenbeschreibung, Umgebungsmodellierung, verteilte Systeme, Robotik
1.
Einleitung
Autonomie definiert sich für Robotersysteme als das selbstständige Handeln im Sinne einer Aufgabenstellung innerhalb einer spezifischen Umgebung, wobei Eingriffe des Menschen (weitgehend) unterbleiben. Diese Selbstständigkeit stellt den Entwickler vor verschiedene Herausforderungen auf unterschiedlichem Niveau, die im Wesentlichen durch die Variabilität und Dynamik der Umgebung bestimmt wird, mit der das Robotersystem zur Laufzeit konfrontiert ist [18]. Für einen eingehausten Manipulator, der eine Maschine be- und entlädt, beschränkt sich die Selbstständigkeit auf die Umsetzung einer vorgegebenen Bewegung und das Hantieren des Werkstückes. Deutlich aufwendiger wird die Implementierung autonomen Verhaltens, wenn mobile Systeme betrachtet werden, die in realistischen Umgebungen eingesetzt, kooperieren und unmittelbar mit Menschen interagieren. Diese als Assistenzroboter bezeichneten Applikationen sind Gegenstand aktueller Forschungsprojekte und werden zukünftig in nicht nur den privaten Raum (im Bereich der Servicerobotik, wie Küchen-, Staubsaug-, Pflegeroboter, etc.), sondern auch Produktions- und Fertigungsbetriebe durchdringen. In letztgenannten Einsatzszenarien werden hier schon wegen der aus der Größe resultierenden höheren Gefahrenpotenziale gesteigerte Anforderungen an die Sicherheit gestellt (vgl. EN ISO 10218-1 und 2). Anders als für das Beispiel des Beladungsroboters ist dabei eine hinreichend genaue Erfassung und Abbildung der Umgebung elementare Grundlage des autonomen Handelns. Im Vergleich zu statischen Sensor-Aktor-Systemen steigt mit der angestrebten Mobilität die Variabilität der Umgebung, sodass sich drei wesentliche Herausforderungen ergeben:
• Zum einen lassen sich die möglichen Umgebungsbedingungen und die Zustände eines ortsinvarianten Roboters, anders als für einen statischen oder gar eingehausten Manipulator, während der Entwicklung nicht mehr vollständig planen. Damit können zum Beispiel bei der Bewegung Hinderniskonstellationen auftreten, die von der vorhandenen Sensorik nicht oder nur unzureichend erfasst werden können.
• Der Messvorgang wird sensorspezifischer durch Umgebungsparameter überlagert oder gestört. Beispielsweise beeinflussen Lichtverhältnisse die Umgebungserfassung per Kamera oder die Umgebungstemperatur die ultraschallbasierte Distanzmessung. Diese Größen können aber in den angestrebten mobilen Szenarien nicht als konstant angenommen oder mit geeigneten Mitteln (Scheinwerfer) garantiert werden, wie dies in statischen Applikationen häufig der Fall war.
• Trotz dieser Unwägbarkeiten steigen aus der unmittelbaren Zusammenarbeit mit dem Menschen heraus die Zuverlässigkeitserwartungen an das System. Eine Kernaufgabe dabei ist die sichere sensorische Erfassung der sich in der Nähe aufhaltenden Objekte, dies umfasst Personen, andere Robotersysteme, veränderlicher Objekte der Umgebung oder Bereiche mit veränderlichen Sicherheitssituationen und die Abbildung dieser Informationen in ein konsistentes Weltmodell.
Sensorik, den veränderlichen Umgebungsbedingungen usw. eine außerordentlich komplexe Sensorstruktur resultiert. Hinsichtlich der Entwicklung eines solchen Systems bestände zudem die Schwierigkeit, dass sowohl die Hardware als auch die Software stark miteinander abgestimmt und verwoben wären und daher die Wart-, Erweiterbarkeit ebenso starken Beschränkungen unterliegt wie die Wiederverwendbarkeit.
Aus diesem Grund wurde durch die Arbeitsgruppe für Eingebettet Systeme und Betriebssysteme der Otto-von-Guerike-Universität Magdeburg ein Konzept für die dynamische Aggregation von Messdaten entworfen. Der Ansatz geht vor dem Hintergrund fortschreitender Miniaturisierung und der Verbreitung von zuverlässigen Funkverbindungen davon aus, dass die gegenwärtig fix einer spezifischen Anwendung zugeordneten Messsysteme sich zu intelligenten Umgebungen hin entwickeln werden. Damit stehen deren Messwerte allen nachfragenden Applikationen zur Verfügung. Ursprung der Daten können dabei fest installierte Sensorik sein, andere Robotersysteme oder Personen, die mit kleidungsintegrierter Sensorik oder modernen Smartphones als vorgelagerte Informationsquellen dienen. Über diese je nach Standort und Konstellation abhängige Redundanz lassen sich die oben genannten Herausforderungen deutlich besser und kostengünstiger meistern, als mit in sich geschlossenen Applikationen. Für eine mobile Transportplattform bedeutet dies, dass diese zum Beispiel mit der Sensorik der Gebäudeautomatisierung kommuniziert und die lokale Temperatur oder die Zustände der Türen abzufragen. Auf diese Weise lassen sich für eine Multirobotapplikation unter Umständen erhebliche Kosteneinsparungen erreichen, da eben nicht jede Plattform mit beispielsweise mit einem Laserscanner ausgestattet werden muss, um die Stellung der Tür aufwendig zu berechnen. Die zuvor diskutierte Handlungsautonomie wird damit auf eine Wahrnehmungsautonomie ausgedehnt.
In dieser Arbeit diskutieren wir die Anforderungen der dynamischen Datenaggregation und beschreiben eine mehrschichtige Architektur zur Umsetzung dieser Idee. Dazu werden zunächst die Kernherausforderungen definiert und darauf aufbauend die einzelnen Schichten vorgestellt.
2.
Anforderungen und Stand der Technik
Die Anforderungen der variablen Messdatenerfassung folgen der Verarbeitungskette eines Datensatzes. Zunächst müssen die Informationen kommuniziert werden, im Weiteren richtig interpretiert und gewichtet und letztendlich in ein Weltmodell eingefügt werden, um darauf aufbauend Entscheidungen zum Verhalten treffen zu können.
2.1 Datenaustausch
Komplexe Anwendungen bauen zumeist auf einer heterogenen Netzwerkstruktur auf. Während auf der untersten Ebene Feldbusse wie CAN, Profibus usw. zum Einsatz kommen, wird auf der Leitebene über TCP/IP Verbindungen kommuniziert. Damit also überhaupt ein Datenaustausch zwischen verschiedenen Elementen eines solchen Netzes möglich ist, müssen diese durch entsprechende Gateways miteinander verknüpft sein. Gleichzeitig sollten die unterschiedlichen Eigenschaften der Netze durch eine geeignete Middleware gekapselt und die Einhaltung bestimmter Übertragungsqualitäten wie Latenzen, Bandbreite usw. sichergestellt werden. Um die geforderte nahtlose Integration muss zudem die Erweiterbarkeit des Netzes zur Laufzeit gewährleistet werden. Im Hinblick auf die Entwicklung ist der Anwender durch eine Programmier-API zu unterstützen, die unabhängig von der Zielplattform einheitliche Schnittstelle für die Kommunikation bietet.
Middlewareimplementierungen aus dem industriellen Bereich wie CORBA [40], DDS [22] oder JMS [21] scheitern zumeist an diesen Forderungen und.
2.2 Datenvalidierung
Die zu erwartende Heterogenität der Sensoren bei gleichzeitiger Unwägbarkeit der die Messungen begleitenden Umgebungsinformationen führt zu Messdaten, deren Güte höchst unterschiedlich zu bewerten ist. Vor dem Hintergrund der Unterschiedlichkeit der zugehörigen Fehlermodelle muss die Aussage zur Gültigkeit in einer einheitlichen Fehlersemantik eingebettet werden, um erstens die individuellen Sensoreigenschaften so weit wie möglich zu kapseln und zweitens eine Vergleichbarkeit zwischen verschiedenen Systemen zu gewährleisten. Erst damit kann eine adaptive Verarbeitung eine optimale Selektion und Gewichtung der Datensätze ausführen. Folglich bedarf es einer entsprechenden Prüfung der Messdaten und Fusionsresultate, wobei es im Sinne einer konsistenten Bewertung wünschenswert wäre, dies unmittelbar auf dem den Datensatz generierenden Knoten vorzunehmen. Allerdings fehlte eingebetteten Knoten dazu häufig die für die Analyse der Daten notwendige Rechenleistung und zum anderen der Überblick über möglicherweise redundante Messungen, sodass ein verteilter Fehlerdetektions- und Bewertungsansatz nötig.
Fehlerzustände und deren Ausgangspunkte zu erkennen. Analoge Untersuchungen können auch anhand eines Signalmodells vollzogen werden, wenn also bestimmte Bedingungen an einen gültigen zeitlichen Verlauf eines Messwertes gestellt werden [10]. Im einfachsten Fall kann das ein Schwellwert für die Amplitude, die Änderung, das Rauschverhalten usw. sein.
Wie aber werden die unterschiedlichen Fehlerzustände kommuniziert? Im einfachsten Fall wird von einem „fail-silent“ System ausgegangen, bei dem für alle Elemente und Ausgabewerte kontinuierlich einer Prüfung auf die relevanten Fehler vollzogen wird. Mit der Detektion einer Störung werden keine Daten mehr publiziert. Sämtliche Fehler werden in eine einzige nach außen sichtbare Fehlerart umgewandelt, die komplette Abschaltung der betroffenen Komponente [1]. In [23] machen die Autoren die Entscheidung über den Übergang in den „fail-silent“-Zustand neben der Messwertbeurteilung von zwei weiteren Attributen des Knotens abhängig, die sich aus dessen Einbindung im Netzwerk ergeben. Die bisher versendeten Nachrichten müssen von mindestens einem als fehlerfrei eingeschätzten Knoten akzeptiert worden sein und alle die Nachricht empfangenen Knoten haben signalisiert, dass ein einheitlicher Datensatz empfangen wurde. Damit wird die Entscheidung über den Fehlerzustand nicht mehr nur sensorlokal sondern über das gesamte verteilte System hinweg bestimmt.
Eine differenziertere Fehlerdarstellung erlaubt zum Beispiel die Systematik von [31] und bildet die oben genannten Fehlermodelle auf drei Metamodelle ab: „Short“ das eine sprunghafte Änderung des Wertes signalisiert, „Noise“ mit dem stochastische Fehler abgebildet werden, und „Constant“, in dem zeitabhängiger Bias berücksichtigt wird. Die Information über das Eintreten eines der Fehlertypen wird der Nachricht beigefügt. In den Arbeiten von [5, 24, 32] wird das Ergebnis der Fehlerprüfung in eine Validitätseinschätzung überführt und durch einen einzelnen, kontinuierlichen Wert repräsentiert. Dieser Wert wird jeder Messung beigefügt und überträgt die Entscheidung über den Umgang mit einem möglicherweise fehlerhaften Wert, entgegen dem fail-silent Ansatz, an die nachgeordneten Knoten. Die Bestimmung dieses Validitätswertes, der eine objektive und mit anderen Knoten vergleichbare Größe darstellt wird unter anderem in [25] in möglichen Ausprägungen diskutiert. Für eine binäre Entscheidung stellt sich zum Beispiel die Frage nach der Auslegung des Grenzwertes, ab dem eine Störung angenommen wird [6]. Wird diese auf einem zu geringen Niveau festgesetzt, steigt die Zahl von unberechtigten Fehlerannahmen, für einen zu hohen Wert besteht die Gefahr nicht erkannter Fehlersituationen. Entsprechend zielen die Arbeiten von [6] und [8] auf einen adaptiven Grenzwert und bedienen sich dabei der Prinzipien der Fuzzy Systeme.
2.3 Datenbeschreibung
Neben der Validität muss auch für andere Aspekte eines Datensatzes sichergestellt sein, dass die Informationen beim Empfänger in ihrem korrekten Kontext eingeordnet und richtig interpretiert werden können. Dies sind auf einfachster Ebene die physikalische Einheit eines Messwertes sowie der Zeitpunkt und Ort der Messung. Neben diesen offensichtlichen Angaben sind aber auch komplexere Angaben zum Beispiel über die Messunsicherheit oder den Überwachungsbereich eines Sensors erforderlich, um überhaupt die Relevanz von dessen Messungen hinterfragen zu können. In einem statischen Szenario würden derartige Informationen direkt in den Applikationscode eingewoben werden. Da hier aber von einer dynamischen Interaktion ausgegangen wird, sind diese Informationen zur Entwicklungszeit nicht bekannt. Voraussetzung für die angestrebte Adaptivität ist also eine (Selbst-)beschreibung aller auszutauschenden Informationen.
Dafür bestehen verschiedene Ansätze, die in unterschiedlichem Grad Verbreitung gefunden haben. Einfache textuelle Beschreibungen zur Strukturierung der auszutauschenden Daten, Datentypen und Bezeichnern genügen zum Beispiel im ROS-Framework [41]. Deutlich differenzierte sind die Festlegungen der IEEE 1451 – Standard for a Smart Transducer Interface for Sensors and Actuators – [13] zu benennen, die auf die Standardisierung der Schnittstellen, Protokolle und Messdaten für heterogene Sensor-Aktor-Netze zielt. Ein Element dieses Konzeptes sind elektronische Datenblätter, die unter anderem die Spezifika des angeschlossenen Sensors berücksichtigen. In vielen Anwendungen dieser digitalen Beschreibungen werden diese aber nur im Rahmen des Entwicklungsprozesses genutzt und dienen zum Beispiel zur Konfiguration der Datentypen [33]. Die Ansätze des IEEE 1451 werden in vielen Arbeiten aufgegriffen [5, 16] und angepasst, letztgenannte benutzt die Beschreibungen unter anderem als Basis einer Codegenerierung für eingebettete Sensorknoten.
2.4 Datenföderation
zu koordinieren oder einfache Handlungsabläufe bzw. komplexe Aufgaben zu planen, Situationen richtig zu bewerten und somit auch Gefahrenpotenziale zu erkennen.
Im einfachsten Fall, wie in den meisten der heutigen Systeme, sei in der Servicerobotik, Prozessautomatisierung oder selbst im Automotivbereich, ist das Systemmodell schon inhärent im Programmcode enthalten, das heißt, bereits in der Implementierungsphase muss alle nutzbare Sensorik und Aktuatorik sowie die Dynamik in der Umgebung, bekannt sein.
Eine höheres Abstraktionsniveau bieten einfache räumliche Umgebungsmodelle, wobei Abstandsmessungen in eine 2D beziehungsweise 3D-Struktur überführt werden und es einem autonomen System somit erlauben sich in Indoor- oder Outdoor-Umgebung zu orientieren und Hindernisse zu umgehen (vgl. [9, 34, 36]).
Durch Objekterkennung können zusätzlich geometrische Objekte der Umgebung mit zusätzlichen Attributen verknüpft werden und erhalten dadurch eine zusätzliche Semantik, wie die Arbeiten von Rusu zeigen (siehe [28, 29]). In [2] wurde ein autonomer Roboter, ausgerüstet mit einem lokalen Kamerasystem und einem lokalen 2D-Laserscanner, zur Detektion und dem Verfolgen von Menschen eingesetzt. In [12, 26] werden Objekte der Umgebung zusätzlich mit physikalischen Eigenschaften innerhalb der Modellrepräsentation versehen, dies erlaubte zusätzlich Simulationen, die Auskunft über die zukünftige Umgebungssituationen lieferten. Die Vorwegnahme zukünftiger Situationen wird ebenfalls bei der Trajektorienplanung [42, 43] oder sogar bei der Kollisionsvermeidung im Automobil [15].
Alle diese Modelle arbeiten mit festen Sensorkonfigurationen. Aber wie könnten zusätzlich externe Sensorsysteme oder die Sensorik anderer Roboter genutzt werden, um die gleiche Aufgabe zu lösen? Schon das einfache Hinzufügen einer neuen Sensorkomponente stellt eine Herausforderung dar. Es ist zwar kein Problem diese neuen Sensordaten innerhalb eines Netzwerkes zu publizieren, oder sie den physikalischen Einheiten nach richtig einordnen zu können, aber die korrekte Interpretation ist nur durch eine Anpassung des Modells und damit zumeist auch des eigentlichen Anwendungsprogramms möglich.
In [27] wurde bereits erfolgreich die Nutzung eines geometrischen Umgebungsmodells für autonom agierende Serviceroboter im Küchenumfeld untersucht. Auch hier wurde von einer lokal und extern fixen Sensorkonfiguration ausgegangen. Jedoch konnte hier die Hardware abstrahiert werden, indem die Möglichkeit gegeben war nachträglich die lokale Sensorik im Modell durch verschiedene äquivalente Systeme (mit unterschiedlicher Auflösung, Messraten, etc.), zu ersetzen und zu testen.
Eine adäquate Situationsbewertung anhand eines Modells kann auch den Datenverkehr in einem Netzwerk entlasten, da daraufhin eine gezielte Sensordatenakquise erfolgen kann (nicht in jeder Situation ist die Übermittlung aller Sensordaten notwendig). In [11] konnte gezeigt werden, wie mithilfe einer geeigneten Situationserkennung im Automobil gezielt Sensordaten angefordert wurden, was zu einer durchschnittlichen Reduktion des Datenvolumens um 54% führte.
Logik-basierte Architekturen erlauben eine Beschreibung der Umgebungssituation mit den Mitteln der Aussagenlogik. Sie werden vor allem für das lösen komplexere Aufgaben wie das finden von Handlungssequenzen, die zum Erreichen eines bestimmten Zieles führen, verwendet und basieren vornehmlich auf dem Situationskalkül [20]. Beispiele hierfür wären GOLOG (alGOL in LOGic) [19] oder ConGOLOG [7], das zusätzlich Nebenläufigkeit und den Einfluss externer Ereignisse einschließt. KnowRob [35] ist ein ebenfalls ein Wissensverarbeitungssystem speziell entwickelt für autonome Roboter, das bereits in ROS integriert ist.
3.
Konzept
Mit der Untersuchung der vergleichbaren Arbeiten wurde deutlich, dass diese dem Konzept der adaptiven und fehlertoleranten Messdatenaggregation und -Verarbeitung jeweils nur in bestimmten Teilbereichen genügt. Entsprechend beschreibt dieses Kapitel die Umsetzung des Konzeptes, wobei zum Teil zuvor genannte Ansätze aufgegriffen und erweitert wurden sowie für deren Verzahnung in einer Gesamtapplikation sichergestellt wurde.
3.1 Datenaustausch
3.2 Datenvalidität
Für die Beschreibung des Vertrauensniveaus eines Datensatzes wird im Rahmen dieser Arbeit der einfache Validitätswert, wie er im vorangegangenen Abschnitt vergleichbarer Arbeiten erwähnt wurde, auf eine zweiteilige Bewertung erweitert. Der einfache Validitätswert an sich beschreibt nämlich lediglich die Ausgabe einer oder mehrerer Fehlerdetektionsmethode(n), eine Unterscheidung hinsichtlich der Anwendung einzelner oder multipler Fehlererkennungsmechanismen ist nicht möglich. Entsprechend bleibt die Frage unbeantwortet, auf welche der oft spezifischen Fehlermodelle ein Datensatz den geprüft wurde und wie sehr man der Validitätsaussage vertrauen kann. Entsprechend wurde im Rahmen des MOSAIC-Frameworks zwischen statischer und dynamischer Validitätsaussage unterschieden. Während die dynamische Bewertung eine für jeden Datensatz berechnete Validität umfasst und damit den bereits beschriebenen Ansätzen entspricht, wird mit der statischen Validität ein Maß für die Güte des produzierenden Knotens bestimmt und eine Gültigkeitsaussage der dynamischen Einschätzung getroffen [30].
Die statische Validität ergibt sich dabei aus einer systematischen Untersuchung der möglichen Sensorfehler und der darauf zielenden, in der Verarbeitungskette integrierten Detektionsmethoden. Die Charakterisierung der Messfehler und ihrer Auswirkung erfolgt über deren relative Amplitude und die Auftretenswahrscheinlichkeit. In Ergänzung wird die Wirksamkeit der Detektionsmethode mit einer Detektionswahrscheinlichkeit für diesen Fehlertyp angegeben. Bei der Klassifikation der Fehler lehnt sich unser Ansatz an die Methoden der FMEA an und ordnet jeder der genannten drei Klassen eine Skale von 1 bis 10 zu [37]. Dafür wurde der Kriterienkatalog, wie er zum Beispiel für die Automobilindustrie in [39] genormt ist, auf die speziellen Merkmale der Sensorik angepasst. Letztendlich ergibt sich aber auch hier aus der Multiplikation der Skalenzuordnungen für geringwertige Messdaten ein statischer Validitätsfaktor von 1000 und für hochperformante Systeme von 1. Mit der systematischen Herleitung der Sensorsystembewertung anhand eines Kategorisierungskataloges ist die statische Validitätsaussage zwischen unterschiedlichen Sensoren vergleichbar. Die dynamische Bewertung, stellt darauf aufbauend den Output der in der statischen Validitätsuntersuchung analysierten Detektionsmethoden dar, wenn diese auf einen Datensatz angewendet werden. Der dynamische Validitätswert repräsentiert eine veränderliche, individuelle Bewertung eines jeden Datensatzes.
3.3 Datenbeschreibung
Auf der zweiten Ebene einer dynamischen Informationsverwertung ist die Abstraktion und Beschreibung der Messdaten durch eine geeignete Programmierabstraktion sicherzustellen. Aufbauend auf FAMOUSO wird diese Aufgabe durch das MOSAIC-Framework umgesetzt, das XML-basierte Datenblätter der Sensoren und Messdaten bereitstellt, die neben Maßeinheiten, Zeit- und Rauschverhalten eines Sensors auch dessen Überwachungsbereich und Datenformat festhalten. Die Beschreibungsdateien lassen sich ausgehend von einem integrativen, fehlertoleranten Programmiermodell in eine konkrete Implementierung unter C++, Python und Simulink für Sensorknoten oder Verarbeitungseinheiten überführen, wobei auch hier unterschiedliche Architekturen bedient werden. In jedem Fall greift der Nutzer in gleicher Weise auf physische Sensoren oder netzwerkbasierte Informationen zu. Eine Besonderheit dabei ist das umfassende Fehlertoleranzkonzept, das es erlaubt, jedem Datensatz neben verschiedenen Attributen eine Einschätzung seiner Gültigkeit anzufügen. Dieser Wert wird mit jedem Verarbeitungsschritt aus den in den Datenblättern enthaltenen Informationen zu möglichen Fehlern bestimmt. Dieser Gültigkeitswert wird von nachfolgenden Verarbeitungseinheiten als Gewichtung oder Selektionskriterium benutzt.
3.4 Datenförderation
In einer dritten Ebene werden diese multimodalen Informationen in ein virtuelles Abbild des Roboters, der Sensorik und seiner Umgebung überführt. Mit diesem in eine Physik-Engine eingebetteten Modell werden folgende Aufgaben umgesetzt:
1. Selektion – Ausgehend vom Zustand des Systems wird aufgabenbezogen die relevante Sensorik identifiziert, wobei auch die Validität der Daten Berücksichtigung findet
2. Plausibilitätschecks – Durch Abgleich der realen Sensorik mit dem virtuellen Gegenüber kann ein zusätzliches Maß an Fehlertoleranz umgesetzt werden
3. Errichtung von Sicherheitszonen – Sicherheitsbereiche können im Modell als virtuelle Hindernisse einfügt werden, die bei der Bewegungsplanung berücksichtigt werden
4. Kollisionserkennung – Mit dem Wissen um die aktuellen Bewegungsparameter ist eine Vorhersage von potenziellen Kollisionen und damit eine Beurteilung des Sicherheitszustandes umsetzbar
5. Planung – Durch die Simulation können Bewegungen und komplexe Handlungen in sich dynamisch verändernden Umgebungen geplant werden
4.
Beispielszenario
4.1 Aufbau
Um das Zusammenspiel der einzelnen Ebenen zu illustrieren, wurde das in Abbildung 1 dargestellte Szenario umgesetzt. Ein mobiler Roboter bewegt sich innerhalb einer instrumentierten Umgebung, dabei soll anhand der verfügbaren Sensoren eine möglichst präzise Positionsschätzung erfolgen. Der Roboter selbst ist lokal mit einer aus Kompass, Beschleunigungssensor, Gyroskop und Odometrie bestehendem Inertialsystem ausgestattet. Die Umgebung ist mit Sensorknoten versehen, die über unterschiedliche Prinzipien (Laser, Ultraschall, Infrarot) partiell die Position des Roboters erfassen. Die Positionen dieser Sensoren können beliebig verändert werden.
GP2Y0A2 Distanzsensor
Gyroskop
Laser Distanzsensor
Smart-X-Bot
GP2D120 Distanzsensor Odometrie
Abbildung 1: Demonstrationsszenario mit mobilem Roboter und instrumentierter Umgebung
Auf der Roboterplattform, die von einem 8-Bit-Mikrocontroller gesteuert wird, läuft die Middleware FAMOUSO, die übrigen Komponenten werden sind als ROS-Applikationen auf verschiedenen PCs ausgeführt. Für die Erfassung und Digitalisierung der stationären Sensoren wird eine Messdatenerfassungskarte benutzt, die in der Abbildung 1 im Vordergrund sichtbar ist. Alle Sensorkomponenten sind in einem Datenblatt definiert, das unter anderem die Parameter der Sensorkeulen umfasst, die in Abbildung 1 mit den Mitteln der Erweiterten Realität dargestellt werden, aber auch die darüber hinausgehenden, oben genannten sensoreigenen Charakteristika.
Die Aufgabe des Roboters besteht in der Umsetzung der über FAMOUSO übermittelten Bewegungskomman htung möglicher Hindernisse und der Bestimmung der aktuellen Position. Hindernisse können so
dos
unter Beac wohl
als reale Objekte oder aber im Modell als Sicherheitsbereiche virtuell vorliegen. Für die Anwendung ist es dabei unerheblich, ob der Ursprung einer Messung real oder virtuell ist.
Die beiden Screenshots in Abbildung 2 zeigen die Modellrepräsentation auf verschiedene Weise. In der linken Grafik wird eine rein virtuelle Darstellung des Roboters und der externen Sensorik mit realen Messwerten gezeigt. In der rechten Abbildung wird das Modell mit einem Kamerabild der Demonstrationsszenarios überlagert und damit eine visuelle Validierung ermöglicht. Gleichzeitig dient die kamerabasierte Lokalisation als Referenz für die Güte der adaptiven Positionsschätzung. Für die Umsetzung des Trackings wurde das bereits in ROS integrierte AR-Toolkit verwendet, das anhand des auf Abbildung 1 sichtbaren Markers die Position und Orientierung des Roboters bestimmt. Dieser ist entsprechend in Abbildung 2 unter seinem virtuellen Pendent zu erkennen.
Die farbliche Darstellung der Sensorik markiert das Ergebnis der modellbasierten Selektion, wobei graue Keulendarstellungen nicht in die Positionsbestimmung einbezogene Sensoren identifizieren. Die in der aktuellen Konfiguration dargestellten relevanten Sensoren sind der rot hervorgehobene Infrarot-Sensor (Sharp GP2Y0A2) und der grün hinterlegte Ultraschall-Sensor (Devantech SFR10). Analog zur schwankenden Anzahl der externen Sensoren, die in die Positionsbestimmung einbezogen werden verändert sich auch die Zahl der roboterlokal verfügbaren Sensoren. So kann beispielsweise das Gyroskop Drehraten nur bis zu einem bestimmten Maximalwert erfassen, der bei schnellen Drehungen des Roboters deutlich überschritten wird. Entsprechend werden den Messwerten dieses Sensors in dieser Situation geringe Validitätswerte zugeordnet, sodass diese von der weiteren Verarbeitung ausgeschlossen werden.
Für die Lokalisation wurde ein zweistufiger Kalman Filter verwendet, der auf der ersten Ebene die multimodalen Inertialmesswerte auf eine Positionsschätzung abbildet, um dann im zweiten Schritt die externen Sensormessungen zu integrieren. Wegen der variablen Zahl der verfügbaren Messdaten ist es notwendig den Filter permanent zu adaptieren, dabei werden die Messmatrix und die Kovarianzmatrix des Rauschens neu komponiert.
4.2 Ergebnisse
Abbildung 3 zeigt die Aufzeichnung der Position während eines Laufes entlang der Außenbegrenzung des Demoaufbaus. Die Breite der Linie illustriert die an den durchfahrenen Positionen für die Lokalisationsbestimmung genutzten internen (rot) und externen (blau) Sensoren. In diesem Experiment wurden vonseiten der internen Sensoren lediglich die Odometrie und das Gyroskop benutzt. Die permanent zur Verfügung stehenden Odometriedaten sind durch die dünne rote Linie sichtbar. Das Gyroskop ist wie zuvor angesprochen infolge von Sättigungseffekten nur für geringe Drehraten verwendbar, in den Kurvenbereichen und bei stochastischen Richtungsänderungen werden deren Messdaten verworfen. Der rote Linienzug zeigt dies mit dem Wechsel von schmalen und breiteren Bereichen. Die variable Integration der externen Sensorik wird insbesondere in der rechten unteren Ecke deutlich. Hier stehen, wie in Abbildung 3 zu sehen, vier Sensoren als externe Referenz zur Verfügung, sodass in diesem Bereich die maximal verfügbare Zahl von Sensoren (zwei interne + zwei externe) erreicht wird.
5.
Zusammenfassung und Ausblick
Das Beispielszenario illustriert den Einsatz einer mobilen Plattform, die mit Sensorgrundausstattung versehen Messdaten aus der intelligenten Umgebung nutzt, um damit die eigene Positionsschätzung zu verbessern. Damit zielt der hier verfolgte Ansatz auf Multi-Roboter-Szenarien, in denen zugunsten der Nutzung einer externen Sensorik auf teure individuelle Sensorsysteme verzichtet wird. Dabei wird die Zuordnung der externen Sensorik dynamisch umgesetzt, um der veränderlichen räumlichen Relevanz und der variablen Validität zu genügen. Damit wird eine maximale Güte der individuellen Zustandsschätzung bei gleichzeitiger Fehlertoleranz erreicht. Die vorliegende Arbeit stellt eine Anforderungsliste für eine solche adaptive Fusion vor und entwickelt ausgehend von dieser Analyse ein Konzept, dessen Umsetzung und Resultate in einem Evaluationsszenario untersucht wurden.
Literaturverzeichnis
[1] A. Avizienis, J.C. Laprie, and B. Randell. Fundamental concepts of dependability. Technical report, University of Newcastle upon Tyne, 2001.
[2] N. Bellotto and H. Hu. Multisensor-based human detection and tracking for mobile service robots. Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on, 39(1):167–181, 2009. [3] H. Bentez Pérez, J.L. Ortega Arjona, and G. Reza Latif Shabgahi. Definition and empirical evaluation
of voters for redundant smart sensor systems. Computación y Sistemas, 11:39 – 60, 9 2007.
[4] M. Blanke, M. Kinnaert, J. Schröder, J. Lunze, and M. Staroswiecki. Diagnosis and fault-tolerant control. Springer, Heidelberg, 2003.
[5] Wilfried Elmenreich, Stefan Pitzek, and Martin Schlager. Modeling Distributed Embedded Applications on an Interface File System. In Proceedings of the Seventh IEEE International Symposium on Object-Oriented Real-Time Distributed Computing (ISORC’04), pages 175–182, Vienna, Austria, 2004.
[6] P.M. Frank. Advances in observer-based fault diagnosis. In International Conference on Fault Diagnosis (TOOLDIAG), Toulouse, France, 1993.
[7] Giuseppe De Giacomo, Yves Lespérance, and Hector J. Levesque. Reasoning about concurrent execution, prioritized interrupts, and exogenous actions in the situation calculus. In 15th International Joint Conference on Artificial Intelligence (IJCAI-97), pages 1221–1226, San Francisco, 8 1997. Morgan Kaufmann Publishers.
[8] K.F. Goebel and A.M. Agogino. Fuzzy belief nets. International Journal of Uncertainty Fuzziness and Knowledge based Systems, 8(4):453–470, 2000.
[9] D. Hähnel, W. Burgard, and S. Thrun. Learning compact 3d models of indoor and outdoor environments with a mobile robot. Robotics and Autonomous Systems, 44(1):15–27, 2003.
[10] B. Hardekopf, K. Kwiat, and S. Upadhyaya. Secure and fault-tolerant voting in distributed systems. In Proceedings of IEEE Aerospace Conference, volume 3, 2001.
[11] A. Hermann. Fahrsituationsspezifische datenverteilung im verteilten umgebungsmodell für fahrzeugsoftware. Lecture Notes in Informatics. GI-Jahrestagung, Bremen: Gesellschaft für Informatik, pages 541–545, 2007.
[12] K. Hsiao, N. Mavridis, and D. Roy. Coupling perception and simulation: Steps towards conversational robotics. In Intelligent Robots and Systems, 2003.(IROS 2003). Proceedings. 2003 IEEE/RSJ International Conference on, volume 1, pages 928–933. IEEE, 2003.
[13] IEEE Standards Association. IEEE Standard for a Smart Transducer Interface for Sensors and Actuators (IEEE 1451.2), 1997.
[14] R. Isermann. Model-based fault-detection and diagnosis–status and applications. Annual Reviews in control, 29(1):71–85, 2005.
[15] N. Kaempchen, B. Schiele, and K. Dietmayer. Situation assessment of an autonomous emergency brake for arbitrary vehicle-to-vehicle collision scenarios. Intelligent Transportation Systems, IEEE Transactions on, 10(4):678–687, 2009.
[16] Jörg Kaiser, Sebastian Zug, Michael Schulze, and Hubert Piontek. Exploiting self-descriptions for checking interoperations between embedded components. In International Workshop on Dependable Network Computing and Mobile Systems (DNCMS 08), pages 41–45, Napoli, Italy, 10 2008.
[17] F. Koushanfar, M. Potkonjak, and A. Sangiovanni-Vincentelli. On-line fault detection of sensor measurements. In Proceedings of IEEE Sensors, volume 2, pages 974–979, 2003.
[18] A. Lampe and R. Chatila. Performance measure for the evaluation of mobile robot autonomy. In Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conference on, pages 4057–4062. IEEE.
[19] H.J. Levesque, R. Reiter, Y. Lespérance, F. Lin, and R.B. Scherl. GOLOG: A logic programming language for dynamic domains. The Journal of Logic Programming, 31(1-3):59–83, 1997.
[20] John McCarthy. Situations, actions, and causal laws. Technical report, Stanford University Artificial Intelligence Project, Stanford, California, 1963.
[21] R. Monson-Haefel and D.A. Chappell. Java message service. O’Reilly Media, 2001.
[22] G. Pardo-Castellote. Omg data-distribution service: Architectural overview. In Distributed Computing Systems Workshops, 2003. Proceedings. 23rd International Conference on, pages 200–206. IEEE, 2003. [23] L. Pike, J. Maddalon, P. Miner, and A. Geser. Abstractions for fault-tolerant distributed system
verification. Theorem Proving in Higher Order Logics, pages 185–193, 2004. [24] H. Piontek and Jörg Kaiser. Self-describing devices in cosmic. 2004.
[25] Galina L. Rogova and Vincent Nimier. Reliability in information fusion: literature survey. In In Proceedings fo the 7th international Conference on Information Fusion, pages 1158–1165, 2004. [26] D. Roy, K.Y. Hsiao, and N. Mavridis. Mental imagery for a conversational robot. Systems, Man, and
[27] R.B. Rusu, B. Gerkey, and M. Beetz. Robots in the kitchen: Exploiting ubiquitous sensing and actuation. Robotics and Autonomous Systems, 56(10):844–856, 2008.
[28] R.B. Rusu, Z.C. Marton, N. Blodow, M. Dolha, and M. Beetz. Towards 3d point cloud based object maps for household environments. Robotics and Autonomous Systems, 56(11):927–941, 2008.
[29] R.B. Rusu, Z.C. Marton, N. Blodow, A. Holzbach, and M. Beetz. Model-based and learned semantic object labeling in 3d point cloud maps of kitchen environments. In Intelligent Robots and Systems, 2009. IROS 2009. IEEE/RSJ International Conference on, pages 3601–3608. IEEE, 2009.
[30] Jörg Kaiser Sebastian Zug, André Dietrich. Fault-handling in networked sensor systems. In Gerasimos Rigatos, editor, Fault Diagnosis in Robotic and Industrial Systems. Concept Press Ltd., St. Franklin, AUS, 2011. submitted.
[31] A. Sharma, L. Golubchik, and R. Govindan. On the prevalence of sensor faults in real-world deployments. In Sensor, Mesh and Ad Hoc Communications and Networks, 2007. SECON’07. 4th Annual IEEE Communications Society Conference on, pages 213–222. IEEE, 2007.
[32] S.R. Sukumar, H. Bozdogan, D.L. Page, A.F. Koschan, and M.A. Abidi. Sensor selection using information complexity for multi-sensor mobile robot localization. In Robotics and Automation, 2007 IEEE International Conference on, pages 4158–4163. IEEE.
[33] S. Sumathi and P. Surekha. LabVIEW based advanced instrumentation systems. Springer Verlag, 2007. [34] H. Surmann, A. Nüchter, and J. Hertzberg. An autonomous mobile robot with a 3d laser range finder for
3d exploration and digitalization of indoor environments. Robotics and Autonomous Systems, 45(3-4):181–198, 2003.
[35] M. Tenorth and M. Beetz. Knowrob—knowledge processing for autonomous personal robots. In Intelligent Robots and Systems, 2009. IROS 2009. IEEE/RSJ International Conference on, pages 4261– 4266. IEEE, 2009.
[36] S. Thrun, W. Burgard, and D. Fox. A real-time algorithm for mobile robot mapping with applications to multi-robot and 3d mapping. In Robotics and Automation, 2000. Proceedings. ICRA’00. IEEE International Conference on, volume 1, pages 321–328. IEEE, 2000.
[37] Thorsten Tietjen and Dieter H. Müller. FMEA-Praxis. Hanser Verlag, August 2003.
[38] M. van der Meulen. On the use of smart sensors, common cause failure and the need for diversity. In 6th International Symposium of Programmable Electronic Systems in Safety Related Applications, Cologne, Germany, 5 2004.
[39] Verband der Automobilindustrie e.V. Qualitäsmanagement in der Automobilindustrie - Sicherung der Qualität vor Serieneinsatz. 1996.
[40] S. Vinoski. Corba: Integrating diverse applications within distributed heterogeneous environments. Communications Magazine, IEEE, 35(2):46–55, 1997.
[41] WillowGarage. ROS project website. http://www.ros.org. [(online), as at: 25.02.2010].
[42] E. Yoshida, C. Esteves, I. Belousov, J.P. Laumond, T. Sakaguchi, and K. Yokoi. Planning 3-d collision-free dynamic robotic motion through iterative reshaping. Robotics, IEEE Transactions on, 24(5):1186– 1198, 2008.
[43] H. Yu, R. Beard, and J. Byrne. Vision-based navigation frame mapping and planning for collision avoidance for miniature air vehicles. Control Engineering Practice, 18(7):824–836, 2010.
