AutoModal: Automatisierung auf Binnenterminals

Achtung Mensch – Kranautomatisierung auf Binnenterminals

Das AutoModal-Projekt widmet sich der Automatisierung eines Portalkrans, der unter der Prämisse „Mensch am Terminal“ prototypisch umgebaut wird. Er soll eigenständige, automatisierte Prozesse durchführen können. Dabei muss die Sicherheit von Personen zu jeder Zeit gewährleistet sein.
Durch die Verlagerung der Transporte auf Bahn- und Schiffsverkehr und weg von der Straße wird der Ausstoß von CO2 erheblich vermindert und somit eine nachhaltigere Logistik erreicht.
Fehlende Schnittstellen-Standards führen aktuell zu erhöhtem Aufwand im Kranbetrieb. Aus diesem Grund wollen wir die Grundlage für eine generalisierte Kransteuerung schaffen.

Wir befinden uns in Wörth am Rhein, genauer gesagt an Rheinkilometer 365. Hier im Hafen liegt das Contargo Binnenterminal Wörth und dort ist auch der Schauplatz unseres AutoModal Testaufbaus.

Projektpartner

Zusammen mit den Projektpartnern dem Verbundkoordinator Contargo GmbH & Co. KG, Duisburg und dem Fraunhofer-Institut für Materialfluss und Logistik IML, Dortmund entwickelt synyx eine sichere und automatisierte Logistik-Abwicklung. Gefördert wird das Projekt vom Bundesministerium für Verkehr und digitale Infrastruktur im Rahmen von IHATEC (Innovative Hafentechnologien).

Ausgangslage

Logistik-Transporte haben ihren Schwerpunkt mit einem Anteil von 76 % auf der Straße, Bahn- und Schiffsverkehr sind dagegen bei weitem noch nicht ausgelastet und bieten daher noch viel Potential, mehr Container zu bewegen.
Durch die Automatisierung der Be- und Entladung von Containern und der Lageroptimierung kann eine Verlagerung der Transporte weg von der Straße hin zu Bahn und Binnenschiffen erreicht werden. Das sorgt für weniger Verkehr auf den Straßen und spart eine erhebliche Menge CO2 ein.
Auf großen Umschlagterminals ist die Digitalisierung bestimmter Prozesse bereits fortgeschritten. Es gibt jedoch einige Besonderheiten, die diese Abläufe nicht ohne Weiteres auf Binnenterminals übertragbar machen.
Betrachten wir unser Contargo Testterminal in Wörth. Die Lage in der Nähe eines Naturschutzgebietes und die dichte Bebauung sorgen, wie bei vielen anderen Hinterlandterminals auch, für begrenzte Expansionsmöglichkeiten.

Herausforderungen

Durch die baulichen Gegebenheiten am Terminal im Hinterland kann nicht ganz ausgeschlossen werden, dass sich dort Personen aufhalten.
Die Schiffscrews, die auf den Schiffen leben, nutzen den Beladevorgang gerne, um Landgänge zu unternehmen. Hierbei können sie in den Arbeitsbereich der Verladekräne gelangen.
Menschen am Terminal sind somit eine Herausforderung, der wir uns stellen müssen. Daher liegt unser oberstes Ziel bei der Digitalisierung der Logistik-Prozesse im Schutz von Menschen, hierbei kommt modernste Sensortechnik zum Einsatz.
Etliche Prozesse laufen derzeit noch größtenteils manuell ab. Das führt dazu, dass Container zum Teil ungünstig abgestellt werden, sich Abläufe verzögern und der vorhandene Raum nicht optimal genutzt wird.
Undefinierte Schnittstellen im Kranbetrieb stellen eine weitere Hürde dar. Sowohl beim Bezug neuer Kräne, als auch bei bestehenden Kränen, erschwert sich die Bedienung durch uneinheitliche, technische Gegebenheiten. Wir wollen mit unserer Arbeit auch die Grundlage für eine generalisierte Kransteuerung schaffen.

Anforderungen an die Technologien

Zu Beginn des Projekts wurden bestehende Lösungen und Techniken für unser Vorhaben gesucht und bewertet.
Zum einen war es wichtig, Hardware zu finden, die offene Standards vertritt statt neue, spezielle Formate in den Vordergrund zu stellen. Zum anderen galt es, robuste Geräte zu identifizieren, die folgenden Anforderungen gerecht werden müssen:

• die Sensoren müssen bei hohen / niedrigen Temperaturen arbeiten
• die Gehäuse müssen gegen das Eindringen von Feuchtigkeit und Staub geschützt sein
• der Sensor, der auf Bodenhöhe angebracht wird, muss mindestens 10 m Reichweite haben

Wir entschieden uns nach ersten Erkenntnissen für eine Kombination aus Video- und Wärmebild-Kameras (Computer-Vision) sowie zusätzlichen Lidar-Sensoren (Light detection and ranging), um die Erkennung von Personen zu ermöglichen. Das Zusammenspiel dieser verschiedenen Erkennungsarten, auch Sensorfusion genannt, nimmt im Projekt eine zentrale Rolle ein.

Erster Funktionstest

Mit den eingetroffenen Geräten wurden erste Tests in Büroräumen durchgeführt, um die Systeme umfänglich auf ihre Tauglichkeit zu überprüfen. Von einfachen Bildern, bis hin zu hochauflösenden Videos wurden verschiedenste Aufnahmen durchgeführt. Der erste Funktionstest des gewählten Sensor-Setups wurde erfolgreich abgeschlossen, was uns im nächsten Schritt an den eigentlichen Ort des Geschehens geführt hat.
Nun galt es, das gewählte System am Kran in Wörth zu installieren, um weitere Versuche unter realen Bedingungen zu ermöglichen. Damit wir möglichst flexibel agieren konnten, wurden die ersten Sensoren zunächst nur provisorisch montiert. Nach einer Überprüfung konnten wir sie im weiteren Verlauf dauerhaft anbringen.

Personenerkennung

Die erste Abbildung zeigt, dass die Sensoren auf Bodenhöhe sehr gute Ergebnisse lieferten, was sich an den Erkennungsraten der jeweiligen Personen ablesen lässt.

Aus einer anderen Position sanken die Erkennungsraten deutlich. Das lag im Wesentlichen daran, dass die zu Grunde liegenden Personen-Muster, die Perspektive aus der Höhe eines Terminalkrans noch nicht kannten. Dies ist darauf zurückzuführen, dass bereits verfügbare Lerndaten, hauptsächlich aus Projekten stammen, die sich dem Einsatz in Straßenfahrzeugen widmeten. Durch gezieltes Training der neuronalen Netze aus der Kranhöhe lässt sich diese relevante Lücke schließen.
Die besonderen Gegebenheiten führen dazu, dass die Daten aus Wärmebild- und Farbbildkameras allein nicht für eine zuverlässige Personenerkennung ausreichen. Diese erreichen wir nur durch die Erweiterung um die Lidar-Sensoren, die zusätzliche Daten erzeugen.

Nächste Schritte

Sensorkonzept erweitern
Einer der nächsten Schritte sieht die Erweiterung des Sensorkonzepts vor, was einen vollausgestatteten Kran vorraussichtlich auf eine Menge von 8 Lidar-Sensoren, 12 Farbbild- und 8 Wärmebildkameras bringt.

Sensorfusion
Mit der Sensorfusion steht ein weiterer wichtiger Punkt an, denn erst die Zusammenführung der unterschiedlichen Sensor-Daten ermöglicht es dem System, seine Erkennungsraten in allen gegebenen Szenarien zu optimieren. Eine Interpretation aus gesamtheitlicher Sicht führt zu präziseren Aussagen, da bestehende Schwachstellen der jeweiligen Systeme von anderen Technologien ausgeglichen werden können. Auf diese Weise lassen sich zukünftig genaue Grenzbereiche ermitteln, in denen Terminal-Mitarbeiter ungehindert und sicher arbeiten können.

Testszenarien
Die bereits erwähnten Szenarien werden erweitert, damit wir unser neuronales Netz mit möglichst vielen Situationen konfrontieren können, um diese dauerhaft anzulernen. Helme, Kisten oder Winterkleidung können die menschliche Silhouette so verfremden, dass sie von den Systemen nur noch schwer erkannt wird. Auch muss die Personenerkennung trotz des eingeschränkten Sichtfelds verlässlich in den engen Gassen zwischen den gestapelten Containern funktionieren.

Open Source Kranschnittstelle
Die Ansteuerung für Krananlagen verschiedener Hersteller muss individuell erstellt werden, da es keinen genormten Zugang gibt. Daher ist unser Ziel eine einheitliche und standardisierte Schnittstelle. Unsere Ergebnisse werden unter Open-Source-Lizenz öffentlich zur Verfügung gestellt. Wichtig ist uns hierbei, Akzeptanz zu schaffen und eine aktive Mitgestaltung zu ermöglichen.

Facts

Projektlaufzeit: 03/2019 – 02/2022

Projektpartner: Contargo GmbH & Co. KG, Fraunhofer-Institut für Materialfluss und Logistik IML

Förderung: Bundesministerium für Verkehr und digitale Infrastruktur im Rahmen von IHATEC (Innovative Hafentechnologien)

Eingesetzte Technologien: Video- und Wärmebildkameras (Computer Vision), Lidar-Sensoren