Development of a human-robot interaction manufacturing task using the Baxter coworker.

Yuri Durodié
Jouw toekomstige collega is een blikopener.Human: "Can a robot write a symphony? Can a robot turn a canvas into a beautiful masterpiece?" Robot: "Can you?" in deze scene uit I robot is de inspecteur zeer sceptisch tegenover robots en noemt ze zelfs canners of blikopeners. In deze film wordt de maatschappij van de toekomst geschetst, waarin robots een plaats aan de zijde van de mensen innemen en hen helpen met alle dagdagelijkse taken. De film lijkt erg futuristisch maar we staan er dichter bij dan we denken.

Development of a human-robot interaction manufacturing task using the Baxter coworker.

Jouw toekomstige collega is een blikopener.

Human: "Can a robot write a symphony? Can a robot turn a canvas into a beautiful masterpiece?" Robot: "Can you?" in deze scene uit I robot is de inspecteur zeer sceptisch tegenover robots en noemt ze zelfs canners of blikopeners. In deze film wordt de maatschappij van de toekomst geschetst, waarin robots een plaats aan de zijde van de mensen innemen en hen helpen met alle dagdagelijkse taken. De film lijkt erg futuristisch maar we staan er dichter bij dan we denken.

Recentelijk zijn de “collaborative robots” of “cobots” ontstaan, robots gemaakt om ons te helpen als collegae.

In de hedendaagse industrie wordt al langer met robots gewerkt. Het meest bekend zijn de grote robotarmen, die in de auto industrie vaak met meerderen samen aan één auto werken.  

 

Figuur 1: Robotarmen die werken aan een auto.

Deze robots werken sneller en nauwkeuriger dan mensen, maar zijn ook erg kostelijk. Verder moeten ze afgeschermd worden van mensen en zijn ze moeilijk en enkel door specialisten te herprogrammeren. Deze nadelen zorgen ervoor dat kleine en middel grote ondernemingen (KMOs), die de ruggengraat van de Vlaamse economie vormen, niet snel investeren in robots. Hierdoor worden nog veel taken, die gemakkelijk door robots uitgevoerd kunnen worden, uitgevoerd door mensen; het verpakken van producten of zelfs het assembleren ervan.

CobotsRobots en mensen delen complementaire vaardigheden. Zo is de mens een geboren probleem oplosser, maar hebben we meestal moeite met het uitvoeren van precieze repetitieve taken, waar robots dan weer erg goed in zijn. Cobots zijn kleine goedkope robots die deze eigenschap maximaal proberen te benutten.

 

Figuur 2: YuMi; de nieuwe cobot van ABB, ontworpen voor de assemblage van elektronica.

Doordat cobots dicht bij de mensen zullen staan, zijn er 3 belangrijke aspecten: Veiligheid, bruikbaarheid en communicatie.

VeiligheidVeiligheid kan opgesplitst worden in 2 grote strategieën:  pre- en post-collision strategieën.

De pre-collision strategie moeten voorkomen dat de robot in botsing komt met mensen. Dit door te analyseren of een botsing zou kunnen plaatsvinden met behulp van sensoren zoals 3D camera's of sonars. Om een botsing te vermijden, verandert de robot van beweging.

Post-collision strategieën zijn voornamelijk gebaseerd op het beperken van de impact en dus de schade bij een mogelijke botsing. Dit gebeurt door het limiteren van snelheid en last alsook het gebruik maken van speciale hardware zoals meegevende soepele actuatoren.

 

CommunicatieDe interactie tussen robots en mensen is een belangrijk aspect voor cobots. Mensen communiceren voornamelijk door lichaamstaal, en in het bijzonder gezichtsuitdrukkingen. Zeker op een werkvloer waar veel lawaai is, is niet-verbale communicatie belangrijk. Het wijzen naar objecten, of gezichtsuitdrukkingen die aantonen dat men iets niet verstaat of dat men ergens niet mee akkoord is, zorgen voor een vlotte samenwerking.

Zo hebben sommige cobots gezichten gekregen, andere werken met gebaren om te wijzen naar objecten of om stop signalen te geven. 

 

Figuur 3: Gebarentaal voor robots.

Ook het kijken naar waar je gaat bewegen is een belangrijke vorm van communicatie.

Figuur 4: Gezichtsuitdrukkingen van de commerciële Baxter.

BruikbaarheidDe bruikbaarheid geeft aan hoe gemakkelijk de robot te herprogrammeren is. Huidige industriële robots hebben gespecialiseerde teams nodig om ze te herprogrammeren en dit duurt vaak enkele maanden. Dit is erg kostelijk en bovendien veranderen de producten in de KMOs vaak sneller dan dat. Waardoor snel herprogrammeren van een robot door niet hoog opgeleide mensen een must is.

Er bestaan verschillende technieken om het programmeren intuïtiever te maken.

Zo bestaat er leadthrough programing, waarbij de robot positie aanleert doordat de gebruiker de arm vastpakt en verplaatst naar de gewenste posities.  

Ook het gebruik van wizards om de gebruiker te helpen bij het configureren van functionele blokken is een techniek. Zo wordt het programmeren van robots even gemakkelijk als het installeren van software op computers.

EindwerkIn mijn thesis werd een framewerk ontworpen om gemakkelijk zo’n cobot een eenvoudige productie taak te laten uitvoeren. Het framewerk bestond uit drie grote delen.

De gebruikte cobot was de Baxter. 

 

 

Figuur 5: Hardware van de Baxter; sensoren (blauw), actuatoren (zwart) en indicatoren (groen).

In het eerste deel worden de verschillende objecten en hoe de robot deze moet vastpakken aangeleerd. Het oppakken van een object is voor de mens een triviale taak, we zien onmiddellijk in waar we een object moeten vastpakken zodanig dat we het stabiel en toch stevig kunnen vasthouden. Voor robots is dit echter niet zo gemakkelijk. Door de complementaire samenwerking kan de mens de robot aanleren hoe het een object moet vastpakken waarna de robot dit gemakkelijk kan herhalen.

 

 

Figuur 6: Diagram van het object aanleer gedeelte.

In het tweede deel maakt de gebruiker gebruik van zes voorgedefinieerde taken. Deze taken kunnen dan aan elkaar gepuzzeld worden om één globale taak te maken.

Figuur 7: Diagram van het taak aanleer gedeelte.

In het laatste deel voert de robot de taak uit die hem werd aangeleerd. In dit stuk kan de robot aan de gebruiker signaleren als er iets mis. 

 

Figuur 8: Diagram van het uitvoer gedeelte.

Om de robot makkelijk programmeerbaar te maken werd een combinatie van wizard based programing en de leadthrough programing gebruikt. De Wizard wordt ook gebruikt om te voorkomen dat logische fouten gemaakt worden; zoals het plaatsen van een object als er voordien geen object was vastgepakt.

 

Figuur 9: Voorbeeldscherm van de wizard.

TestHet framewerk werd ook getest door een vijftal personen die maar zeer beperkt konden programmeren. Er werd hen gevraagd om de robot aan te leren een shape game te spelen, waarbij de robot een object moest vinden in een gebied, dit object moest oppakken en het met de juiste oriëntatie in een doos moest steken. De gemiddelde tijd om de robot te programmeren tot het correct uitvoeren van één spelletje duurde ongeveer 11 minuten.

 

Figuur 10: Testopstelling.

Cobots zullen hierdoor meer en meer gebruikt worden. Vandaag in de industrie om blikken te stapelen, morgen in je huis om de blikken te openen...

Yuri Durodié

Bibliografie

[1] Jane Shi, Glenn Jimmerson, Tom Pearson, and Roland Menassa. Levels of human and robot collaboration for automotive manufacturing. In Proceedings of the Workshop on Performance Metrics for Intelligent Systems, PerMIS ’12, pages 95–100, New York, NY, USA, 2012. ACM.[2] G.F. Rossano, C. Martinez, M. Hedelind, S. Murphy, and T.A. Fuhlbrigge. Easy robot programming concepts: An industrial perspective. In Automation Science and Engineering (CASE), 2013 IEEE International Conference on, pages 1119–1126, Aug 2013.[3] Computing Community Consortium et al. A roadmap for us robotics: From internet to robotics. 2009. [4] Duhamel et al. ”rethink robotics - finding a market” stanford casepublisher 204-2013- 1. 20 may 2013. [5] Krishnanand N Kaipa, C Morato, Jiashun Liu, and Satyandra K Gupta. Human-robot collaboration for bin-picking tasks to support low-volume assemblies. In Human-Robot Collaboration for Industrial Manufacturing Workshop, held at Robotics: Science and Systems Conference (RSS 2014), 2014.[6] http://www.spectrum.ieee.org/robotics/industrial-robots/rethink-robotic… worker. Ieee spectrum site.[7] Scott A Green, Mark Billinghurst, Xiaoqi Chen, and GJ Chase. Human-robot collaboration: A literature review and augmented reality approach in design. University of Canterbury. Human Interface Technology Laboratory., 2008.[8] Stefanos Nikolaidis, Przemyslaw Lasota, Gregory Rossano, Carlos Martinez, Thomas Fuhlbrigge, and Julie Shah. Human-robot collaboration in manufacturing: Quantitative evaluation of predictable, convergent joint action. In Robotics (ISR), 2013 44th International Symposium on, pages 1–6. IEEE, 2013.[9] Terrence Fong, Charles Thorpe, and Charles Baur. Collaboration, dialogue, humanrobot interaction. In Robotics Research, pages 255–266. Springer, 2003.[10] Carlos Morato, Krishnanand N Kaipa, Boxuan Zhao, and Satyandra K Gupta. Toward safe human robot collaboration by using multiple kinects based real-time human tracking. volume 14, page 011006. American Society of Mechanical Engineers, 2014.[11] Dana Kulić and Elizabeth Croft. Pre-collision safety strategies for human-robot interaction. volume 22, pages 149–164. Springer, 2007. [12] Michael A Goodrich and Alan C Schultz. Human-robot interaction: a survey. Foundations and trends in human-computer interaction, 1(3):203–275, 2007.[13] Robotiq collaborative robot ebook, fifth edition. 70[14] Luis Montesano, Manuel Lopes, Alexandre Bernardino, and José Santos-Victor. Learning object affordances: From sensory–motor coordination to imitation. volume 24, pages 15–26. IEEE, 2008. [15] C Fitzgerald. Developing baxter. In Technologies for Practical Robot Applications (TePRA), 2013 IEEE International Conference on, pages 1–6. IEEE, 2013.[16] Thomas Lens, Jürgen Kunz, Oskar von Stryk, Christian Trommer, and Andreas Karguth. Biorob-arm: A quickly deployable and intrinsically safe, light-weight robot arm for service robotics applications. In Robotics (ISR), 2010 41st International Symposium on and 2010 6th German Conference on Robotics (ROBOTIK), pages 1–6. VDE, 2010.[17] Hoang-Long Cao, Pablo Gómez Esteban, Albert De Beir, Ramona Simut, Greet Van de Perre, Dirk Lefeber, and Bram Vanderborght. Robee: A homeostatic-based social behavior controller for robots in human-robot interaction experiments.[18] R v Ham, Thomas G Sugar, Bram Vanderborght, Kevin W Hollander, and Dirk Lefeber. Compliant actuator designs. volume 16, pages 81–94. IEEE, 2009.[19] Matteo Laffranchi, Nikolaos G Tsagarakis, and Darwin G Caldwell. A variable physical damping actuator (vpda) for compliant robotic joints. In Robotics and Automation (ICRA), 2010 IEEE International Conference on, pages 1668–1674. IEEE, 2010.[20] Sami Haddadin, Alin Albu-Schaffer, and Gerd Hirzinger. The role of the robot mass and velocity in physical human-robot interaction-part i: Non-constrained blunt impacts. In Robotics and Automation, 2008. ICRA 2008. IEEE International Conference on, pages 1331–1338. IEEE, 2008.[21] Tobias Ende, Sami Haddadin, Sven Parusel, T Wusthoff, Marc Hassenzahl, and A Albu-Schaffer. A human-centered approach to robot gesture based communication within collaborative working processes. In Intelligent Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on, pages 3367–3374. IEEE, 2011.[22] Brian Gleeson, Karon MacLean, Amir Haddadi, Elizabeth Croft, and Javier Alcazar. Gestures for industry: intuitive human-robot communication from human observation. In Proceedings of the 8th ACM/IEEE international conference on Human-robot interaction, pages 349–356. IEEE Press, 2013.[23] http://www.ni.com/pdf/manuals/372668d.pdf.[24] Rainer Bischoff, Arif Kazi, and Markus Seyfarth. The morpha style guide for icon-based programming. In Robot and Human Interactive Communication, 2002. Proceedings. 11th IEEE International Workshop on, pages 482–487. IEEE, 2002.[25] Image from site: http://new.abb.com/products/robotics/robotstudio/tutorials.[26] Baxter research robot specification and datasheet [hardware v1.0, sdk v1.0.0].[27] Robot operating system, http://www.ros.org/ [28] Api reference tree for baxter, http://api.rethinkrobotics.com/ baxter_interface/html/index.html.[29] Sthitapragyan Parida, Juan Pablo Wachs, and Maria Eugenia Cabrera. Dynamic surgical tool tracking and delivery system using baxter robot. 2014.[30] Matthew P DeDonato, Velin D Dimitrov, and Taskin Padir. Towards an automated checked baggage inspection system augmented with robots. In SPIE Defense+ Security, pages 90740N–90740N. International Society for Optics and Photonics, 2014.[31] Image from site: http://new.abb.com/products/robotics/yumi.[32] Luc Steels. Course : Artificial intellegence : Programing paradigms. Vrije Universiteit Brussel, 2014.[33] Luc Devroye and Terry J Wagner. Nearest neighbor methods in discrimination. volume 2, pages 193–197, 1982.[34] Image from site: http://www.aceultimatedisc.com/red_ultra_star.html.[35] Bart De Vylder and Karl Tuyls. How to reach linguistic consensus: A proof of convergence for the naming game. volume 242, pages 818–831. Elsevier, 2006.[36] Richard Hartley and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.[37] A Ashbrook and NA Thacker. Tutorial: Algorithms for 2-dimensional object recognition. 1998.[38] Roberts Cross. Canny edge detector. Algorithm Designs, page 39.[39] Opencv tutorials for python, http://opencv-pythontutroals.readthedocs.org/en/latest/py_tutorials/py_… /py_table_of_contents_imgproc/py_table_of_contents_imgproc.html.[40] Karen Villaverde and Vladik Kreinovich. A linear-time algorithm that locates local extrema of a function of one variable from interval measurement results. volume 4, pages 176–194, 1993.[41] Michael Van Damme. Course: Robotics. Vrije Universiteit Brussel, 2014.[42] Sdk of baxter, http://sdk.rethinkrobotics.com/.[43] Openrave, http://openrave.org/.[44] Image from site: http://www.edinburgh-robotics.org/.[45] Mail with rethink robotics on 9 april 2015. 2015.[46] Unified robot description format, http://wiki.ros.org/urdf.[47] Tf, http://wiki.ros.org/tf.[48] Image from site: http://www.nationalautismresources.com/wooden-shape-sortingcube.html.

Universiteit of Hogeschool
Electromechanical engineer
Publicatiejaar
2015