🔍

The body is the controller – with p5.js and machine learning ml5

Machine Learning Algorithmen sind in der Lage diverse Körperposen und Bewegungsabläufe zu erkennen. Dies auch mittlerweile mit handelsüblichen Geräten. Das gezielte Ersetzen der Maus oder Tastatur mit Ganzkörperposen oder Gesten klingt im ersten Moment wie ein Gag – kann aber mit der richtigen Kuration die Körpervitalität und das allgemeine Wohlbefinden steigern.

POSENET ist ein Kernsystem aus machine learning modulen um aus einfachem videofeed posen herauszulesen:
https://github.com/shiffman/pose_estimation

HEAD JOYSTICK

RAW CAMERA BASED center of face dient als joystick. kann als cursor oder als key command – up down left right benutzt werden. hier eine rohe demo:

TRY
FORK

HEAD PONG

Der Kopf im Videobild kann erkannt werden und wie eine Form des Mauszeigers verwendet werden. Im Beispiel muss der anderen Kreatur ausgewichen werden. Move it!


TRY

SIMPLE POSE WORKOUT

Auf Basis von erkannten Posen kann eine audivisuelle Applikation für Fitness sorgen. Das System basiert auf Tensorflow / Teachable Machines.

TRY
FORK