Kinect + Projector experiments

Using Padé projection mapping to calibrate Kinect’s 3D world with a projector.

  1. Using the kinect camera, we can scan a 3D scene in realtime.
  2. Using a video projector, we can project onto a 3D scene in realtime.

Combining these, we re-project images onto geometry to create a new technique for augmented reality

Previous videos (for process)

YouTube Preview Image YouTube Preview Image YouTube Preview Image

The pipeline is:

  1. Capture Depth at CameraXY (OpenNI)
  2. Convert to image of WorldXYZ
  3. Pade transformation to create WorldXYZ map in ProjectorXY
  4. Calculate NormalXYZ  map in ProjectorXY
  5. Guassian Blur X of NormalXYZ in ProjectorXY
  6. Guassian Blur Y of NormalXYZ in ProjectorXY
  7. Light calculations on NormalXYZ, WorldXYZ maps in ProjectorXY


12 Responses to “Kinect + Projector experiments”

  1. Kinect-Augmented Reality, as Projection Mapping Meets Depth Sensing (Hint: It’s Awesome) Says:

    blogpost on Create Digital Motion

  2. Kimchi and Chips blog » Blog Archive » Kinect + Projector experiments – media and arts technology Says:

    blogpost on qmat

  3. kinectとプロジェクターで波動拳 | Tom-Style Says:

    [...] kimchiandchips via [...]

  4. Augmented Reality mit Kinect und Projektor: Hadouken! - Kinect Says:

    [...] Kimchi and Chips zeigen uns, was mit eine Kombination aus Kinect und einem Projektor möglich ist: Elliot – offensichtlich genannt “Chips” – verwandelt seinen Arm in eine virtuelle Fackel und zeigt dann einige beeinruckende Licht- und Schattenspielereien. Grundlage des System ist ein Mapping des vom Projektor erzeugten Bildes auf die von Kinect erfassten Raumkoordinaten. Der Projektor erzeugt dann eine virtuelle Lichtquelle an der Stelle im Raum, wo sich die Hand des Nutzers befindet. Erkennt Kinect nun, dass sich andere Oberflächen im nur – theoretisch vorhandenen Lichtschein – der virtuellen Fackel befinden, so wird die entsprechende Oberfläche beleuchtet. Der Projektor vergrößert also den beleuchteten Bereich um die getrackte Hand herum, aber nur dort, wo sich wirklich eine Oberfläche befindet. Elliot demonstriert dies an der Wand, der Decke und an seinem eigenen Körper, was eigentlich interessanter ist, da dieser keine simple Form aufweist. [...]

  5. Luis Rodriguez Says:

    muy bueno :)

  6. The Lemonary » Nearness Says:

    [...] points there. The NITE skeleton tracking component is available for OSX, as is the OSCeleton code. Kimchi and Chips have videos showing the promise of motion tracking + projection [...]

  7. State of the art I – Object recognition with Kinect | mapinect Says:

    [...] Street Fighter fireball effect with virtual dynamic light source. For more information go to the Kimchi and Chips’ blog [...]

  8. Kinect hacks get all surgical and hadouken | VG247 Says:

    [...] Elliot’s videos through here in case the description above confused you a [...]

  9. Kinect + Projector experiments « Arch Comp Project Says:

    [...] Online references: [...]

  10. B.K. Says:

    Hey, is the sourcecode for this available?
    If not, did you do this for the official sdk from microsoft?

  11. elliot Says:

    @BK – check for source / examples / text / explanation video

    kinect interfacing was performed with OpenNI

  12. Mauricio(México) Says:


Leave a Reply