Projets CRéACTIFS!

Ren­trez dans le jeu::Rentrez dans le jeu — Expéri­ence inter­ac­tive avec la caméra Kinect par Jonathan Schoreels, étudi­ant au pre­mière année de mas­ter en sci­ences infor­ma­tiques, présen­tée lors du Print­emps des Sci­ences 2013 à l’Université de Mons. Le tra­vail a été effec­tué dans le cadre d’un pro­jet d’informatique, co-dirigé par le Prof. Tom Mens et Romuald Deshayes du Ser­vice de Génie Logi­ciel, Départe­ment d’Informatique de a Fac­ulté des Sci­ences de l’UMONS. Ce tra­vail s’inscrit dans le cadre de l’Institut de Recherche Numediart.

ViStyl::La créa­tion de film comme Qui veut la peau de Roger Rab­bit » fait à la fois inter­venir un monde réel et un monde imag­i­naire qui est représenté sous forme de dessin animé (car­toon). Le pro­jet va con­sis­ter à dévelop­per des méth­odes (sous OpenCV) qui per­me­t­tent de con­ver­tir une par­tie ou l’entièreté de la vidéo en une autre dont le rendu ou le con­tenu est non-photoréaliste.
Niveau : BA3-MA-TFE
Respon­s­ables : De Beul Dominique, Thierry Dutoit

iMARELLE::En asso­ci­a­tion avec une étudi­ante de l’Ecole des Beaux-Arts de Tour­nai et de son pro­fesseur (Gre­gory Delaunois), ce pro­jet vise à la mise au point d’une instal­la­tion artisi­tique basée sur le principe de la marelle. L’interactivité sera gérée par une caméra kinect (con­nec­tée à Pro­cess­ing via la librairie Sim­pleOpenNI), qui détecterait la posi­tion x,y du pied du joueur, et déclencherait des séquences audio­vi­suelles. L’Ecole des Beaux Arts gèr­era les aspects artis­tiques, et l’UMONS s’occupera des aspects tech­niques. Résul­tat pro­fes­sion­nel garanti, vu l’association des com­pé­tences. (La vidéo ci-dessus donne une idée du principe fonc­tion­nel de l’installation. Le coté artis­tique sera plus développé dans ce pro­jet.)
Niveau BA2
Respon­s­ables X. Siebert (UMONS), J. Leroy (UMONS), G. Delaunois (EBAT), T. Dutoit (UMONS)

Data-loging::Objectif: Sauver à inter­valle régulier sur carte mémoire les valeurs des deux cap­teurs.
Pro­mo­teur : C. Valder­rama, D.Binon
Étudi­ants : 2
Back­ground : pro­gram­ma­tion C et Flow­Code
Matériel : Sim­ius, cap­teur de lumière, cap­teur de tem­péra­ture et lecteur de carte SD.
Niveau : BA2 et BA3

Thingstrument::Tout objet peut devenir un instru­ment de musique, à con­di­tion d’être cou­plé à un ou des cap­teurs, et qu’un « map­ping » sub­til ait pu être mis au point entre la sor­tie de ce cap­teur et les paramètres de con­trôle d’un syn­thé­tiseur musi­cal (qu’on réalis­era ici dans Pure­Data sur le principe de la syn­thèse FM, con­trôlé par un ou des cap­teurs branchés sur une carte arduino, typ­ique­ment un micro piez­zoélec­trique ou un micro­phone con­den­sa­teur de con­tact).
Niveau : BA2
Respon­s­ables : T. Dutoit, T. Todoroff

SPEAKDUINO::Le but de ce pro­jet sera de cou­pler la carte arduino à un chip de syn­thèse sonore, relié à l’arduino par son port série. Le chip sera le Speak­jet (http://magnevation.com/SpeakJet.swf et https://www.sparkfun.com/products/9578), que l’on pourra se pro­curer ici : http://www.speechchips.com/shop/item.aspx?itemid=6. Le pro­jet per­me­t­tra aux étudi­ants de mieux com­pren­dre dévelop­per leurs con­nais­sances en élec­tron­ique, et en com­mu­ni­ca­tion série. Une fois le cir­cuit réal­isé, on pourra exam­iner com­ment y associer une inter­face physique pour com­man­der le sys­tème de manière inter­ac­tive. Ce pro­jet est stricte­ment réservé à un groupe dont au moins un des mem­bres pra­tique déjà l’électronique en ama­teur.
Niveau : BA3
Respon­s­able : T. Dutoit et T. Todoroff

Robot roulant::Matériel : Sim­ius, DX4 ou Pololu (deux moteurs, carte de puis­sance), récepteur/émetteur RC5.
Objec­tif: Com­man­der avec une télé­com­mande, les déplace­ments du robot
Pro­mo­teur : C. Valder­rama, D.Binon
Étudi­ants : 2
Back­ground : pro­gram­ma­tion C ou Flow­Code
Niveau : BA2 et BA3

ToysAreOurs::Ce pro­jet pro­pose de réin­ve­stir les objets élec­tron­iques (en dys­fonc­tion­nement ou pas) pour les détourner et les doter d’un usage nou­veau. Cette démarche est dou­ble: d’un côté, répon­dre et con­tre­car­rer ce sys­tème qui con­traint les objets qui nous entourent à un des­tin défini, et d’un autre côté, manip­uler et maîtriser les savoirs et tech­niques enfouis dans ces objets au quo­ti­dien, et qui nous parais­sent sou­vent obscures. Nous pren­drons des jou­ets d’enfants et nous les détournerons pour en faire des jou­ets recon­fig­urables à l’infini.
Niveau : BA2 = préreq­uis « con­nec­tions »
Respon­s­able : Cécile Picard-Limpens & François Rocca

CollabMusic::Concevoir et jouer de la musique est sou­vent une activ­ité qui rassem­ble, qu’elle soit dans le jeu ou dans l’écoute. L’objectif ici est de présen­ter la com­po­si­tion sonore sim­ple­ment comme un agence­ment tem­porel de sons à ampli­tudes ajustées. Nous souhaitons ici créer un sys­tème qui favorise la musique col­lab­o­ra­tive, dans la con­cep­tion mais aussi dans la pro­duc­tion. Nous nous attacherons à con­cevoir un sys­tème per­me­t­tant de con­stru­ire une musique où cha­cun s’attribue un instument/son à par­tir d’une bib­lio­thèque prédéfine, d’enregistrer le résul­tat sonore obtenu, et enfin de le stocker dans une base de don­nées. En outre, chaque pro­duc­tion sonore créée pourra être reprise à tout moment pour être con­tin­uée, gar­dant en mémoire les ver­sions suc­ces­sives des pro­duc­tions sonores.
Niveau : BA3 = préreq­uis « pro­gram­mac­tions »
Respon­s­able : Cécile Picard-Limpens

Bras robot ::Objec­tif: Com­mande d’un bras robot par des cap­teurs (accéléromètre, gyro­scope, but­tons) détec­tant le mou­ve­ment effec­tués par la main (Nunchuk).
Pro­mo­teur : C. Valder­rama, D.Binon
Étudi­ants : 2
Matériel : Sim­ius, bras robot 6-axes, Nunchuk.
Back­ground : pro­gram­ma­tion C, Flow­code,
Niveau : BA2 et BA3

Multi Touch Cloud::Ce pro­jet con­siste à trans­former n’importe quelle sur­face en une sur­face multi-point, c’est-à-dire quelque chose sem­blable à l’écran d’un iPad. Le pro­jet se déroulera en deux temps. En pre­mier lieu, vous analy­serez les images émises par la Kinect pour y iden­ti­fier tous les éléments proches d’une sur­face don­née. En deux­ième lieu, vous con­stru­irez une inter­face basique per­me­t­tant de manip­uler des images et des vidéos que vous relierez à l’analyse.
Niveau : BA2
Respon­s­able : Thierry Dutoit, François Zajéga

Vir­tual Fit­ting Room::Ce pro­jet vous per­me­t­tra de décou­vrir les dif­férents apsects d’une cab­ine d’essayage virtuelle digne de ce nom. Sur base de la kinect et de la détec­tion de squelette d’OpenNI, vous dévelop­perez une inter­face util­isa­teur per­me­t­tant la sélec­tion de vête­ments, cha­peaux, sacs, et autres acces­soires. Une fois ces objects sélec­tion­nés, vous les super­poserez de manière opti­male sur la représen­ta­tion de la per­sonne util­isant le sys­tème.
Niveau : BA2/BA3
Respon­s­able : Thierry Dutoit, François Zajéga

KINECTOID::Ce pro­jet con­sis­tera à fab­rique dans un pre­mier temps un buste robo­t­isé con­trôlé par des ser­vo­mo­teurs. Ensuite ce buste robo­t­isé imit­era les mou­ve­ments d’une per­sonne. Ces mou­ve­ments seront obtenus par l’intermédiaire de la Kinect et seront trans­mis à une carte Arduino capa­ble d’actionner des ser­vo­mo­teurs pour faire les bras du robot. Tech­nolo­gie infor­ma­tique : Arduino/Processing/ Kinect.
Niveau : BA2
Respon­s­able : F. Rocca, O. Verlinden

PROJECTION SUR LES MASQUES::Pour le 175è anniver­saire de la FPMs l’idée de faire en sorte que le vis­i­teur soit accueilli par les fon­da­teurs Guibal et Dev­illez « en per­sonne » a été pro­posée. Le dis­posi­tif serait iden­tique à celui mis en œuvre par Denis Maleau : Denis Mar­leau (Voir lien ci-dessous). Le pro­jet aura pour but d’analyser les méth­odes per­me­t­tant de réaliser une pro­jec­tion sur buste ainsi que les con­traintes liées au buste util­isé. La final­ité du pro­jet sera la réal­i­sa­tion d’un pro­to­type fonc­tion­nel. Tech­nolo­gie infor­ma­tique : Traite­ment vidéo/Projection.
Niveau : BA3
Respon­s­able : F.Rocca, M.Dumenil, T.Dutoit

I SEE YOU::Ce pro­jet con­sis­tera à met­tre au point un vis­age robo­t­isé sim­pli­fié capa­ble de suivre des yeux une per­sonne. La posi­tion de la per­sonne sera obtenue par l’intermédiaire de la Kinect. Ces infor­ma­tions seront alors trans­mises à une carte Arduino capa­ble d’actionner des ser­vo­mo­teurs pour faire bouger les yeux. Tech­nolo­gie infor­ma­tique : Arduino/Processing/ Kinect.
Niveau : BA2
Respon­s­able : F. Rocca, O. Verlinden

VR Window::Le pro­jet con­siste à pro­duire une illu­sion de 3D à l’aide du suivi de per­sonne et de tête avec une Kinect. L’objectif étant de déformer un rendu, en temps réel, en fonc­tion du point de vue d’un util­isa­teur de sorte que celui-ci perçoive l’environnement en 3D. Ce pro­jet aborde l’exploitation de la Kinect pour du head­track­ing ansi que les tech­niques de base de rendu 3D (OpenGL).
Niveau : BA3
Ce pro­jet aura une grande vis­i­bil­ité : ses résul­tats seront directe­ment util­isés dans une instal­la­tion artis­tique asso­ciée à « Hors Champ », œuvre de danse-cinéma de Michèle Noiret et Patric Jean, qui sera créée en avant pre­mière à Brux­elles en avril 2013.
Respon­s­able : Julien Leroy, Romuald Deshayes

VOXLIVE::La parole est un proces­sus haute­ment inter­ac­tif et con­textuel. Aujourd’hui, sa syn­thèse se fait soit par des règles fixes, soit par un enreg­istrement préal­able de por­tions de parole, deux tech­niques peu flex­i­bles. Depuis quelques années, le lab­o­ra­toire a développé MAGE, une librairie de syn­thèse vocale util­isant des HMMs et manip­u­la­bles en temps-réel. Ce pro­jet con­siste à éval­uer com­ment le lan­gage de live cod­ing musi­cal Super­Col­lider pour­rait être util­isé comme inter­face pour con­stru­ire des seg­ments de parole arti­fi­cielle et les manip­uler de manière inter­ac­tive. Un nou­vel instru­ment basé sur ce principe sera développé et inté­gré à des pro­jets artis­tiques.
Niveau : MA/TFE (Antonin Puleo)
Respon­s­able : Nico­las d’Alessandro, Thierry Dutoit et Maria Astrinaki

VOXPAINT::Il existe de nom­breux rap­proche­ments intu­itifs entre les courbes, les couleurs, les formes,… et le son. De nom­breuses tech­nolo­gies et logi­ciels, de UPIC à Ian­nix, ont pro­posés des approches pour dessiner le son. La pré­ci­sion des écrans mul­ti­touch per­me­t­tent désor­mais d’approcher l’idée de dessiner le son d’un point de vue plus gestuel, en cap­turant des inter­ac­tions plus com­plexes avec l’écran. Ce pro­jet vise à fab­ri­quer une sta­tion de tra­vail basée sur une tablette Wacom pen+touch, ou une Cin­tiq mul­ti­touch, où le musi­cien pourra dessiner des tra­jec­toires, les manip­uler en temps-réel et utiliser ces tra­jec­toires pour con­trôler des syn­thé­tiseurs de sons de son choix.
Niveau : BA3/MA/TFE
Respon­s­able : Nico­las d’Alessandro, Thierry Dutoit et François Zajégà

SKETCHPOD::L’explosion des périphériques mobiles (smart­phones et tablettes) con­stitue aujourd’hui un ter­rain très fer­tile pour fab­ri­quer des instru­ments de musique inno­vants. Dans un con­texte con­cret de per­for­mance musi­cale, le déploiement mas­sif de dis­posi­tifs mobiles est toute­fois entravé par l’instabilité récur­rente des pro­to­coles sans fils tra­di­tion­nels (blue­tooth, wifi). L’idée de ce pro­jet est de fab­ri­quer un instru­ment à base d’un iPod ou iPad com­mu­ni­quant l’ensemble des don­nées gestuelles (con­tacts écran tac­tile, accéléromètre) par le canal audio (con­necteur écou­teurs). Il s’agit donc de designer l’interface et le pro­to­cole d’encodage over audio vers l’ordinateur.
Niveau : BA3/MA
Respon­s­able : Nico­las d’Alessandro, Thierry Dutoit

TUIPOD::Le monde des nou­veaux instru­ments de musique vit aujourd’hui deux révo­lu­tions majeures: l’informatique mobile (smart­phones et tablettes) et le courant du fab, fab­ri­ca­tion d’objets inter­ac­t­ifs home-made à par­tir d’impression 3D et de pro­gram­ma­tion. Le but de ce pro­jet est d’augmenter un iPod ou iPad avec des éléments tan­gi­bles (bou­tons, leviers, slid­ers) réper­cu­tant leur effets sur l’écran de l’appareil. Il s’agit de designer ces objets tan­gi­bles, afin de les imprimer en 3D au lab­o­ra­toire et ensuite écrire le logi­ciel iOS qui per­me­t­tra récupérer et réin­ter­préter les don­nées d’interaction sur un ordi­na­teur, afin de con­trôler de la syn­thèse sonore.
Niveau : BA3/MA
Respon­s­able : Nico­las d’Alessandro, François Rocca; Jus­tine Decuypere, Thierry Dutoit

DEEPMOSAIC::La photo ou l’image mosaïque est une tech­nique util­isée dans les Arts numériques et donne aux artistes un moyen de faire passer des mes­sages de manière orig­i­nale et ludique. La plu­part des logi­ciels de photo mosaïque pro­posent de con­ver­tir l’entièreté de la photo en mosaïque et non pas des par­ties de la photo. Le pro­jet pro­posé con­siste à dévelop­per une appli­ca­tion qui per­met de sélec­tion­ner des zones, des formes ou des con­tours dans une photo/image et de rem­placer les sélec­tions par des mosaïques de photos/images. L’étudiant utilis­era la bib­lio­thèque « OpenCV » pour le traite­ment d’images.
Niveau : BA3
Respon­s­able : De Beul Dominique

VideoComp::Le but de ce pro­jet est de con­stru­ire un logi­ciel qui per­me­tte de détecter des images sem­blables parmi des vidéos don­nées, en se bas­ant sur les résul­tats obtenus lors du développe­ment du pro­jet nume­di­art #10.1. Le logi­ciel sera typ­ique­ment implé­menté en C++, en util­isant les librairies Open­Frame­Works / OpenCV.
Lien :
— Pro­jet nume­di­art iVISIT: Inter­ac­tive Video and Sound Instal­la­tions Tools
— Open­Frame­works : http://www.openframeworks.cc
— Tuyte­laars and Van Gool (2004) ”Syn­chro­niz­ing Video Sequences”, IEEE Com­puter Soci­ety Con­fer­ence on Com­puter Vision and Pat­tern Recog­ni­tion, pp. 762–768.
Niveau : BA3
Respon­s­able : Xavier Siebert

ImagePuzzle::Ce pro­jet con­siste à fab­ri­quer automa­tique­ment des puz­zles à par­tir d’images don­nées. Le principe est sem­blable à celui du jeu Jigazo (”auto-portrait”, en japon­ais), mais la créa­tion du puz­zle pour­rait de plus se baser sur des méth­odes de seg­men­ta­tion d’images. Le logi­ciel sera typ­ique­ment implé­menté en C++, en util­isant les librairies Open­Frame­Works / OpenCV.
Lien :
— site web de Jigazo : http:// jigazo.com
— Open­Frame­works : http://www.openframeworks.cc
— seg­men­ta­tion d’images: Shapiro and Stock­man (2001): ”Com­puter Vision”, p 279–325
Niveau : BA2-BA3
Respon­s­able : Xavier Siebert

WALL OF ANYTHING::Le but de ce pro­jet est de réaliser la cor­rec­tion automa­tique de la défor­ma­tion d’une pro­jec­tion à l’aide d’une cam­era quelque soit l’orientation du pro­jecteur dans le cas où le pro­jecteur n’est pas par­al­lèle à la sur­face de pro­jec­tion. Appli­ca­tion: Vous devez faire une présen­ta­tion mais ne pou­vez pas installer le pro­jecteur en face de l’écran. Vous êtes chez vous, vous voulez regardez un film mais souhaitez pou­voir pro­jeter sans devoir met­tre le pro­jecteur en face du mur ou de l’écran. La cor­rec­tion pourra être cal­culée via un smart­phone Androïd ou IOS en util­isant l’appareil photo numérique inclus.
Lien : http://marcinignac.com/blog/projection-mapping-in-3d
Niveau : BA2-BA3-MA1
Respon­s­able : B. Gos­selin, Rad­hwan Ben Madhkour

Détecteur de badge::Objectif: Détecter le pas­sage d’une per­sonne en util­isant une carte RFID con­nec­tée à Sim­ius, afficher/transférer l’information reçue et autoriser/empêcher l’accès.
Pro­mo­teur : C. Valder­rama, D.Binon
Étudi­ants : 2
Matériel : Sim­ius, RFID.
Back­ground : pro­gram­ma­tion C, Flow­code (pro­gram­ma­tion graphique)
Niveau : BA2 et BA3

eTapDancing::Sur une idée de l’ASBL mon­toise « Tous en Scène » (qui fournira les danseurs de cla­que­ttes) ce pro­jet con­sis­tera à met­tre au point une planche de tap­ping aug­men­tée, per­me­t­tant à un danseur de cla­que­ttes de con­trôler pré­cisé­ment et instan­ta­né­ment, par la posi­tion et le vol­ume sonore de ses pas, un syn­thé­tiseur musi­cal, une rampe de pro­jecteurs (via DMX), ou les images pro­jetées par un vidéo pro­jecteur sur un écran géant. Le con­trôle se fera à l’aide de cap­teurs piezzo aux qua­tre coins de la planche. Tech­nolo­gie infor­ma­tique : Arduino. Ce pro­jet pro­longe un pro­jet déjà com­mencé en 2011–2012. Dans cette deux­ième étape, les étudi­ants intè­greront au dis­posi­tif une puce bon marché per­me­t­tant de mesurer l’enveloppe d’amplitude (en dB) d’un sig­nal (http://www.analog.com/en/special-linear-functions/rms-to-dc-converters/ad636/products/product.html), ce qui per­me­t­tra d’avoir un con­trôle fin de l’intensité du sig­nal musi­cal à pro­duire. Le sys­tème aura une entrée midi per­me­t­tant de charge la carte arduino à par­tir de la sor­tie midi d’un petit clavier musi­cal, et une sor­tie midi qui enverra les notes au rythme de cla­que­ttes réal­isées par le danseur, vers un syn­thé­tiseur externe
Niveau : BA3 –MA-TFE
Respon­s­ables : T. Dutoit, T. Todo­r­off, L. Ris

Pro­jet à pro­poser par les étudi­ants FPMs BA2 ou BA3::Les étudi­ants peu­vent pro­poser, comme choix pour leur groupe de pro­jet à l’horaire, un pro­jet lié à la for­ma­tion « créac­t­ifs! ». Le choix de ce pro­jet « à la carte » implique que le binôme con­cerné prenne con­tact avant le 30/11/2012 avec le Prof. T. Dutoit afin de véri­fier que son pro­jet aura l’aval d’un respon­s­able académique. Après accord, un titre de pro­jet offi­ciel sera fourni pour l’indiquer dans la liste de choix de pro­jets. Sauf déro­ga­tion, les pro­jets des étudi­ants de BA2 néces­sitent de suivre l’atelier « con­nec­tions » (/Pro­cess­ing ou /PureData ou /Arduino) les lundis, mardis, ou mer­cre­dis de 18h à 20h 1ère et 2ème péri­odes et ceux de BA3 néces­sitent de suivre l’atelier « pro­gram­mac­tions » (Open­Frame­works, iOS, SIMIUS, Android). Pour les détails con­cer­nant ces for­ma­tions, voir la page http://www.numediart.org/creactive/