Introduction

Pour l'auteur l'aventure commença dès les années 60, avec la publication du livre remarquable de Iannis Xénakis, Musiques formelles, à la Revue Musicale aux éditions Richard-Masse (double numéro spéciale 253 et 254, 1963, distribué aux éditions E. PLOIX Musique, 7 rue St Placide à Paris).
Et nous étions déjà nombreux jeunes (et moins jeunes) à venir aux nuités des Beaux-Arts dans les salles caverneuses du Grand-Palais, à écouter, voir, entendre l'inexplicable, à comprendre la complexité de la vie des architectures sonores et visuelles qu'il nous proposait.

Nous étions nombreux également, toutes classes sociales confondues, au Musée d'Art Moderne ou à la RTF, entassés, au front perlé, à l'odeur de poudre féminine vaporeuse, oreilles et tripes frémissantes. Eonta, Pithoprakta, Metastasis, autant de vibrations intimes et collectives traversaient notre corps, notre esprit et notre âme. Achrorripsis, Analogies, Syrmos, Herma, qui dans leur dynamique, leur multiplicité, et différences, faisaient vibrer les cordes ou les bandes magnétiques.

Alors que déjà les intégristes culturels criaient au scandale, les violonistes se faisaient prier pour oser retourner leur archet, au risque d'égratigner le vernis, pour frapper la corde, les timbales s'épuisaient en réglages, les haut-parleurs Hi-Fi, eux, crachaient musicalement les résultats analogiques de longs calculs numériques d'ST/10, de Concret PH, et d'Orient-Occident.

Iannis Xenakis, à la fois élève de Messian et collaborateur de Le Corbusier, compositeur dès les années 50 (Metastasis 1953) aussi bien pour instruments  et orchestres (sous la direction de H. Rosbaud, S. Ehrling, M. Le Roux à Paris, W. Rowicki, et surtout H. Scherchen), que pour bandes électro-magnétiques (Concret PH, 1958, Exposition Internationale de Bruxelles, Pavillon Philips), était passé Maître en la matière, dénonçait avec force les écritures traditionelles, dont l'évolution lui semblait caduc surtout avec l'arrivée progressive des musiques d'Alban Berg, de Schoenberg et des musiques dodécaphoniques où la perception sonore et musicale n'avait plus rien à voir avec l'écriture en ligne sur portées. Les musiques électro-acoustiques, électro-magnétiques, les musiques concrètes, et les musiques expérimentales donnaient alors le ton :

Il fallait inventer de nouvelles écritures, de nouveaux instruments
un nouveau Dessein, un nouveau Design.

Car, en effet, derrière tout cela, une longue réflexion cheminait, de Parménide à Laplace, de Markov à Gabor, de Maxwell-Boltzman à Fletcher, du Parthenon à Le Corbusier, pour apprendre et comprendre de l'indéterminisme au déterminisme, du chaos à la structure ensembliste, ce qu'est la matière, l'espace, l'architecture, ce que sont les phénomènes et les processus acoustiques, sonores et visuelles.

Musique, Mathématiques, Physique, Automatiques, Electronique, Informatique, Architecture, Psychophysiologie de la perception, Histoire, Philosophie, toutes disciplines étaient déjà là bien présentes dans leurs cortèges de connaissances et d'expériences, et l'oeuvre artistique dans toute sa dimension humaine.

Aux compétances du compositeur classique venait s'adjoindre celles de l'écrivain-dessinateur musical, voire du Designer d'architectures sonores et visuelles. La discipline musicale ne pouvait plus exister sans les autres disciplines non seulement artistiques,  mais scientiques et technologiques,  et profondément philosophique à raisonance historique et culturelle.

Riche d'une tel expérience, l'auteur voyait sa jeune formation musicale et picturale se transformer, impliquant ses nouvelles connaissances dans sa démarche créatrice (représentation du cube dans la n-ième dimension et les trans-combinaisons, 1967, introduction du modèle mathématique des processus markoviens dans l'explication de texte littéraire Chacun sa vérité de Pirandello, observé comme un processus d'écriture contextuelle).  Et les années soixantes se terminent dans le questionnement.

Unité Polyagogique Informatique du CEMAMu

Les années 70,  convaincues certe du progrès scientifiques (espace, biologie, informatique, robotique) mais surtout de la nécessité de l'implication d'un contrôle et d'une surveillance humaine et sociale dans leurs applications industrielles et économiques, développent massivement l'expension disciplinaire et spécialisée fondée sur la territorialité langagière avec un fort développement des sciences humaines et un linguistique tant disciplinaire qu'informatique.
Sur le plan instrumental, une nouvelle donne avec l'arrivée de la mini-informatique (taille de l'ordinateur pas plus gros qu'une armoire) change la conception centralisatrice de l'informatique pour permettre le calcul mais surtout l'interfaçage et l'interaction en laboratoire, en zone d'expérimentation. Ce qui paradoxalement provoque et  renforce à la fois les besoins d'écriture spécifiques des spécialistes et des théoriciens mais en même temps rend indispensable la multi-disciplinarité des praticiens et la recherche de langages de communication communs pour expérimenter et élaborer de nouvelles théories.

A cette époque la notoriété internationnale de Iannis Xenakis, avec la sortie de son livre Formelized Music (Indiana University Press, 1971) et la création de ses oeuvres musicales dans le monde, fait évoluer l'EMAMu (Ensemble de Mathématique et Automatique Musicales) de l'accueil par Louis le Prince Ringuet à la Chaire de physique nucléaire du Collège de France, à l'Université Paris XII puis au CNET (Centre National des Télécomunications) d'Issy-les-Moulinaux, transformé en Centre d'Etude (CEMAMu).

Suite à une rencontre au court du Polytope de Clunny en 1973 et après une conférence à l'ESIEA invité par l'auteur en 1974, Iannis Xenakis lui propose une collaboration au CEMAMu.

En 1974 les projets du CEMAMu sont encore axés sur l'informatique centralisée (Xenakis, Risset, Cuvelier) : le compositeur conçoit ses modèles formels pour répondre à son questionnement et ses préoccupations musicales, les traduits en langage machine évolué sur cartes perforées, effectue les traitements en Centre de calcul, en sort les résultats sur papier listing et sur une bande magnétique numérique composée de bloc d'échantillons (2 fois 8 bits) pour être lus off-line sur un Synthétiseur Musical (Convertisseur Numérique/Analogique du CNET, M. Lachaise) et montés sur bande magnétique analogique pour être entendus sur chaîne HI-FI ; toute correction demandant le retour au Centre de calcul généralement distant.

À son arrivée au CEMAMu, l'auteur (Patrick Saint-Jean) se consacre à l'organisation (conférence, enseignement, accueil, communication) mais l'opportunité d'une subvention va lui permettre d'apporter son expérience en mini-informatique (ESIEA, CEA) et sa conviction de l'apport fondamental du mini-ordinateur en création artistique pour changer d'une part la démarche du compositeur de l'époque par la présence de l'instrument dans l'atelier de l'artiste (comme dans le laboratoire expérimental du chercheur), et d'autre part par son devenir tant dans l'immédiateté que dans l'interfaçage et l'interaction, un moyen de rapprocher le compositeur de son instrument devant découvrir de nouvelles approches, de nouvelles démarches, de nouvelles créations.  

L'auteur développe alors un nouveau projet SILOCoMuVi (Système Informatique de Laboratoire Opérationel pour la COmposition MUsicale et VIsuelle) pour convaincre Iannis Xenakis, très à l'écoute, et permettre au CEMAMu de prendre sa dimension de Centre d'expérimentation et de recherche musicale et visuelle.

À cette époque, si l'immédiateté est inexistante comme entre l'écriture de la partition et l'exécution orchestrale, tout comme l'artiste peintre ou sculpteur et la gallerie ou l'exposition, la présence de l'instrument mini-ordinateur à portée du compositeur peut changer le statut de l'artiste. La recherche plus axée sur l'analyse et le traitement s'ouvre vers la synthèse, le processus bouclé (feedback) et le multi-processeur. Le multi-média d'entrée pousse à devenir un unimédia numérique de traitement de l'information pour devenir un multimédia de sortie.

L'auteur écrit alors un scénario et un scénarimage pour simuler l'utilisation du système et s'aider à mieux définir le cahier des charges (Dessins de D. Saint-Jean, 1977).

Réalisation

Les concepts définis, la confrontation à la réalité industrielle mis en évidence les besoins suivants :
- Utiliser les capacités et la puissance maximum existante et tenter de l'accroître.
- Faire évoluer le conversationel et le semi-conversationel vers l'interactivité.
- Transformer l'interactivité de pointage light-pen ou cartographique vers le geste, le tracé, le dessin, la forme.
- Donner de la personnalisation à l'instrument par des menus dynamiques interchangeables.
- Donner de la résolution (4096x4096 sur table graphique et écran) pour garantir une sensibilité maximum dans la micro, mezzo et macro composition en laissant une zone suffisante de dessin par rapport aux différents menus (non déroulants) nécessaires aux choix de l'artiste dans l'étendue des fonctionalités du système.

En 1976, l'auteur organise pour le CEMAMu, une conférence en première mondiale sur la composition musicale interactive en temps réel, en réseau spécialisé entre le CNET d'Issy-les-Moulineaux et le Centre de Calcul IBM de Pise, en Italie, avec le compositeur Pietro Grossi, et montre ainsi une image de ce que serait la continuité de l'UPIC : une instrumentation de composition et de création, déclinée en nombreuses versions dans le monde entier, et en réseau entre musiciens et compositeurs. 

Ainsi en 1976, après une étude approfondie (analyse du besoin, définition du cahier des charges, analyse de faisabilité), accord de Iannis Xenakis et du CEMAMu, le premier système informatique interactif, sur mini-ordinateur, pour la composition musicale et visuelle vit le jour, auquel Iannis Xenakis donne le nom d'UPIC (Unité PolyAgogique Informatique du CEMAMu).

Les travaux de l'auteur donne lieu à un Mémoire en 1977 (ESIEA) :
Couverture,  Titre,  TdM 1, 2,  Sujet 1, 2, Première partie,
But du système 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14.
Cahier des Charges 1, 2, 3, 4, 5, 6, 7, 8.
Choix du système 1, 2, 3.

Conclusion de la première partie du Mémoire faisant état de la situation en 1977

Le cahier des charges ne fut pas réalisé dans son ensemble (partie visuelle en sortie, feedback entrée-sortie, intelligence artificielle, etc...), mais a eu pour mérite de définir ce que serait l'avenir, comptant sur le progrès de la miniaturisation et de l'augmentation des capacités tant de stockage des données et programmes que de vitesse de calcul et de débit numérique.

Partitions dessinée sur l'UPIC

- dans la multiplicité des systèmes mini-informatiques mis en place  et surtout avec l'apparition de la micro-informatique l'accentuation de l'accessibilité, de l'interactivité directe sur l'écran et d'une nouvelle ergonomie engendrant un apport de nouvelles démarches dans la composition.
- une grande influence de l'UPIC dans les recherches de l'IRCAM qui utilisait plutôt à l'époque des logiciels d'écriture musicale et de calcul du signal électronique (Music V de Max Mathew sur PDP 10 DEC).
- et l'appartition d'un centre de formation spécialisée : en parallèle au CEMAMu, Les Atelier UPIC (1985) qui devient en 2003 le Centre de Composition Musicale Iannis Xenakis (CCMIX) où de nombreux musiciens et compositeurs vont expérimenter et produire et former un courant de pensée.

L'arrivée de la micro-informatique donne un élan nouveau :
- une nouvelle version pour PC sous MSWindows est réalisée (Gérard Pape).
- le développement d'un mouvement large venant du musical et du visuel.
- et par conséquent une pérénité d'une communauté à définir ses besoins, ses conceptions, ses réalisations et ses créations pour les décennies à venir.


Les années 90

Les environnements et interfaces graphiques dans les logiciels de synthèse sonore et visuelle se développent en nombre dans les années 90 dont les plus connus sont :
- MetaSynth d'Eric Wenger (Uisoftware, 1997), programme unique de synthèse sonore et sound design : les sons sont générés à partir d'une technologie de synthèse d'images. MetaSynth inclut de nombreux outils originaux de filtrage et de transformation sonores.
- AaaSeed d'Emmanuel Berriet (Mâa, Lagraine, 1996) programme unique également de synthèse visuelle 3D et multimédia.
- La kitchen, créée en 1999, avant tout un lieu de recherche et de création artistique, plate-forme technologique et lieu de perpétuel questionnement, ouvre un projet ambitieux : Iannix, une nouvelle version de l'UPIC pour logiciel libre (Thierry Coduys). Pourquoi continuer à développer l’UPIC ? Le projet IanniX.

Confronté de façon très pragmatique aux problématiques de l'enseignement des nouvelles technologies numériques depuis 1974 tant musicales que visuelles, à l'Université de Paris I UFR d'Arts Plastiques et Sciences de l'Art, les années 90 apportent avec les problématiques des Arts et créations industrielles de l'ENSC, un champ de réflexions à l'auteur et la possibilité de concevoir une nouvelle version du SILOCoMuVi répondant aux besoins de l'époque. La combinaison du besoin d'une base de données relationnelles multimédia (MTiPsi sur 4D) indispensable à l'enseignant et la recherche, avec celui de salle d'arts informatiques puis de la notion d'amphithéâtre interactif à immersion pour l'éducation, la création et le spectacle de la connaissance dans un travail conceptuel réflexif avec les étudiants, fait naître le besoin d'un PolyAgogic CyberSpace (Enjeux de l'Image Numérique, CNAM, 1994), un ConceptAtrium équippé d'un Conceptuarium pour le Design du Concept multimédia et d'un Cyberarium pour l'interactivité avec la connaissance. Une première version en public est montrée au village de l'Innovation à IMAGINA en 1999.

Le PolyAgogique CyberSpace est caractérisé par :

- un Amphithéâtre interactif à immersion où les gradins sont répartis en zones de spectateurs, de spectacteurs et d'interacteurs, et où la scène est équipé de trois écrans d'immersion, et composé d'une zone pour les acteurs actifs du Cyberarium et d'une zone les acteurs réflexifs et projectifs dans le Conceptuarium.  Une continuité visuelle par écran immersif au-dessus des gradins. Une sonorisation multi-point assure la continuité sonore. L'animateur (chef d'orchestre, régisseur, professeur) peut se placer dans le public (pupitre avec ordinateur portable) et se déplacer avec un micro HF et un pointeur actif.

- l'existence d'un base de données relationelles où tous les éléments multimédias (images, sons, textes, clips) sont stockés localement par nom de fichier, adressage et mots-clés, après acquisiton soit par numérisation ou transfer numérique à partir de la globalité de l'Internet, CR-ROM ou DVD-ROM, soit réalisés sur place (ateliers, studios) ou à distance (visio-conférence, téléportation).

Base de données relationelles SIPI sur 4D 1992

- des interfaces sont conçus pour l'Internet et permettent la préparation de la base à distance.

- la possibilité de connecter plusieurs bases locales ou distantes.

- l'utilisation de logiciels axés Internet pour mondifier ou créer les éléments multimédias.

- des analyses semi-automatiques de texte (sémantique, ou texturologique) les adresses, noms et mots clés (et plus tard sur analyse d'image, de son, de clip, de scène) pour orienter, pondérer et valider les relations entre les éléments pour définir des concepts.

- des traitements différés ou temps réel par la déclanchement :
     - de moteur de recherche sémentique :

    - de moteurs d'intelligence artificielle orientés sur la déduction (accepteur de langage, systèmes experts).

où les pondération et validation se font soit par calcul, soit par interactivité individuelle ou collective (vote).

     - de moteurs d'âme artificielle orientés sur l'intuition (Systémique de l'organisation et Texturologie prétopologique 1989, Texturologie quantique 2004).  

 

 

  - de moteurs de consciences artificielles orientés sur la structuration (auto-organisation, reconnaissance de formes).

Auto-organisation, Détection de concepts.

      - de moteurs de vie artificielle orientés sur l'évolution (mouvement, comportement, développement).

- des synthèses par visualisation des données symbolisées et de leurs relations en 2D, 3D et 4D (mouvement espace temps).

- des choix et actions par des interactivités simples sur les espaces visualisés pour pointer, sélectioner, relier, orienter, pondérer, valider, corriger et effacer.

- un moteur de mise en partition multi-média à partir des chemins dans l'espace des concepts (scénario).

- la visualisation de la partition multi-piste avec les outils interactifs de correction et d'exécution.

- des interactivités instrumentales dans le Cyberarium par gant et habit de données, capteurs de mouvements, blouse interactive, méta-instrument, systèmes haptiques, instrument midi.

- des interactivités avec le public (sièges interactifs, consoles numériques, ordinateurs, simulateurs).

Le nouveau Millénaire

Les progrès effectués également sur les environnements et interfaces interactifs, haptiques, de capture de mouvements :
- système V-paint d'Animazoo Europe (Maurice Kadaoui et Tania Barr),
- système de Parques Majeures (Marc Joseph Sigaud),
- système V-J de (Philippe Gérard) pour interactiver l'image comme le fait le D-J pour le son,
- le Meta-instrument de Puce-Muse (Serge de Laubier), instrument de musique assisté par ordinateur,

(Version 2000),  (Version 2001).


Avec le développement des bases de données et l'avancement des théories sur les texturologies quantiques de l'auteur, une nouvelle version 2005 du  PolyAgogic CyberSpace est élaborée.


L'aspect ludique est abordé dans le scénario d'utilisation du PolyAgogic CyberSpace. 

Une autres façon de jouer avec un jeu de cartes où :
- chacun arrive avec ses cartes personnelles stochées sur CD comportant :
-- un dossier au nom de l'auteur (nom_prenom minuscule sans accents) contenant un index.html avec nom auteur et sommaire des pages html avec
les meta instructions dans le header :
  <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
  <title>Auteur</title>              
  <meta name="description" content="travaux pour tel événemment">
  <meta name="keywords" content="mot clé 1, mot clé 2, mot clé 3, etc. ">      
  <meta name="robots" content="index,follow,all">             
  <meta name="author" content="Prénom Nom">
  Les accents devant être en html de type "&eacute;" pour é par exemple (ou style normalisé).

le dossier comprenant :
-- un dossier htmls comprenant les pages html (pages html au format visualisable pour projecteur cadrées et centrées1024x768 mais contenu visuel plutôt 800x600)
-- un dossier images comprenant les images
-- un dossier sons comprenant les sons et musiques
-- un dossier clips contenant les films (quicktime vidéo, 3D et VR)
-- un dossier flashs contenant les animations flash
-- un dossier partitions (vide au départ)

- les CD sont enregistrés sur l'ordinateur PolyAg... dans un dossier Evenements
- les fonctionalités du PolyAg... permettent de stocher les infos alias dans une base de données visualisée par plusieurs interfaces interactifs permettant
-- la modification des pages html pour correction et ajout de mots clés ou la création de nouvelles pages
-- la modification des éléments multimédia pour correction ou implémentation
-- un processus automatique et interactif de composition des partitions multimédia multipiste tenant compte des liens et des caractéristiques des cartes mises en jeu. par :
1 - la visualisation des contenues par moteur de recherche sémantique et l'enregistrement des recherches
2 - la lecture des recherches et visualisation en tableau pour la pondération des pages et des liens et le markage spécifique (automatiques et interactifs)
3 - la visualisation 3D dans l'espace texturologiques des concepts (intérieur, membranne intérieure, membrane extérieure, extérieur)
4 - la recherche de chemins particuliers par moteur de texturologie quantique
5 - la modification interactive des chemins et validation des scénari
6 - le retour à 2 pour la modification
7 - la validation des choix pour les scénari et transformation en partition multimédia multipiste
8 - la visualisation et la modification interactive de la partition multimédia multipiste pour le controle du spectacle
9 - la frappe des trois coup pour que le spectacle commence avec visualisatrion en amphithéâtre sur plusieurs écrans.

Le jeu se joue parce que les participants prennent le temps et le plaisir de jouer.
Ce jeu est fait en unité avec un lieu, un temps et une action, et est normalisé pour être joué sur internet en temps réel (un peu plus tard).
Le CD représente l'ordinateur du réseau sur lequel le participant prépare ses cartes et joue en downloadant ou uploadant les cartes et éléments multimédia.
Il pourra ainsi participer à plusieurs à des spectacles dans des lieux éloignés ou en chargeant les résultats (partitions multimédia multipiste) jouer le spectacle chez lui sur un ou plusieurs écrans et inviter les copains dans son home cinéma.

Comportement du jeu :

Prenant Cortex Academy de Frédéric Mayer et Cédric Jeanne :

A partir de 7 départements
- l'émotivité (l'émotion) aussi sensible qu'incontrôlable
- la raison, le plus posé (le plus calme) de tous
- le jugement évite de tirer les conclusions trop hâtives
- renseignement (information) et curiosité collectent les informations pour les décortiquer
- la mémoire, partisan du moindre effort, collecte les informations
- Cordes vocales, porte parole de l'équipe, donne de la voix
- Central cervicale fait son mieux pour coordonner l'équipe

les rôles sont répartis en fonction de la réalisation individuelle, collaborative et coopérative pour développer des intelligences collectives.


Conclusion

À l'heure où les concepts de multi-disciplinarité,  multi-culturel, aspect ludique et interactif, aspect spectacle objectif, réflexif et projectif de la connaissance, réalisations individuelles, collaboratives et coopératives s'intègrent progressivement dans l'Education classique, il est nécessaire de concevoir et définir de nouveaux outils, de nouvelles démarches et de nouveaux produits multimédia éducatifs afin de développer les intelligences collectives, citoyennes et démocratiques viables dans un monde en réseau.