Ultimo articolo

NISI la prima opera sinestetica analogico-digitale

NISI è un opera d’arte realizzata in resina epossidica trasparente.  Fa parte di un progetto innovativo che combina tecnologie avanzate e Intelligenza Artificiale per offrire un’esperienza sinestetica unica, fondendo vista e udito in un percorso multisensoriale attraverso un software denominato SINEMUSE (Lite) Una telecamera analizza informazioni biometriche (come sesso ed età) e neuro-cognitive come lo stato d’animo rilevate tramite scansione facciale. Un sofisticato algoritmo elabora un brano musicale che reputa più adatto al profilo scansionato e che fungerà da colonna sonora durante l’osservazione, consentendo a questo di personalizzare l’esperienza sonora attraverso movimenti ed espressioni facciali, influenzando così il tipo di ascolto (selezione di canali, delay, riverberi, ecc.). Un progetto unico che affianca al quadro una delle tecnologie più avanzate nel campo dell’informatica: l’impiego di reti neurali per analisi predittive. Questa sinergia crea un ponte tra il dipinto e l’osservatore, coinvolgendo quest’ultimo attraverso un elemento fondamentale: la curiosità. Il sistema, infatti, analizza in autonomia tutto ciò che le serve per offrire l’esperienza immersiva, coinvolgendo chi osserva in un dialogo silenzioso e profondo con l’immagine. A chi guarda è richiesto un solo compito: un movimento verso la tela, un’osservazione attenta, una voglia di comprendere ciò che ha davanti, una sete di conoscenza. Non sorprende, quindi, che l’autore, nel creare quest’opera visiva, abbia voluto generare un effetto capace di catturare e disorientare l’occhio tramite una mescolanza di colori e forme. Questo effetto richiama il dissidio interiore presente in ogni uomo: un conflitto spirituale tra ciò a cui aspiriamo e ciò in cui viviamo.

Leggi Tutto »

SINEMUSE (lite) – Scheda tecnica

Scheda Tecnica  Descrizione SYNEMUSE (Lite) è un software avanzato che combina tecnologie di riconoscimento facciale e analisi audio per creare un’esperienza multisensoriale interattiva. Integra intelligenza artificiale per il rilevamento di emozioni, età, genere e movimenti del volto al fine di modulare effetti audio in tempo reale. Funzionalità Principali 1. Riconoscimento Facciale e Analisi delle Espressioni Espressioni facciali (felice, triste, arrabbiato, sorpreso, disgustato, neutrale, pauroso). Direzione del capo e degli occhi. Stima di età e genere. Applicazione: Le informazioni rilevate vengono usate per modificare dinamicamente gli effetti audio. 2. Analisi Audio RMS (Root Mean Square) – Intensità del suono. ZCR (Zero Crossing Rate) – Ritmo e velocità. Spectral Centroid – Brillantezza del suono. Spectral Flatness – Tonalità o rumorosità. Dati audio mostrati in tempo reale su un canvas grafico. 3. Modulo Audio Dinamico Effetti Audio Supportati: Reverb: Simula ambienti sonori (wet/dry mix configurabile). Filtro Biquad: Modula la brillantezza del suono in base al movimento del capo. Compressore: Gestisce dinamiche audio per espressioni negative. Stereo Panning: Direziona l’audio in base alla posizione degli occhi e della testa. Oscillatore: Genera suoni per stati di paura. Distorsione: Effetto per emozioni forti come rabbia. 4. Riproduzione Musicale Intelligente Selezione Automatica Brani: Assegna brani dalla playlist MP3 in base a età, genere ed emozioni. Algoritmo di punteggio dinamico per scegliere il brano più adatto. Modalità Random Carousel: Riproduce brani casuali quando nessun volto è rilevato per più di 5 secondi. Fade Audio: Gestione fluida di inizio e fine della riproduzione. 5. Compatibilità Webcam: Supporta webcam standard

Leggi Tutto »

Da dove acquisiamo parte dei dati

Di seguito alcuni linksu siti che forniscono immagini senza copyrighit (Open Data), a cui mi  riferisco per le mie opere.   Il progetto Art Genome (artistico) L’Art Institute di Chicago Biblioteca del Patrimonio della Biodiversità Set di dati della collezione del Carnegie Museum of Art Il museo d’arte di Cleveland Vocabolari Getty come dati aperti collegati Musei d’arte di Harvard Stampe e fotografie della Biblioteca del Congresso Linked Open Data allo Smithsonian American Art Museum Museo Metropolitano d’Arte API Metropolitan Museum of Art Open Access CSV Museo d’Arte Moderna (MOMA) Galleria Nazionale d’Arte (NGA) È possibile scaricare da Github  Nationalmuseum Sweden Raccolta di Wikidata Open Source presso Cooper Hewitt La Collezione Tate Wikidata: la somma di tutti i dipinti Yale Centro per l’arte britannica

Leggi Tutto »

Sonificazione di un’immagine. Uno sconvolgimento sensoriale unico nel suo genere

Quando osserviamo un’immagine utilizziamo la vista secondo uno schema ereditato dalla scrittura (e quindi lettura) occidentale. Altre lingue come l’ebraico e l’arabo utilizzano il metodo di scrittura e lettura opposti (da destra a sinistra). Il campo visivo di ognuno dei nostri occhi è diviso verticalmente in due parti uguali, ma  la metà di destra è controllata dall’emisfero sinistro del cervello e viceversa. Una lettura che si orienta da sinistra verso destra quindi coinvolge l’esmisfero sinistro che è preposto per le funzioni di calcolo e logica, e quindi  più facilitato nella comprensione di ciò che si legge. Ma con le immagini invece cosa accade? Non ce ne accorgiamo ma adottiamo lo stesso schema di lettura (scansione) per analizzare i dettagli ed una vista d’insieme come impatto iniziale. Perchè sonificare le immagini risulta cosi strano? Il motivo è semplice. Dobbiamo utilizzare non solo la vista ma anche l’udito. Un’esperienza talmente diversa che non sappiamo in che modo conciliare i due sensi. Vedo l’opera  e quindi utilizzo l’emisfero di sinistra o quello di destra preposto per le percezioni emotive?  Tutte le opere (che poi in realtà sono dei video) utilizzano una piccola guida verticale che avanza da  sinistra a destra man mano che la musica viene eseguita. Questo pre-requisito fornisce una prima informazione al cervello di predisporsi ad una visione dell’immagine che ricalca quella adottata per la lettura, agevolata proprio da questa linea verticale che funge da guida. Sin da subito il cervello si trova nella difficoltà di capire come distribuire le sue

Leggi Tutto »

Scienza della sonificazione

La  pratica di rappresentare i dati attraverso il suono (Data Sonification), è una delle sfide a cavallo tra la ricerca scientifica e l’arte. In tutti i casi si tratta di fornire informazioni sensoriali aggiuntive alla semplice vista di una fonte dati (immagine) o dati elementari (dati tabellari) in cui la vista risulta essere l’unico senso coinvolto. L’ambivalenza (artistica e scientifica) di questa tecnica apre scenari di utilizzo molto vasti.

Il suono come vettore

Da sempre siamo abituati ad utilizzare il suono come sistema di comunicazione. Utilizziamo le  sue frequenze per determinare che ti po di messaggio debba pervenire all’ascoltatore. Strumenti come il sonar, il contatore Geiger, la suoneria del telefono, ecc.. hanno come finalità quella di attirare la nostra l’attenzione. Il suono è per antonomasia universale. Non esiste differenza linguistica, ma la percezione individuale che si può aver su questo.

Applicazioni 

Passaggio preliminare per lo sviluppo del processo di sonificazione è la fonte dati. In tutti i casi che si tratti di immagini o di altre tipologie di dati è necessario acquisire le informazioni utiliper determinare la nota, la durata, il timbro e poi come ultimo passaggio il suono. Mentre per l’estrapolazione delle note, durata e timbro ci si avvale di una serie di strumenti e tecniche per poi generare un file MIDI per la scelta del suono posso esserci differenze soggettive in base al gusto e sensibilità del compositore. La capacità quindi di chi si trova a sonificare un dato è quella di pur mantenendo inalterato quanto ricavato dai passaggi preliminari, attribuire un suono adatta alla composizione finale. Se la sonificazione ha finalità artistiche quindi si cercherà di modellare il suono sulla base di quanto rappresentato dall’immagine, diversamente se l’immagine o il dato elementate è per specifiche finalità di ricerca scientifica si cercherà di elaborare un suono in cui siano ad esempio meglio percepibili particolari sonorità.

 

ARTICOLI ACCADEMICI

Sonificazione parte del genoma proteina Spike SARS COV 2

Dati acquisiti da telescopio a Raggi X della NASA e sonificati  per studiare informazioni altrimenti visivamente impercettibili 

Sonificazione grafico numero numero di casi per data di insorgenza dei sintomi di COVID 19

Sonificazione dei dati climatici – Dal 1930 a oggi – Ascolta la tendenza del cambiamento climatico

GOOGLE SCHOLAR – Can Sonification Become a Useful Tool for Medical Data Representation?  – Using the Sonification for Hardly Detectable Details in Medical Images

PS Sonification PlayList: An exploration of geyser eruptions through animation and sound: https://vimeo.com/535319400
Sonification of Soufrière Hills volcano dome collapse with violin accompaniment:https://vimeo.com/230241695

Hotel Kilauea: https://vimeo.com/341656901
800,000 years of solar insolation and CO2:https://vimeo.com/469625573