Os graduados da Central Saint Martins, Domenico di Paolo e Kieran Feechan, criaram um novo dispositivo de audição na forma de Imago, que lança um olhar crítico sobre o uso de IA na música.
Parecendo um toca-discos cristalino, o Imago apresenta aos ouvintes uma tela sensível ao toque circular iluminada por três pontos brilhantes que eles podem deslizar com os dedos para modificar uma composição.
Feechan e de Paulo pense no Imago como um cruzamento entre um “dispositivo de escuta profunda” e um sintetizador. Ele permite que os ouvintes explorem uma paisagem sonora única cuidadosamente selecionada por um artista específico e ativada por meio de um modelo de aprendizado de máquina de IA.
Imago é um dispositivo projetado para escuta profunda
A ideia é que o músico e o ouvinte criem juntos uma composição em tempo real, com a simples entrada do dedo do ouvinte desencadeando uma peça musical em evolução governada por regras cuidadosamente elaboradas, semelhante ao resultado de O projeto pioneiro Bloom de Brian Eno com o desenvolvedor de software Peter Chilvers.
Para os artistas que gravam música para ser reproduzida no dispositivo, representa uma forma totalmente nova de trabalhar que lhes permite explorar a inteligência artificial como uma ferramenta de cocriação, mantendo ao mesmo tempo o controlo sobre os seus dados.
Em vez de criar uma única gravação estática, esses músicos reúnem um conjunto de dados de áudio altamente pessoal de gravações, como instrumentos individuais, uma pessoa cantando ou sons eletrônicos. Isso é inserido no modelo de aprendizado de máquina da Imago, que também é personalizado para eles.
Nenhum dado extraído é usado e todo o processamento ocorre offline, no dispositivo, usando o mínimo de energia para que os artistas evitem compartilhar seu trabalho com empresas de tecnologia.
Feechan e di Paolo trabalharam em estreita colaboração com o laboratório de som experimental francês IRCAMvinculado ao Centro Pompidou, que desenvolveu o modelo de aprendizado de máquina especificamente para o projeto.
Eles também trabalharam com quatro artistas que criaram seus próprios conjuntos de dados. Entre eles estavam produtores eletrônicos franceses Canblaster e Moléculaque construíram seus sets a partir de gravações de sintetizadores, e do compositor britânico Robert Laidlowque trabalhou com uma biblioteca de gravações da Orquestra Filarmônica da BBC dos anos 1940 de sua propriedade.
Cada um desses conjuntos de dados é alojado e criptografado em um objeto físico – um pequeno “disco” de metal equipado com NFC que o ouvinte coloca em um slot no canto do dispositivo Imago para iniciar a música, como se estivesse carregando um disco, fita ou CD.
Quando arrastam o dedo pela tela sensível ao toque e reposicionam os pontos, o ouvinte está efetivamente explorando um mapa multidimensional do som do artista – o que é tecnicamente denominado “espaço latente” do modelo.
“Cada ponto representa uma das três vozes geradoras dentro da composição”, disse Feechan a Dezeen. “Cada um produz som de forma independente, mas juntos formam uma única peça musical”.
Três pontos é o padrão, mas os ouvintes também podem tocar duas vezes em um ponto para diminuir para dois ou um.
“Quando você move um ponto pela tela, você muda o caráter daquela voz – sua textura, calor e densidade”, continuou ele. “Mova-o para uma área e pode soar brilhante e granular. Mova-o para outro lugar e ele se aprofunda, torna-se mais ressonante.”
“Ao mesmo tempo, a posição de cada ponto também influencia as regras de composição – como a voz se comporta ao longo do tempo, que decisões rítmicas ou melódicas ela toma”, acrescentou Feechan.
O modelo de aprendizado de máquina separa o timbre do áudio de sua estrutura, introduzindo um alto grau de controle criativo tanto para o artista quanto para o ouvinte.
“A composição que você ouve a qualquer momento é o produto de onde todos os três [dots] sentam-se um em relação ao outro”, continuou Feechan.
Os artistas podem incorporar suas próprias regras de composição em torno de aspectos como melodia, ritmo e fraseado durante a fase de treinamento, personalizando ainda mais seu modelo.
Embora a arquitetura por trás do som seja complexa, Feechan e di Paolo pretendiam que a experiência auditiva do Imago fosse simples o suficiente para que qualquer pessoa pudesse desfrutar.
“A intenção é que você navegue de ouvido, não de olho. Você ouve, se move, responde ao que ouve”, disse Feechan. “Esse é o ato de escuta profunda que estamos tentando encorajar.”
As composições da Imago não podem ser gravadas, armazenadas ou repetidas – elas existem apenas no momento em que o ouvinte as ouve.
Ao postular a criação de conjuntos de dados como um ato artístico, mantendo a infraestrutura local e transparente e dando aos músicos soberania sobre a tecnologia, Feechan e di Paolo pretendem criticar o status quo da IA generativa na música atual.
“Na maioria dos sistemas musicais comerciais de IA, como está bem documentado, os dados de treinamento são coletados sem o consentimento de milhões de artistas cujo trabalho é então usado para competir diretamente contra eles”, disse Feechan.
“No nosso, todos os sons que a modelo já ouviu foram gravados, com curadoria e de propriedade integral de um único músico que escolheu se envolver”, continuou ele. “O artista mantém o controle total. Nada é transmitido. Nada sai do dispositivo. Essa não é uma diferença sutil – é uma relação fundamentalmente diferente entre o artista e a tecnologia.”
“Acreditamos que estas tecnologias carregam um potencial criativo genuíno para os artistas, mas esse potencial permanece bloqueado até que os fundamentos éticos sejam corrigidos”.
Feechan e di Paolo criaram a Imago como parte de sua pós-graduação em design industrial na Central Saint Martins de Londres. No ano passado, o colega graduado Max Park também criou um trabalho crítico baseado em IA chamado Prompting Nowhere, reimaginando a tecnologia através dos olhos do pioneiro das artes e ofícios, William Morris.
O posto O reprodutor de áudio Imago ilumina um caminho para o uso ético de IA na música apareceu pela primeira vez em Dezeen.
