O projeto

O projeto MR permite aos surdos,  uma melhor acessibilidade e fluência com as propriedades da musica, apresentando de maneira alternativa uma conexão com o ritmo, intensidade e interpretações sobre a melodia dos sons. A ideia surgiu como uma das aplicações do Método TRON observada em conjunto com alunos do ensino fundamental. A Startup TRON defende que um dos objetivos para se ensinar Robótica,  é usar a tecnologia por meio da mediação da Robótica Educativa para gerar soluções tecnológicas inclusivas, humanizadas e que estimule o pensamento crítico e a solução de problemas reais, gerando assim impactos sociais e o desenvolvimento de tecnologias disruptivas a favor da sociedade. 

O projeto MR, visa gerar uma onda de inclusão de pessoas surdas no mundo da música e também permitir, por exemplo, que surdos possam acompanhar de maneira mais sensível a shows e eventos que envolvam foco em comunicação musical.  Estima-se que até o final do ano de 2022, alguns testes sejam feitos em eventos musicais, com um número significativo de pessoas surdas, para validação da primeira etapa da tecnologia. 

O projeto terá uma versão open source para doações, baseada em impressora 3D e componentes eletrônicos acessíveis, sendo assim possível o desenvolvimento em escolas que possuem o método tron, ou laboratórios Maker sediados em universidades e centros técnicos de ensino. Possivelmente uma versão comercial poderá ser desenvolvida para atender a uma quantidade maior de pessoas e também estrutura de shows e eventos.  A seguir alguns vídeos e informações acerca do desenvolvimento do projeto.

Quarto Teste da Tecnologia - Rock In Rio 2022

A noite do dia 04 de setembro de 2022 entrou para história da acessibilidade no mundo. A tecnologia MR foi testada pela primeira vez em seu grau máximo de mobilidade pelos estudantes surdos Alex Bill e Maria Rita, ambos participaram do show do Lil Whind no Rock In Rio 2022 com o verdadeiro significado de inclusão.

Com uma a versão do dispositivo móvel com autonomia de 3 horas de bateria, puderam transitar, dançar e estar onde desejam estar durante o show e o evento. Eles tiveram acesso a tecnologia ainda na fila de entrada, por volta das 18:30 e permaneceram com o dispositivo até as 22:00, já cansados de dançar, resolveram fazer uma pausa e esticar as pernas. Esse teste foi muito importante, pois valida a mobilidade da tecnologia além de conforto e eficiência, pois visivelmente podemos perceber um misto de emoções e prazer nas afeições emitidas por eles.

Durante todos os testes eu pude acompanhar detalhes, coletar feedbacks e fazer observações para aprimoramento da tecnologia. Não preciso dizer o quanto foi emocionante poder presenciar a materialização de uma tecnologia desenhada por mim e desenvolvida pela TRON Robótica Educativa. Após o show, não podíamos deixar de bater um papo com o artista Whinderson Nunes, protagonista do Lil Whind e também socio da TRON, que desde o início apoiou fortemente o desenvolvimento da tecnologia MR.

Vale destacar, que um documentário foi gravado mostrando um pouco da historia da estudante surda Maria Rita e de como se deu a ideia para o desenvolvimento da tecnologia. Parte do documentário se deu no contexto das cidades de Tauá e de Crateus no Ceara e se finalizou na ida e nos bastidores do festival. Acompanhe a seguir alguns vídeos dos bastidores do momento.

 Primeiro teste do projeto em surdo

Agradecimentos da aluna Maria Rita ao projeto.

Testes feitos sem 28 de maio de 2022

Segundo teste do MR em Pessoa Surda (10/06/2022)

Durante o III Congresso de Educação do SESC SENAC no Ceará ocorrido entre 08 e 10 de junho, tivemos a oportunidade de promover o segundo teste do projeto MR. Contamos com a ajuda do estudante de psicologia Rikyson, surdo, que durante o evento utilizou por uma média de duas horas ininterruptas o dispositivo. Ele acompanhou uma atividade laboral dançante e pode pela primeira vez sentir os efeitos sonoros do ambiente de forma mais intensa e cadenciada. O projeto já está na sua terceira versão e durante o evento funcionou ainda conectado a uma fonte elétrico e no modo de capitação ambiente, mas já foi possível melhorar significativamente a usabilidade, permitindo inclusiva a dança. O projeto segue com melhorias e os próximos teste darão ainda mais sensibilidades, pois teremos o uso de baterias, permitindo assim uma independência para movimentações.  A seguir uma entrevista com o Erikyson sobre essa experiência e alguns momentos de capitação do evento.

A seguir, a capitação dos bastidores de um momento incrível. Rikyson inicialmente se apresentou com uma pessoa tímida que não tinha interesse em demonstrar performances musicais,  mas foi só ser contagiado pelo rítmico dançante e pela energia dos presentes, que a timidez  foi posta de lado e dança literalmente envolver seu corpo com a música. 

Terceiro Teste do Projeto MR (18/06/2022)

Sábado, 18 de junho de 2022, o Piauí entrou para história da inclusão social, testando em tempo real o projeto MR, que auxilia surdos a sentirem sons. Durante o show do artista Whinderson Nunes, três estudantes surdos (Douglas, Mizael e Luan), tiveram a oportunidade de assistir todo o show portando a versão 2 do dispositivo MR. Com a tecnologia os estudantes perceberam a fluência sonora com que o show foi conduzido por meio da emoção das palmas e das apresentações musicais. 

Os resultados foram muito satisfatórios e as experiências inesquecíveis para eles. O projeto MR agora segue para uma etapa de aperfeiçoamento em tamanho, peso e eficiência de 5 horas de show, com uso de uma única carga de baterias. Acreditamos que o próximo teste será em uma quantidade de 20 participantes de forma simultânea. Recebemos um convite para fazer o teste no próximo Rock in Rio, que acontecerá em setembro desse ano. 

A experiência foi marcante pois em vários momentos de euforia da plateia por conta das piadas, os surdos com o dispositivo recebiam uma carga semelhante em termos de vibrações e olhavam para trás visualizando a multidão, para entender o que estavam acontecendo e se contagiavam com a energia da plateia. Isso não tem preço, para nós que desenvolvemos ciência a favor das pessoas, pois é esse tipo de Feedback,  que compensa cada esforço feito.

A TRON segue firme e forte desenvolvendo inclusão e fluência digital, por meio da Robótica Educativa, criando assim, tecnologias a favor da vida e transpondo barreiras. 

veja mais detalhes sobre os bastidores

Características Técnicas

Circuito Elétrico

O projeto elétrico do MR, consiste no uso de sensores de ruído para captação sonora do ambiente. Os estímulos sonoros são captados e processados por meio de uma interface de programação, em nossos testes preliminares estamos usando uma placa Arduino nano. Após a captação e processamento do sinal, uma onda quadrada com níveis de intensidades é criada e ampliada por meio de uma ponte H, que estimulará a vibração dos motores.

O processamento ocorre em milissegundos, o que torna o processo de captação, processamento e estímulo muito rápidos, reproduzindo uma sensação de tempo real de feedbacks. Nesta Etapa Elétrica,  utilizamos uma shield de apoio desenvolvida pela TRON, que estabiliza o circuito e nos permite trabalhar de forma mais robusta e organizada. A Shield também possui dispositivo bluetooth que permite uma conexão com fontes sonoras, como um smartphone. Neste caso, desenvolvemos adequações em um sensor de ruídos, para que os estímulos sonoros sejam coletados de maneira interna, diretamente de uma fonte, sem a influência ou interceptação dos estímulos internos. Dessa forma, o dispositivo passou a contar com uma segunda forma de captação do som.

A parte elétrica do sistema de vibração, consiste no uso de motores CC com potências e pesos de vibração diferentes, gerando assim níveis de vibrações que serão correlacionados com médio, grave e agudo do som captado. Toda efetividade do sistema elétrico, reside na capacidade de captação e transmissão rápida dos estímulos mecânicos, gerando assim uma cadência com a música e deixando perceptivo as batidas do ritmo e intensidades do volume musical.  Neste caso, uma estabilidade elétrica robusta com o uso de reguladores de tensão, se faz necessário para os efeitos rebotes da lei de Lenz. 

Processamento do Sinal

O sinal capitado é regularizado por meio de calibração, que podem ser feitas de maneira manual ou automáticas. Para o uso do processamento do sinal, aplicamos algumas noções de série e transformadas de Fourier para construção de um padrão de sinal contínuo, dispensando os ruídos. esses sinais são interpretados de forma temporal a acumularem um pulso significativo, transpondo assim os estímulos para o formato de uma onda quadrada.  

A intensidade da onda pode variar de acordo com a intensidade da captação e a frequência de vibração. O objetivo do processamento é retornar um sinal fluido, espacial e que tenha ao máximo uma relação de isomorfismo com a estrutura de som captada. 

A música, em suas propriedades ondulatórias, pode manter as informações de ritmo e melodia, desde que, seja transformada de um sistema para o outro de forma adequada, neste caso, a transformação é de estímulos mecânicos por meio da vibração do som pelo ar para sinais elétricos e finalmente mecânicas com o uso de motores.

Já na segunda forma, as vibrações são captadas diretamente por estímulos elétricos e seguem ao final a mesma fórmula de estímulo do modelo de captação anterior.  O foco do processamento não reside no tipo de linguagem programação, o que permitirá a muitos programadores desenvolverem filtros específicos que poderão ser interpretados pelo dispositivo e para que isso seja possível, um app de gerenciamento e captação será desenvolvido com uma interface amigável e com suporte para desenvolvimento open source.

1 - Como surgiu a ideia de criar essa tecnologia? 

No decorrer do ano é muito comum o desenvolvimento de feiras de ciências, com o objetivo de explorar o conteúdo apresentado  pelo método nas escolas de forma aplicada. Em uma visita costumeira às escolas, conheci na Escola Antônio Araripe, localizada na cidade de Tauá no estado do Ceará, a aluna Maria Rita, estudante surda e que me chamou atenção por participar em uma apresentação que envolvia a dança. Após minha palestra, conversei com a Maria Rita com o auxílio de uma intérprete e, ao questinar em como ela conseguia acompanhar as colegas e desenvolver a coreografia, ela explicou que dependia fortemente de feedbacks visuais e que precisava se concentrar muito, para memorizar os passos e tentar manter o ritmo, mesmo não conseguindo sentir a música. Aquela conversa mexeu muito comigo, lembro de naquela noite ter ficado pensativo. Um dos objetivos da TRON é utilizar a 2-    As sensações causadas pelas músicas são diferentes para cada sonoridade? tecnologia a favor das pessoas, a fim de desenvolver ações que humanizam e que possam gerar inclusão tecnológica e qualidade de vida. No dia seguinte, já explorando algumas ideias, interagi mais uma vez com a Maria Rita e sua intérprete e fizemos algumas anotações. Assumi naquele momento, o compromisso de tentar com o uso de robótica aplicada, desenvolver um dispositivo que auxiliasse pessoas como ela, a sentirem a música por meio de estímulos mecânicos. Por conta da pandemia, o projeto atrasou um pouco, mas foi retomado no início de 2021 dois anos após a visita. 

 3-    Qual tecnologia a Tron utilizou para criar o aparelho que permite que pessoas surdas possam sentir as sensações musicais?

Inicialmente, decidimos utilizar a mesma tecnologia ensinada nas escolas que possuem o método TRON, pois é uma forma de mostrar para os alunos que com o uso de Robótica Educativa, é possível desenvolver soluções para problemáticas reais. Utilizamos tecnologia Arduino e com um pouco de conhecimento técnico, foi possível construir um dispositivo robusto, usual e que mostrou ótimos resultados já a partir dos primeiros testes.

4-    Como funciona o aparelho? Que tipo de vibração as pessoas surdas sentem ao utilizarem?

O aparelho é capaz de captar vibrações sonoras em três estágios: Vibrações ambiente, com o uso de um sensor de ruído; conexão com uma fonte sonora por meio de conexão bluetooth, como por exemplo smartphone executando músicas no spotify comuns e por último,  sinais e áudios previamente processados para uma melhor experiência com o dispositivo. 

Está sendo desenvolvido um App de controle para se conectar com o dispositivo e assim dispor de uma série de configurações e calibragens.

As pessoas surdas, irão perceber por meio de vibrações com “pesos”, intensidades e frequências diferentes, estímulos na região do tórax e dessa forma, poderão diferenciar e sentir algumas propriedades musicais como estrutura de melodia, ritmo e intensidade sonora. 

Cada música tem sua assinatura e essas mesmas serão transferidas para estímulos mecânicos e com o uso de algoritmos, muitos resultados poderão ser alcançados. Com a evolução dos estudos, o uso de Inteligência Artificial será muito importante para se desenvolver assinaturas e interações cada vez mais sutis.

5-    O projeto tem como objetivo realizar impacto social. Ele já está disponível no mercado? É de fácil acesso para pessoas com baixa renda?

A ideia é desenvolver uma solução acessível, compartilhada e de baixo custo. Todo o projeto será documentado e disponibilizado sob licença aberta (open source) no site da TRON para uso social (doações), já que com o uso de alguns componentes e uma impressora 3D amadora, será possível desenvolver o dispositivo relativamente funcional. 

Acreditamos que com o compartilhamento, muitos programadores pelo mundo, irão nos ajudar a desenvolver novos filtros para uso musicais, por exemplo, filtros para música clássica, rock etc. Também estamos abertos a parcerias, caso alguma marca ou alguém deseje investir para melhorar o desenvolvimento de reprodução da tecnologia inicial, para torná-lo comercial, criando assim uma escala de produção e atendendo a um público muito maior. 

6-    Além de proporcionar as sensações músicas a pessoas surdas, o aparelho tem mais alguma outra funcionalidade? 

 Sim. Com os testes já feitos, percebemos que o aparelho tem ótima usabilidade no processo de aprendizado de música, pois é possível perceber o tempo musical de maneira cognitiva via tato. Muitas pessoas que escutam ou que apresentam deficiência auditiva, provaram o aparelho e perceberam uma forma diferente de sentir a música, ocasionando uma melhor concentração e um relaxamento, fazendo referência a um processo de terapia de descanso. 

7-    Quais são as expectativas e objetivos que pretendem alcançar com a iniciativa?

Com o apoio dado pelo artista Whinderson Nunes, estimamos um próximo teste em um dos seus shows, onde participantes surdos vão poder acompanhar todo o show experimentando o dispositivo e dessa forma, estimulamos que teatros e shows possam disponibilizar cada vez tecnologias inclusivas como essa. Também fomos convidados a participar de um teste no próximo Rock In Rio.

A primeira fase da tecnologia está estimada para o fim do ano, onde já será possível desenvolvermos testes em uma maior escala, inclusive em outros países. 

Com iniciativas como essa, a TRON cumpre o seu papel de Startup disruptiva , que por meio da inserção da cultura tecnológica em escolas, usando a Robótica Educativa, promove as alicerces para a construção de um futuro melhor, inclusivo e com tecnologia humanizada a favor da sociedade.