Transcrição Automática de Música com

informações de partitura

Aluno: Paulo Oliveira Lenzi Valente

Orientador: Luiz Wagner Pereira Biscainho
 Sumário
• Motivação

• Técnicas cegas

• Informações de partitura

• Conclusão

2
 Motivação
• Análises interpretativas
– Necessidade de marcação manual das notas musicais
• Encontrar todos os instantes nos quais começam
notas musicais (onsets)
• Algoritmos cegos com muitos falsos positivos
– Dificuldades:
• Polifonia
• Faixa dinâmica
• Sobreposição de notas

3
 Técnicas cegas
• Fatoração em matrizes não-negativas (NMF)
• Fluxo espectral (Spectral Flux)

• Avaliação:
𝑇𝑃 𝐴𝑐𝑒𝑟𝑡𝑜𝑠
• 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = =
𝑇𝑃+𝐹𝑃 𝑂𝑛𝑠𝑒𝑡𝑠 𝐷𝑒𝑡𝑒𝑐𝑡𝑎𝑑𝑜𝑠
𝑇𝑃 𝐴𝑐𝑒𝑟𝑡𝑜𝑠
• 𝑅𝑒𝑐𝑎𝑙𝑙 = =
𝐹𝑁+𝑇𝑃 𝑂𝑛𝑠𝑒𝑡𝑠 𝑅𝑒𝑎𝑖𝑠
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 . 𝑅𝑒𝑐𝑎𝑙𝑙
• 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙

4
 Fatoração em Matrizes Não-Negativas
Resultados iniciais
Arquivo Precisão Recall F1-score
Sonata (Mozart)[MIDI] 21.1% 21.1% 21.1%
Sonata (Mozart)[interpretado] 28.6% 21.1% 17.4%
Prelúdio 4 (Chopin) 66.7% 42.1% 51.6%
Resultados após modificações da implementação
Arquivo Precisão Recall F1-score
Sonata (Mozart)[MIDI] 57.7% 93.8% 71.4%
Sonata (Mozart)[interpretado] 37.9% 68.8% 48.9%
Prelúdio 4 (Chopin) 78.6% 57.9% 66.7%

5
 Fluxo Espectral
• Definição:
𝑺 = 𝑆𝑇𝐹𝑇{𝑎𝑢𝑑𝑖𝑜}
𝑿 = 𝑅𝑒𝑎𝑙 𝑺 + 𝐼𝑚𝑎𝑔{𝑺}
𝒀=𝑿 𝑛 −𝑿 𝑛−1
𝒀 + |𝒀|
𝑦′ = ෍
𝟐
𝒍𝒊𝒏𝒉𝒂𝒔
𝑦′
𝑦=
𝑚𝑎𝑥(𝑦 ′ )
𝑂𝑛𝑠𝑒𝑡𝑠 = 𝑝𝑖𝑐𝑜𝑠 𝑒𝑚 𝑦

6
 Fluxo Espectral
Resultados para o algoritmo de Spectral Flux
Arquivo Precisão Recall F1-score
Sonata (Mozart)[MIDI] 93.8% 93.8% 93.8%
Sonata (Mozart)[interpretado] 54.2% 81.3% 65.0%
Prelúdio 4 (Chopin) 47.4% 94.7% 63.2%
Prelúdio 1 (Chopin) 37.7% 64.5% 47.6%
Prelúdio 2 (Chopin) 0.91% 71.4% 16.1%

7
 Informação de partitura

• Arquivo MIDI
– Onset, Intensidade (velocity), Nota (altura)
– Atualmente apenas utilizando os onsets

8
 Experimento
Parâmetros do Alinhamento
Tamanho de Janela 100ms
Sobreposição de Janela 0%
Tolerância para onsets 66ms

Parâmetros do Spectral Flux

Tamanho de Janela 75ms
Sobreposição de Janela 75%

9
 Experimento

• Mostrar os resultados da Elisa

– Alinhamento
– Audio cego
– Audio informado

10
 Conclusão

• Contrastar resultados do alg. Cego com os

resultados do alg. informado

11
 Trabalhos Futuros

• Utilizar informações de F0
• Melhorar o detector de onsets

12
 Obrigado!

13