Konferencja; Audiokineza

Akademia Muzyczna w Krakowie, 14 X 2016 r.

-------------------------------------------------------------------------------------------------------------------Ucho w ruchu
Marcin Strzelecki
[szkic do szkicu]
1. przestrze
Such jako zmys orientacji w przestrzeni (zob. M. Strzelecki ucho w przestrzeni, 2015)
W skrcie. Wzrok pierwszy, ale such ma rol pomocnicz, gdy wzrok zawodzi, a czasem
wrcz modyfikuje wraenia wzrokowe
Podstawy suchowej percepcji przestrzeni
- gono i faza
- binauralno
- ksztat maowiny (zmiana barwy)
- zasady grupowania Gestalt
- sterowanie odgrne (np. skupienie na treci, plan bardziej interesujcy wydaje si
bliszy)
- i inne
2. ruch
Such definitywnie wywouje wraenie ruchu w przestrzeni
wrcz jednym z wanych aspektw percepcji dwiku jest lokalizacja rda
przesankami do lokalizacji rde s akustyczne parametry dwiku (w zasadzie
wszystkie, wysoko, gono, barwa, kierunek)
ergo zawsze kiedy zmieniaj si parametry powstaje wraenie ruchu
such dostarcza przesanek o lokalizacji rde/obiektw wok nas
rozwaanie ruchu jest dalszym etapem
uzupenieniem o sytuacje, kiedy bd to porusza si obiekt, bd w ruchu jest ucho
jeli wyabstrahujemy z rozwaa sam such to te dwie sytuacje s w zasadzie
jednoznaczne
tzn. zjawiska psychoakustyczne s te same kiedy my si poruszamy, bd rdo, bd i
my i rdo
umys rozrnia te sytuacje dopiero przy wziciu pod uwag informacji z innych zmysw
wzroku, informacji z bdnika, ruchu naszego ciaa (czucia, dotyku)
w skrajnym uoglnieniu kada muzyka w ktrej co si zmienia wywouje wraenia ruchu
wchodzimy tutaj ju w metaforyczne rozumienie ruchu, nawet gdy go nie ma
wydaje si wic, e rozwaania na temat audytywnej percepcji ruchu rozpite pomidzy
dwoma biegunami
od bardzo elementarnych procesw psychicznych, wrcz na poziomie neuronalnym do
filozoficznych koncepcji ruchu, ktrych muzyka jest niejako symbolicznym
odzwierciedleniem
innymi sowy, od ruchu ucielenionego (embodiment) przez percepcj audytywn do
metaforycznego "poruszenia duszy"

3. przegld
Psychologiczne i neurologiczne wyjanienia
psychologicznie dominuje teoria snapshotw z lat 70 xx w
tutaj wyjanienie mechanizmw, ucilenie, rewizja
Auditory Motion Perception: Snapshots Revisited
D. Wesley Grantham
w: Binaural and Spatial Hearing in Real and Virtual Environments. Robert H. Gilkey, Timothy R. Anderson
(red.) 1997, New Jersey

oddzielenie przetwarzania
neurologicznie, gwnie prba umiejscowienia orodkw
dla systemu poznawczego wane jest rozpoznanie wzorcw
niewane gdzie jest obiekt, ani czy si porusza
ruch rda zmienia parametry wzorcw
mzg musi przede wszystkim zdecydowa czy obiekt si porusza
rozpoznanie ruchu i wzorca jest oddzielone w mzgu
wynik analizy ruchu dostraja procesy rozpoznania wzorca
(kalibruje, koryguje)
A movement-sensitive area in auditory cortex
Frank Baumgart, Birgit Gaschler-Markefski, Marty G. Woldorff, Hans-Jochen Heinze, Henning
Scheich
Nature 400, 724-726 (19 August 1999)

lokalizacja
Neural correlates of externalized auditory motion perception under reverberation
Akiko Callan, Hikari-dai
IUCS '09 Proceedings of the 3rd International Universal Communication Symposium, Pages 296-299, ACM New York, NY,
USA 2009

odkrywanie gdzie dokadnie zachodzi wraenie ruchu

Auditory cortical neurons in the cat sensitive to the direction of sound source movement
Anssi R.A. Sovijarvi, Juhani Hyvarinen
Brain Research, Volume 73, Issue 3, 28 June 1974, Pages 455471

These findings indicate that some cells in the primary auditory cortex of the cat perform a
special function in the detection of the direction of sound source movement.
A Comparison of Visual and Auditory Motion Processing in Human Cerebral Cortex
James W. Lewis, Michael S. Beauchamp 1 and Edgar A. DeYoe
Cerebral Cortex Sep 2000;10:873888

obszary, unikalne dla zmysu i wsplne, zalene od zadania, (zob. pniej

multisensoryczno)
Functional cerebral asymmetry in auditory motion perception.
Hirnstein M, Hausmann M, Lewald J.

Laterality. 2007 Jan;12(1):87-99.

lokalizacja - prawa pkula, to wiadomo

ale czy ruch te? te!
jednak zauwayli, e w rozpoznanie ruchu zaangaowana jest znacznie bardziej cao
mzgu, ni w lokalizacj stacjonarnych dwikw
czyli ruchomy dwik pobudza bardziej symetrycznie obie pkule
Perception of Auditory Movement in Children with Poor Listening Skills: An ERP Study
Ilse J.A. Wambacq, Kelly J. Shea-Miller, Anne M. Eckert, Virginia Toth
J Am Acad Audiol 16:312326 (2005)

o symetrii, w kontekcie uzdolnie suchowych

dobrze syszce aktywuj prawa pkul bardziej (tak jak wyej)
le syszce symetrycznie, obie pkule, brak specjalizacji
Auditory motion perception in normal hearing listeners and bilateral cochlear implant users
Keng Moua, Heath G. Jones, Alan Kan, Ruth Y. Litovsky
Conference on Implantable Auditory Prostheses, July 12-17, 2015, Lake Tahoe, CA.

akcentujemy udzia wyspecjalizowanych orodkw w mzgu

jednak ju na poziomie limaka zachodzi to
o czym wiadczy mog porwnania pomidzy pacjentami zdrowymi, oraz takimi z
implantami limaka, (moe tez to wiadczy o sabszym treningu osb z implantami)
inne:
Are there neurons detecting direction of sound source motion?
Altman JA.
Exp Neurol. 1968 Sep;22(1):13-25.

Synaptic Mechanisms in the Auditory System

Laurence O. Trussell,Arthur N. Popper,Richard R Fay
(redakcja)

tu ciekawostka: neurony odpowiedzialne za kinetyk nale do najszybszych w

centralnym ukadzie nerwowym
progi
Auditory Motion Perception Threshold
Bill Kapralos, Daniel Zikovitz, Saad Khattak
Haptic, Audio and Visual Environments and Games, 2007. HAVE 2007. IEEE International Workshop

ciekawe! istnieje prg zmian gonoci, intensywnoci i czasu zmian

zmiany poniej progu bd po prostu odbierane jako zmiany gonoci (np. zbyt szybko,
jako wibrato dynamiczne), ale zmiany powyej progw wywoaj wraenie ruchu
DOES REVERBERATION AFFECT UPPER LIMITS FOR AUDITORY MOtion perception?
Cdric Camier, Julien Boissinot, Catherine Guastavino
The 21 st International Conference on Auditory Display (ICAD2015) (ICAD 2015) July 810, 8-10, 2015, Graz, Austria

a propos: progi dyskryminacji (szybko pojawiania si bodcw)

pogos nie wypywa na zmiany tych progw

Upper limits of auditory motion perception: the case of rotating sounds

Feron, Francois-Xavier, Frissen, Ilja, Guastavino, Catherine
International Conference on Auditory Display, 2009 [43]

dokadniejsze progi, dwiki wirujce, suchacze wskazuj kiedy przestaj wirowa:

The thresholds ranged between 1.95-2.80 rot/s for noises and 1.65-2.75 rot/s for harmonic
sounds.
multisensoryczno
wzrok dominujcy, ale such moe wpywa
o zwizkach inter-sensorycznych
Auditory Motion Information Drives Visual Motion Perception
Souta Hidaka, Wataru Teramoto , Yoichi Sugita , Yuko Manaka, Shuichi Sakamoto, Yiti Suzuki
PLoS ONE 6(3): e17499. doi:10.1371/journal.pone.0017499

[] static visual stimuli are perceived as moving laterally by alternating left-right sound
sources. [] These findings suggest there exist direct interactions between auditory and
visual motion signals, and that there might be common neural substrates for auditory and
visual motion processing.
Auditory motion affects visual motion perception in a speeded discrimination task
Daniel Sanabria, Juan Lupiez, Charles Spence
Experimental Brain Research, April 2007, Volume 178, Issue 3, pp 415421

eksperyment z podskakujcymi dyskami, z dwikiem lub bez,

towarzyszcy dwik zmienia ocen prdkoci (zwiksza prdko)
czsty temat, inne:
Auditory motion capturing ambiguous visual motion
https://www.google.pl/search?client=ubuntu&channel=fs&q=Auditory+motion+capturing+ambiguous+visual
+motion&ie=utf-8&oe=utf-8&gfe_rd=cr&ei=n8X_V4K3N8Ov8wff7L3YDA

Auditory motion affects visual biological motion processing

A. Brooks, R. van der Zwan, A. Billard, B. Petreska, S. Clarke, O. Blanke
Neuropsychologia xxx (2006) [online print proof]

detekcja ruchu, przy interakcji zmysu wzroku i suchu

co si dzieje gdy przesanki si zgadzaj, a co gdy s sprzeczne
nie tylko wzrok, take rozumienie mowy:
Perception of Auditory Motion Affects Language Processing
Michael P. Kaschak, Rolf A. Zwaan, Mark Aveyard, Richard H. Yaxley
Cognitive Science 30 (2006) 733744

bada si jak bodce sensoryczne (gwnie wizualne) wpywaj na rozumienie zda o

ruchu. tutaj bodce suchowe (jest tu dobra literatura przedmiotu)
such wpywa na przetwarzanie mowy i czytanie
INNE na ten temat:
Moving multisensory research along: Motion perception across sensory modalities.
Soto-Faraco S, Spence C, Kingstone A (2004b)

Curr Direct Psychol Sci 13: 2932.

Sound alters visual motion perception.

Sekuler R, Sekuler AB, Lau R (1997)
Nature 385: 308.

When sound affects vision: Effects of auditory grouping on visual motion perception.
Watanabe K, Shimojo S (2001)
Psychol Sci 12: 109116.

Direction of visual apparent motion driven solely by timing of a static sound.

Freeman E, Driver J (2008)
Curr Biol 18: 12621266.

No direction-specific bimodal facilitation for audiovisual motion detection.

Alais D, Burr D (2004a)
Brain Res Cogn Brain Res 19: 185194.

i powana, dokdna teza doktorska:

INTERACTIONS BETWEEN AUDITORY AND VISUAL MOTION MECHANISMS AND THE ROLE
OF ATTENTION: PSYCHOPHYSICS AND QUANTITATIVE MODELS
ANSHUL JAIN
A Dissertation submitted to the Graduate School-New Brunswick, Rutgers, The State University of New Jersey

interakcja z poruszajcym si ciaem

Perceived auditory motion is inaccurate during smooth head rotation
Tom C. Freeman 1 , John F. Culling 1 , Michael A. Akeroyd 2 and W Owen Brimijoin
J. Acoust. Soc. Am. 137, 2201 (2015);

porwnanie wzroki i suchy, tworzenie reprezentacji ruchu przy zmiennej pozycji gowy
kolejne bardziej szczegowe, subtelne, rzeczywiste sytuacje, a nie laboratorium
robi si to bardzo zoone, metodologia: bayesiaskie sztuczne sieci neuronowe
powidoki, take multisensoryczne
Auditory motion aftereffects
D. Wesley Grantham, Frederic L. Wightman
Perception & Psychophysics, September 1979, Volume 26, Issue 5, pp 403408

wraenie ruchu moe by uwarunkowane kontekstem (priming)

po serii poruszajcych si w jednym kierunku dwikw
dwik stacjonarny postrzegany jest jako poruszajcy si, w przeciwnym kierunku
autorzy nazwali to : auditory motion aftereffect - suchowego ruchu powidok
a wic zachodz tu do subtelne zjawiska
Directionspecific acoustical aftereffects
W. H. Ehrenstein
J. Acoust. Soc. Am. 64, S35 (1978)

Detalicznie o powidokach
przy bodcach okoo 6khz nie wystpuje
zamiast tego lokalizacja statycznego rda jest przesunita (okoo 2 stopnie)
Dwch autorw szczeglnie aktywnych na tym polu:

Audiovisual short-term influences and aftereffects in motion: Examination across three sets of
directional pairings.
Jain A, Sally SL & Papathomas TV
Journal of Vision, 8(15), 7, 1-13, 2008

Jain et al. [1] showed that a strong motion signal in one modality (visual/auditory)
influences the perception of a simultaneously present weak motion signal in the other
modality (auditory/visual) for motion along the three cardinal axes. Furthermore, they also
observed auditory crossmodal motion aftereffects (MAE) for all directions and visual
crossmodal MAE for vertical direction of motion.
tworz te model wyjanienia na poziomie neuronalnym:
Computational Model for Interactions between Auditory and Visual Motion Mechanisms
Anshul Jain 1 , Thomas V. Papathomas
Bioengineering Conference, 2009 IEEE 35th Annual Northeast

The effect of trajectory on the auditory motion aftereffect

Michael F. Neelon, Rick L. Jenison
Hearing Research 180 (2003) 57^66

tu dokadniejsze mierzenie relacji midzy modlanoci wzrokow a suchem, w temacie

powidokw
inne
Directionspecific acoustical aftereffects
W. H. Ehrenstein
J. Acoust. Soc. Am. 64, S35 (1978)

w medycynie
A Simple Procedure Using Auditory Stimuli to Improve Movement in Parkinsons
Fernandez del Olmo, M., Cudeiro, J.
Neurology and Clinical Neurophysiology 2003:2 (January 25, 2003)

Choroba Parkinsona utrudnia uniemoliwia ruch

Zauwaono, e obecno wskazwek suchowych pomaga
Rodzaj metronomu wyznacza czas dziaania, i pozwala koordynowa ciau
Umoliwia poruszanie si. Autorzy prezentuj projekt takiego przenonego urzdzenia
tutaj bardziej szczegowe wyjanienie neurologiczne (pniejsze, tych samych autorw):
Evaluation of the effect of training using auditory stimulation on rhythmic movement in Parkinsonian
patientsa combined motor and [ 18 F]-FDG PET study
M. Fernandez del Olmo, P. Arias, M.C. Furio, M.A. Pozo, J. Cudeiro
Parkinsonism and Related Disorders 12 (2006) 155164

wykorzystanie: plastyczno, przejmowanie funkcji

Auditory motion perception activates visual motion areas in early blind subjects.
Poirier C, Collignon O, Scheiber C, Renier L, Vanlierde A, Tranduy D, Veraart C, De Volder AG.
Neuroimage. 2006 May 15;31(1):279-85. Epub 2006 Jan 27.

occipital cortex of blind people could be organized in a modular way, as in sighted people
(plastyczno i modularno mzgu)
Hearing visual motion in depth
Kitagawa N, Ichihara S (2002)
Nature 416: 172174.

For example, the adaptation made in response to moving visual stimuli induces a motion
aftereffect in the auditory modality [4]
w sporcie ?
Effect of music-movement synchrony on exercise oxygen consumption.
Bacon CJ , Myers TR, Karageorghis CI.
J Sports Med Phys Fitness. 2012 Aug;52(4):359-65.

jak si mona spodziewa, ruch koordynowany dwikiem wymaga mniej tlenu

uporzdkowany, mniej entropii w ruchu
w sztuce dwiku
Surround - sztuka oszukiwania (suchu)
Piotr Grecki
http://elportal.pl/pdf/k03/55_18.pdf , http://elportal.pl/pdf/k03/56_22.pdf

Ruch wok suchacza symulowa jest do atwo

Natomiast stosunkowo trudne jest symulowania oddalania i przybliania
Zoone procesy, odbicia, stosunek do szumu otoczenia (staego ta), i wreszcie zmiana
barwy (dwiki o niskim poziomie natenia maj w percepcji zawone spektrum, blisze
s barwniejsze)
Akustycy mwi e przekonujce wraenie do i od suchacza jest niemal niemoliwe
najlepiej sprawdzaj si przeciwlege goniki, dwik przechodzi przez suchacza
ale trudne jest okrelenie krzywych fejdowania
s te inne aspekty, jak wspomniana barwa, efekt Dopplera, zmiana fazy i td
badania a propos: dwikw przybliajcych si i oddalajcych
An Adaptive Bias in the Perception of Looming Auditory Motion
John G. Neuhoff
Ecological Psychology, 13(2), 87110

Such przecenia skal zganiania si dwikw,

Mechanizm adaptacyjny, ostrzegajcy bardziej, przed zbliajcymi si obiektami
Adaptive Sex Differences in Auditory Motion Perception: Looming Sounds Are Special
John G. Neuhoff and Rianna Planisek Erich Seifritz
[online printing proof]: Journal of Experimental Psychology: Human Perception and Performance 2008, Vol. xx, No. x, 000
000

dwiki do i od suchacza
rnice midzy pciami dotycz wycznie dwikw zbliajcych si
kobiety odbieraj je jako blisze
odlego dwikw oddalajcych si oceniana bya identycznie
do wykorzystania w muzyce tanecznej:

Influences of Rhythm- and Timbre-Related Musical Features on Characteristics of Music-Induced

Movement
Birgitta Burger, Marc R. Thompson, Geoff Luck, Suvi Saarikallio, Petri Toiviainen
Front Psychol. 2013; 4: 183. Published online 2013 Apr 12. doi: 10.3389/fpsyg.2013.00183

to przykad prac Toivainena, jest wicej, ciekawych

lista tutaj: http://users.jyu.fi/~ptoiviai/publications.html

(stosowana metoda: optical motion capture)

harmonia, barwa, dysonans, rozwizanie wykrca
powoduje wraenie ruchu, przenosi si na ciao
ciekawe, Rne cechy dwiku oddziauj na rne czci ciaa
czyste pulsy (beaty) cae ciao
ale zmiany barwy (spectral flux) na ruch gowy i rk
inny Toivainen:
Embodied meter: hierarchical eigenmodes in music-induced movement.
Toiviainen, P., Luck, G. & Thompson, M. (2010)
Music Perception, 28(1), 59-70.

Dwik indukuje ruch

Ruch zmienia percepcj elementw muzyki
np. efekt Dopplera (krcenie gow ;)
GRY
wwise
https://www.audiokinetic.com/
https://en.wikipedia.org/wiki/Audiokinetic_Wwise

soundart, Audio kinematics

http://www.glyph.de/en/project/audio-kinematics

oglne rda
przegld zagadnie w:
The Perception of Auditory Motion
Simon Carlile, Johahn Leung
Trends in Hearing, 2016, Vol. 20: 119

Music, Mind, and Embodiment

Richard Kronland-Martinet, Mitsuko Aramaki and Slvi Ystad
https://books.google.pl/books?id=-oggDQAAQBAJ&pg=PA107&lpg=PA107&dq=toivainen+sound
+movement&source=bl&ots=GjbUSqWOnC&sig=oLPQDocgaXuyiPljOuKc7xaeqVY&hl=pl&sa=X&ved=0ahUKEwiooJG8gdXP
AhVBWCwKHa_qDlcQ6AEIYDAJ#v=onepage&q=toivainen%20sound%20movement&f=false

oraz lista bibliografii:

http://web.calstatela.edu/faculty/dperrot/pub2.html

w stron audytywnej semantyki ruchu

kodowanie informacji o ruchu
Auditory coding of human movement kinematics.
Vinken PM, Krger D, Fehse U, Schmitz G, Brock H, Effenberg AO.
Multisens Res. 2013;26(6):533-52, erratum in: Multisens Res. 2014;27(3-4):263-4.

Dwik ma moliwoci kodowania informacji or uchu

Ale brak przekonujcych dowodw, e mona dwikiem kodowa ruch ciaa
Kodowanie informacji o ruchu ramienia
kluczowy termin : sonifikacja
badani mieli skojarzy prbki dwikowe z ruchami ramienia
Artificial acoustical kinematics pomocna w informacji o ruchu dla osb niewidomych
Hearing what the body feels: Auditory encoding of rhythmic movement
Jessica Phillips-Silver, Laurel J. Trainor
Cognition 105 (2007) 533546

Here we show that the way adults move their bodies to music influences their auditory
perception of the rhythm structure. [] Parallel results from adults and infants suggest that
the movement-sound interaction develops early and is fundamental to music processing
throughout life.
w stron wyszych funkcji mzgu
Images of time: temporal aspects of auditory and movement imagination
Rebecca S. Schaefer
Front Psychol. 2014; 5: 877. Published online 2014 Aug 12.

rzeczywiste a wyobraone
co dzieje kiedy wyobraamy sobie poruszajce si dwiku
wyobraenia ruchu i wyobraenia muzyki maj wsplne komponenty
podobne cechy, angauj podobne struktury i procesy poznawcze
ERGO muzyka jest ruchem, ruch jest muzyk
to i to informuje nas o czasie, o przepywie czasu
jest obrazem przepywajcego czasu
ruch ucha metaforycznie
w analizie muzyki
Music means movement: musings on methods for movement analysis in music
Jan C. Schacher
2015

muzyka wywouje oglne wraenia ruchu, aktywuje orodki ruchu

jest generalnym meta-bodcem (w terminologii S. Pinkera: auditory cheescake)
Wg psychologii ewolucyjnej
Muzyka synchronizuje dziaania
(wczoraj Podlipniak, wadza rytmu, socjalizacja przez rytm, take komunikacja/
sychronizacja emocjonalna)

polifonia renesansu i baroku

sztuka symulowania dynamicznie zmiennej przestrzeni
ruchy planw (trjwymiarowo muzyki)
owieceniowa teoria retoryki muzycznej - wyjanienia fizjologiczne w kategoriach
przepywu pynw ustrojowych, ktry to ruch stymulowany jest muzyk, i w rezultacie
wywouje emocje
np harmonia
Fetis opisuje relacje midzy wspbrzmieniami jako attractions (Traite 1844)
Kurth, Mersmann (pocz XX wieku) jako:
trajektorie, denie, cienie (grawitacja), kinetyka, tektonika
ale te rytm (to oczywiste) motoryka

nie tylko istnienie motoryki

take jeden, cigy dwik moe wywoywa wraenie pdu (pocztek Polimorfii
Pendereckiego)
Motoryka? uwaga! dopiero od czasu upowszechnienia maszyn, powszechnoci maszyn.
Wczeniej takie postrzeganie ruchu wcale niekoniecznie istniao
dochodz zjawiska kulturowe
i temat dopiero otwiera si
---------------------------------------------------------------------------------------------------------------------