Thesis: Attention maps reveal stimulus-dependent retinal population codes
| datacite.subject.fos | Medical and Health sciences::Basic medicine::Neurosciences (including psychophysiology) | |
| datacite.subject.fos | Engineering and technology::Electrical engineering, Electronic engineering, Information engineering | |
| dc.contributor.correferente | Araya López, Mauricio Alejandro | |
| dc.contributor.correferente | Orio Álvarez, Patricio | |
| dc.contributor.department | Departamento de Electrónica | |
| dc.contributor.guia | Escobar Silva, Maria Jos´w | |
| dc.coverage.spatial | Campus Casa Central Valparaíso | |
| dc.creator | Miqueles Varela, Francisco | |
| dc.date.accessioned | 2026-09-08T14:51:13Z | |
| dc.date.available | 2026-09-08T14:51:13Z | |
| dc.date.issued | 2026-08-07 | |
| dc.description.abstract | Understanding how deep learning models map neural population activity to stimuli requires both high predictive accuracy and interpretable internal mechanisms. In this work, we employ the POYO framework, a scalable transformer architecture based on spike tokenization and latent modeling, to decode large-scale retinal ganglion cell recordings. We ask whether the model's attention mechanisms can provide biologically meaningful insight by evaluating two contrasting conditions: a uniform flash stimulus and a spatiotemporally structured moving ball stimulus. We show that the model decodes both stimuli reliably and adapts rapidly to new preparations via fine-tuning, suggesting the capture of transferable population codes. We then analyze the model’s internal organization, revealing that encoder attention patterns adapt to stimulus complexity: attention heads appear synchronized and broadly distributed for the flash stimulus, whereas they exhibit heterogeneous, specialized allocation strategies for the moving ball. By aggregating attention weights to identify the most relevant neurons for each task, we demonstrate that these high-attention units possess distinct physiological signatures—concentrating sustained, high-firing-rate responses for the flash versus diverse kinetics for the structured input. We confirm the causal validity of these findings via attention-guided ablations, where the progressive removal of these top-ranked units yields systematic losses in decoding performance. Furthermore, we expand the analysis to the decoder's attention, uncovering stimulus-specific retrieval strategies where individual heads exhibit distinct directional tuning preferences. We conclude that generic attention mechanisms can spontaneously recover biological coding strategies, identifying functionally distinct neural subpopulations without supervision, thus validating the utility of transformer-based architectures for neuroscientific discovery. | en_US |
| dc.description.abstract | Comprender cómo los modelos de aprendizaje profundo mapean la actividad de la población neural con los estímulos requiere tanto de una alta precisión predictiva como de mecanismos internos interpretables. En este trabajo, empleamos el framework POYO, una arquitectura transformer escalable basada en la tokenización de spikes y el modelado latente, para decodificar registros a gran escala de células ganglionares de la retina. Nos preguntamos si los mecanismos de atención del modelo pueden proporcionar información biológicamente significativa mediante la evaluación de dos condiciones contrastantes: un estímulo de flash uniforme y un estímulo de una bola en movimiento estructurada espaciotemporalmente. Mostramos que el modelo decodifica ambos estímulos de manera confiable y se adapta rápidamente a nuevas preparaciones mediante fine-tuning, lo que sugiere la captura de códigos poblacionales transferibles. Luego, analizamos la organización interna del modelo, revelando que los patrones de atención del codificador se adaptan a la complejidad del estímulo: los cabezales de atención aparecen sincronizados y ampliamente distribuidos para el estímulo de flash, mientras que exhiben estrategias de asignación heterogéneas y especializadas para la bola en movimiento. Al agregar los pesos de atención para identificar las neuronas más relevantes para cada tarea, demostramos que estas unidades de alta atención poseen firmas fisiológicas distintas, concentrando respuestas sostenidas con altas tasas de disparo para el flash, frente a cinéticas diversas para la entrada estructurada. Confirmamos la validez causal de estos hallazgos mediante ablaciones guiadas por atención, donde la eliminación progresiva de estas unidades de mayor rango genera pérdidas sistemáticas en el rendimiento de la decodificación. Además, expandimos el análisis a la atención del decodificador, descubriendo estrategias de recuperación específicas del estímulo donde los cabezales individuales exhiben preferencias distintas de sintonización direccional. Concluimos que los mecanismos de atención genéricos pueden recuperar espontáneamente estrategias de codificación biológica, identificando subpoblaciones neurales funcionalmente distintas sin supervisión, validando así la utilidad de las arquitecturas basadas en transformers para el descubrimiento neurocientífico. | es |
| dc.description.degree | Magíster en Ciencias de la Ingeniería Electrónica | |
| dc.description.sponsorship | Agencia Nacional de Investigación y Desarrollo (ANID)-FONDECYT Project 1230170, 1200880 | |
| dc.description.sponsorship | Agencia Nacional de Investigación y Desarrollo (ANID)-FONDECYT-EXPLORACIÓN-13220082 | |
| dc.driver | info:eu-repo/semantics/masterThesis | |
| dc.format.extent | 81 páginas | |
| dc.identifier.barcode | MC_FM_2026 | |
| dc.identifier.doi | 10.71959/gxsm-2g64 | |
| dc.identifier.uri | https://cris.usm.cl/handle/123456789/4521 | |
| dc.identifier.uri | https://doi.org/10.71959/gxsm-2g64 | |
| dc.language.iso | en | |
| dc.publisher | Universidad Técnica Federico Santa María | |
| dc.rights | Attribution-NoDerivatives 4.0 International | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nd/4.0/ | |
| dc.subject | Neural decoding | |
| dc.subject | Retina | |
| dc.subject | Retinal ganglion cells | |
| dc.subject | Interpretability | |
| dc.subject | Attention | |
| dc.subject | Latent representations | |
| dc.subject | Decodificacion neural | |
| dc.subject | Células ganglionares de la retina | |
| dc.subject | Interpretabilidad | |
| dc.subject | Atención | |
| dc.subject | Representaciones latentes | |
| dc.title | Attention maps reveal stimulus-dependent retinal population codes | |
| dc.type.driver | info:eu-repo/semantics/masterThesis | |
| dspace.entity.type | Tesis |
Política de Privacidad 
