Brain network analysis for capturing transitions between perceptual states

PN-III-P4-PCE-2021-0408

Contract number: PCE13/2022

Sponsored by the Romanian National Authority for Scientific Research CNCS-UEFISCDI and the European Comission

Project Coordinator: Dr. Mária-Magdolna Ercsey-Ravasz, Babeș-Bolyai University, Cluj-Napoca

Period: 02 June 2022 - 31 December 2024

E-mail: ercsey.ravasz@phys.ubbcluj.ro, maria.ercsey@ubbcluj.ro

Research topic:

Both network science and nonlinear dynamics play a crucial role in a variety of scientific domains from physics to biology, and recently also in neuroscience, where studying networks of brain regions gained high popularity. These can be structural networks, where links describe the actual wiring, or functional networks (FNs) describing the dynamics of the brain. Countless evidence suggest that FNs are not static, but evolve in time, being reconfigured on the fly as, for example, a perceptual process unfolds in time. Our goal is to capture the transitions between perceptual states. We will focus on a human EEG dataset involving a visual task, where object recognizability was manipulated from very hard to easy and the goal is to capture the so-called “aha” moment when the stimulus is recognized. We hypothesize that a dramatic FN reorganization appears at these moments. 1) We will study the evolution of FNs extracted as correlation measures between the activity of different regions, comparing the network properties before and after recognition, or between cases where conscious recognition did or did not occur. 2) We will use state transition networks (applying methods we recently developed) to process these EEG signals and study the dynamics at these key moments. While this interdisciplinary project may result in highly valuable results in understanding visual perception, by generalizing these methods, they can become useful tools in analysing all kinds of time signals.

Objectives:

  1. To study the evolution of functional brain networks: 1.) a longitudinal comparison of pre- and postdecision FNs and 2.) a cross-sectional comparison of both pre- and post-decision FNs in case of different responses (“nothing”, “uncertain”, “seen”).
  2. To use state transition networks and the Lyapunov-type measure previously developed by our group to study the dynamics at these key moments to capture the moment of stimulus recognition.

Estimated results:

Functional networks extracted with different methods

  • properties of these networks and their comparison between different situations and conditions (pre- and post-decision, and different responses)
  • identifying sensible properties that change at the "aha" moment of stimuli recognition
  • transforming the EEG signals into state transition networks
  • the Lyapunov exponent on these networks and comparison between different conditions and responses

Progress:

Phase I (2 June 2022 - 31 December 2022):

Task 1.1 Extraction of functional networks from EEG signals

Task 1.2 Analyzes of the obtained functional networks - Part 1

Executive summary (RO)

Atât știința rețelelor, cât și dinamica neliniară joacă un rol crucial într-o varietate de domenii științifice, de la fizică la biologie și, recent, și în neuroștiințe, unde studierea rețelelor formate de regiunile creierului a câștigat popularitate. Acestea pot fi rețele structurale, în care legăturile descriu conexiunile reale sau rețele funcționale (RF) care descriu dinamica creierului. Nenumărate dovezi sugerează că RF nu sunt statice, ci evoluează în timp real, de exemplu asemenea unui proces perceptual care se derulează în timp.
În acest proiect în scopul captării tranzițiilor dintre stările perceptive analizăm un set de date EEG uman care implică o sarcină vizuală, în care recunoașterea obiectelor a fost manipulată de la greu la ușor și scopul este de a surprinde așa-numitul moment „aha” când stimulul este recunoscut. Ipoteza este că apare o reorganizare dramatică a RF în aceste momente. Proiectul se concnetrează pe două linii majore: 1) Vom studia evoluția RF extrase ca măsuri de corelație între activitatea diferitelor regiuni, comparând proprietățile rețelei înainte și după recunoaștere sau între cazurile în care recunoașterea conștientă a avut loc sau nu. 2) Vom folosi rețele de tranziție de stare (aplicând metodele noastre dezvoltate recent) pentru a procesa aceste semnale EEG și a studia dinamica în aceste momente cheie.
În prima etapă am avut următoarele rezultate: 1) Am implementat metoda SCA cu care extragem rețelele funcționale. Avem baza de date cu rețelele funcționale extrase pentru fiecare individ, pre- și post-decizie, fiecare răspuns (recunoscut, nesigur, nimic). Am analizat câteva proprietăți ale rețelelor: distribuția ponderilor și distribuția distanțelor între noduri. Comparând aceste distribuții între pre- și post-decizie pentru fiecare răspuns și individ, rezultatele preliminare arată că în cele mai multe cazuri diferențele sunt cele mai mari în cazul când subiectul recunoaște stimulul, și scad când nu recunoaște. Diferențele când subiectul nu este sigur pot varia mult din cauza numărului mic de astfel de cazuri. Există câțiva indivizi unde diferențele sunt mult mai mici și arată o tendință diferită. 2) Am mai dezvoltat un algoritm de clusterizare care va fi utilizat anul viitor pe datele experimentale. Vrem să detectăm cum se schimbă structura modulelor în grafuri între diferite stări perceptive. 3) Am rescris și am optimizat codurile cu care vom analiza rețelele de tranziții de stare din partea a doua a proiectului începând din anul viitor.
Acest proiect interdisciplinar poate duce la rezultate valoroase în înțelegerea percepției vizuale, prin generalizarea acestor metode, ele pot deveni utile și în analiza altor tipuri de semnale.

Progress:

Phase II (1 January 2023 - 31 December 2023):

Task 2.1 Analyzes of the obtained functional networks - Part 2

Task 2.2 Analyzes of the distribution of the statistical properties of functional networks - Part 1

Task 2.3 Extraction of phase transition networks from experimental data

Executive summary (RO)

Atât știința rețelelor, cât și dinamica neliniară joacă un rol crucial într-o varietate de domenii științifice, de la fizică la biologie și, recent, și în neuroștiințe, unde studierea rețelelor formate de regiunile creierului a câștigat popularitate. Acestea pot fi rețele structurale, în care legăturile descriu conexiunile reale sau rețele funcționale (RF) care descriu dinamica creierului. Nenumărate dovezi sugerează că RF nu sunt statice, ci evoluează în timp real, de exemplu asemenea unui proces perceptual care se derulează în timp.
În acest proiect în scopul captării tranzițiilor dintre stările perceptive analizăm un set de date EEG uman care implică o sarcină vizuală, în care recunoașterea obiectelor a fost manipulată de la greu la ușor și scopul este de a surprinde așa-numitul moment „aha” când stimulul este recunoscut. Ipoteza este că apare o reorganizare dramatică a RF în aceste momente. Proiectul se concentrează pe două linii majore: 1) Vom studia evoluția RF extrase ca măsuri de corelație între activitatea diferitelor regiuni, comparând proprietățile rețelei înainte și după recunoaștere sau între cazurile în care recunoașterea conștientă a avut loc sau nu. 2) Vom folosi rețele de tranziție de stare (aplicând metodele noastre dezvoltate recent) pentru a procesa aceste semnale EEG și a studia dinamica în aceste momente cheie.
După ce în prima etapă am dezvoltat metoda cu care extragem rețelele funcționale, acum în Etapa 2 pentru fiecare individ, si fiecare stimul vizual am extras 3 rețele în 3 diferite faze ale experimentului (înainte de stimul, după stimul și înaintea deciziei). În funcție de parameterul G care descrie dificultatea recunoașterii stimulilor, am extras distribuțiile diferitelor proprietăți ale rețelelor (distirbuția ponderilor muchiilor și distribuția distanțelor dintre noduri). Comparând perioada dinainte și după apariția stimului vizual se vede că diferențele între proprietățile rețelelor depind de G, cel puțin la majoritatea indivizilor. Aici vom continua investigarea rezultatelor în etapa următoare.
Legat de rețelele de tranziții de stare (STN) avem 5 rezultate mai importante: 1) Am obținut niște rezultate teoretice unde am dezvoltat o expresie analitică în formă închisă pentru măsura Lyapunov a STN-urilor. 2) Am studiat cum ar fi optimal să alegem planul Poincare la extragerea STN-urilor. Concluzia a fost că rezultatele nu sunt foarte sensibile la modul cum alegem planul Poincare. 3) Am studiat efectul tăierii STN-urilor. Fiindcă datele experimentale sunt de obicei serii mai scurte, nu avem detsule date, deci în STN-ul extras pot lipsi muchii, mai ales cele cu ponderi mici. Am testat pe date artificiale, ce se întâmplă cu măsura Lyapunov și entropia dacă scoatem din STN-uri o parte din muchii. Și aici am văzut că rezultatele rămân consistente pînă la scoaterea aprox. a 30% ale muchiilor. 4) Am studiat și efectul zgomotului asupra semnalelor. Zgomotul este tolerat relativ bine în regimul haotic, mai puțin în regimul periodic ale dinamicii. 5) Avem niște rezultate preliminare pe datele experimentale, numai pe un singur individ. Aceste analize urmează să fie continuate în etapa următoare.
În această etapă a fost acceptat un articol știintific și alte 2 articole sunt momentan sub evaluare. Membri proiectului au ținut 6 prelegeri invitate, 5 prezentări orale și 2 postere la conferințe internaționale, 4 prezentări la confeirnțe naționale, și au fost și 3 diseminări (interviuri etc.) în media.

ISI Journal articles published during the project:

1. F. Molnar, Sz. Horvat, AR Ribeiro Gomes, JM Armas, B. Molnar, M. Ercsey-Ravasz, K. Knoblauch, H. Kennedy, Z. Toroczkai. “Predictability of cortico-cortical connections in the mammalian brain”, Network Neuroscience, 1-56, https://doi.org/10.1162/netn_a_00345 (accepted)

2. Levente Varga, Botond Molnar, Vasile V. Moca, Laura Perez-Cervera, Mohamed Kotb Selim, Antonio Díaz-Parra, David Moratal, Balázs Péntek, Wolfgang H. Sommer, Raul C. Mureșan*, Santiago Canals*, Maria Ercsey-Ravasz* , „Brain dynamics supported by a hierarchy of complex correlation patterns defining a robust functional architecture” (under review in Cell Systems)

3. Botond Molnar, Ildiko-Beata Marton, Szabolcs Horvat, Maria Ercsey-Ravasz, „Community detection in directed weighted networks using Voronoi partitioning” (under review in Scientific Reports)

Book chapters:

The Oxford Handbook of EEG Frequency, Editura Oxford Academics, Philip A. Gable (ed.) et al.
Chapter 17. Frequency Characteristics of Sleep, Alpar S. Lazar, Zsolt I. Lazar, Robert Bodizs. 2022, September. https://doi.org/10.1093/oxfordhb/9780192898340.013.17

International Conferences, Workshops, Invited seminars:

Maria Ercsey-Ravasz, Levente Varga, Botond Molnar, Vasile V. Moca, Laura Perez-Cervera, Antonio Díaz-Parra, David Moratal, Balázs Péntek, Wolfgang H. Sommer, Raul C. Mureșan, Santiago Canals, „A robust hierarchy of brain interactions provides new possibilities for biomarkers”, Paris Brain Institute, Paris, France, February 13-14, 2023, Workshop at the Consortium meeting of the ModelDXConsciousness ERANET project

Maria Ercsey-Ravasz, „Modeling the inter-areal cortical network based on a distance rule: from the mouse to the macaque”, International School and Conference on Network Science, NetSci2023, Wien, Austria, July 10-14, 2023

Maria Ercsey-Ravasz, „Modelling the inter-areal cortical network based on a distance rule”, Computational Neuroscience Academy 2023, Krakow, Poland, July 19, 2023

Maria Ercsey-Ravasz, „Physical networks in the brain”, 6th Grandmaster Early-Career Workshop in Physics GEWP 2023, Cluj-Napoca, Romania, September 4-9, 2023

Sandor Bulcsu, Andras-Pal Rusu, Karoly Denes, Zsolt-Iosif Lazar, Maria Ercsey-Ravasz "State-transition networks for EEG data analysis", s”, Paris Brain Institute, Paris, France, February 13-14, 2023

Sandor Bulcsu, Dynamical systems and networks: from time-series analysis to robotic locomotion, Dynamical Systems Journal Club, CCN, Flatiron Institute, New York, NY, SUA, March 2023

Maria Ercsey-Ravasz, Levente Varga, Botond Molnar, Vasile V. Moca, Laura Perez-Cervera, Mohamed Kotb Selim, Antonio Díaz-Parra, David Moratal, Balázs Péntek, Wolfgang H. Sommer, Raul C. Mureșan, Santiago Canals „Brain dynamics supported by a hierarchy of complex correlation patterns defining a rboust functional architecture”, Workshop and Consortium Meeting of the Neurotwin European Project, Heraklion, Grece, October 20-24, 2023

Botond Molnar, Ildiko-Beata Marton, Szabolcs Horvat, Maria Ercsey-Ravasz, „Community detection in directed weighted networks using Voronoi partitioning”, International School and Conference on Network Science, NetSci2023, Wien, Austria, July 10-14, 2023

Mate Jozsa, Mária Ercsey-Ravasz and Zsolt Lázár, “Exploring coarse-graining effects in structural brain connectivity”, International School and conference on Network Science, Wien, Austria, July 10-14, 2023

Bulcsu Sandor, Andras-Pal Rusu, Karoly Denes, Zsolt-Iosif Lazar, Maria Ercsey-Ravasz "Measuring the dynamical variability of state-transition networks", page 313 - 313, 2023, Volume: Dynamicsdays 2023, conference: Dynamics Days EU 2023, Napoli, Italy, editor: Lucia Russo Constantinos Siettos, web: https://sites.google.com/view/dynamicsdayseurope2023

Bulcsu Sandor, Andras-Pal Rusu, Zsolt-Iosif Lazar, Karoly Denes, Maria Ercsey-Ravasz "Novel measures for state-transition networks", page: 43-43, 2023, volume: 48th Conference of the Middle European Cooperation in Statistical Physics, conference: MECO48, Stara Lesna, Slovakia, editor: Jozef Strečka Katarína Karlová, ISBN: 978-80-574-0197-1, web: www.unibook.upjs.sk


Maria Ercsey-Ravasz, The brains functional connectivity backbone and the impact of AUD, ISBRA & ESBRA 2nd World Congress on Alcohol and Alcoholism, 2022 September 17-20, Cracow, Poland.

B. Sándor, Cs. Harko, A. Herczeg, M. Nowak, C. Gros: Phase-locked neural oscillators generate self-organized locomotion for hexapods, Intelligent Machines? – Self-organized Nonlinear Dynamics of Machines across Scales, Dresden/Online, Germany, 20-24. June 2022

B. Sándor: Toy models for self-organized robotic locomotion via proprioception, The Neuro-physics of Locomotion, Kavli Institute for Theoretical Physics, Santa Barbara, CA, USA, 15.Aug. 2022

B. Sándor, Ágnes Herczeg, Csanád Harkó, Michael Nowak, Claudius Gros: Self-organized hexapod locomotion via phase-locked neural oscillators, 47th Conference of the Middle European Cooperation in Statistical Physics, Erice, Italy, 12-16. June 2022

Posters at international coferences:

Maria Ercsey-Ravasz, Levente Varga, Botond Molnar, Vasile V. Moca, Laura Perez-Cervera, Antonio Díaz-Parra, David Moratal, Balázs Péntek, Wolfgang H. Sommer, Raul C. Mureșan, Santiago Canals, “ Dynamic fMRI unveils a robust functional network architecture in the brain: a hierarchy of strong positive and weak bimodal correlations”, International School and Conference on Network Science, NetSci2023, Wien, Austria, July 10-14, 2023

Rusu Andras, Denes Karoly, Lazar Zsolt-Iosif, Ercsey-Ravasz Maria, Sandor Bulcsu "Symbolic dynamics-based network construction and analysis (Poster)", 2023, NADCOM23, Dresden, Germany, web: https://www.pks.mpg.de/nadcom23

Zsolt I. Lázár visited University of East England, scientific collaboration, November 2022, UK

B. Sándor was invited for an exchange program in the “Neuro-physics of Locomotion” project, organized by the Kavli Institute for Theoretical Physics, UCSB, Santa Barbara, CA, USA, 17.07.2022-19.08.2022