Tolkbare arkitekturer og algoritmer for analyse av naturlig språk – språkbehandling med kunstig intelligens

Disputasen foregår på campus og digitalt. Se nederst på siden hvordan publikum kan overvære disputasen digitalt (online).

Rohan Kumar Yadav fra Fakultet for teknologi og realfag ved UiA disputerer for ph.d.-graden med avhandlingen «Interpretable Architectures and Algorithms for Natural Language Processing» mandag 28. november 2022.

Han har fulgt doktorgradsprogrammet ved Fakultet for teknologi og realfag ved UiA, med spesialisering i IKT.

Slik oppsummerer Rohan Kumar Yadav selv avhandlingen:

Interpretable Architectures and Algorithms for Natural Language Processing

Natural Language Processing (NLP) is one of the branches of Artificial Intelligence (AI) that teaches computers to understand, process, and generate language.

Some popular NLP tasks include text classification, sentiment analysis, information retrieval, machine translation, and reading comprehension.

Popular – but difficult for humans

In order to accomplish these tasks, Deep Neural Network (DNNs) has been the popular choice.

However, the structure of DNN makes it difficult for humans to interpret and explain the model.

Moreover, the necessity of explainability in NLP comes into the picture when sensitive information needs to be evaluated out of the model. Such necessity of explainable NLP escalates mostly in the education domain, legal document analysis, and medical diagnosis using Electronic Health Records (EHR).

Hence, we have designed various interpretable architectures and algorithms that are useful for the application of explainable NLP.

In addition to this we explore the use of TM in DNNs for better explainability of the model thereby maintaining the state-of.the-art performance.

The thesis is divided into two sections:

• Interpretable Text Classification using TM and
• Interpretable Text Classification using DNNs.

Interpretable Text Classification using TM

Here, we propose several architectures that deal with extracting novel interpreting methods with TM.

For a better understanding of what the model's interpretation looks like, we adopt the simple text classification, position-dependent text classification, feature extended TM, and robustness of the model.

Interpretable Text Classification using DNNs

Since DNN-based models are better in terms of performance and hard to interpret, we simplify the complex position-dependent NLP tasks using masking techniques so that it is easier to map the weights directly to the input features.

In addition to this, we extend this task by encoding the interpretable information from TM into DNN for fine-tuning the weights for better performance and explainability.

In general, we design various interpretable architectures and algorithms using TM and DNNs for various tasks on NLP. Our experiment and results demonstrate that each model mentioned above performs either at par or above par with state-of-the-art in the spectrum of interpretable NLP.

Disputasfakta:

Prøveforelesning og disputas finner sted i Auditorium C2 041, Campus Grimstad og digitalt i konferanseprogrammet Zoom (lenke under).

Disputasen blir ledet av førstelektor Morgan Konnestad, Institutt for informasjons- og kommunikasjonsteknologi, Fakultet for teknologi og realfag, Universitetet i Agder.

Prøveforelesning mandag 28. november kl 10:15

Disputas mandag 28. november kl 12:15

 

Oppgitt emne for prøveforelesning: «Are AI systems soon ready to replace journalists and authors?»

Tittel på avhandling: «Interpretable Architectures and Algorithms for Natural Language Processing»

Søk etter avhandlingen i AURA - Agder University Research Archive, som er et digitalt arkiv for vitenskapelige artikler, avhandlinger og masteroppgaver fra ansatte og studenter ved Universitetet i Agder. AURA blir jevnlig oppdatert.

Avhandlingen er tilgjengelig her:

PhD Thesis Rohan Kumar Yadav Interpretable_Architectures_and_Algorithms_for_Natural_Language_Processing_print

 

Kandidaten: Rohan Kumar Yadav (1993, Siraha, Nepal) Bachelorgrad fra Anna University, India (2015) og mastergrad fra Chosun University, Sør-Korea (2019). I dag arbeider han som Data Scientist at Kobler As, Oslo.

Opponenter:

Førsteopponent: Senior Assistant Professor, Tommaso Caselli, PhD, Faculty of Arts, University of Groningen, Nederland

Annenopponent: Professor Jim Tørresen, Institutt for informatikk, Universitetet i Oslo 

Bedømmelseskomitéen er ledet av førsteamanuensis Nadia Noori, Fakultet for teknologi og realfag, Universitetet i Agder

Veiledere i doktorgradsarbeidet var førsteamanuensis Lei Jiao, Universitetet i Agder (hovedveileder) og professor Morten Goodwin (medveileder)

Slik gjør du som online publikum:

Disputasen er åpen for alle, men for å følge prøveforelesning og disputas digitalt må du melde deg som publikummer på denne lenken:

https://uiano.zoom.us/meeting/register/u5MqcOmsrDosGtO2BIpndc_ejCoveaNGfV74

Du får en Zoom-lenke i retur. (Her er framgangsmåten for å bruke Zoom: support.zoom.us om du ikke kommer inn ved å klikke på lenken.)

Vi ber online publikum om å ankomme digitalt tidligst ti minutter før oppgitt tid - det vil si til prøveforelesningen 10:05 og disputasen tidligst 12:05. Etter disse klokkeslettene kan du når som helst forlate og komme inn igjen i disputasen. Videre ber vi om at online publikum slår av mikrofon og kamera, og har dette avslått under hele arrangementet. Det gjør du nederst til venstre i bildet når du er i Zoom. Vi anbefaler å velge «Speaker view». Dette velger du oppe til høyre i bildet når du er i Zoom.10:05

Opponent ex auditorio:

Disputasleder inviterer til spørsmål ex auditorio i innledningen i disputasen. Tidsfrist for å stille spørsmål er senest i løpet av pausen mellom opponentene. Den som stiller spørsmål bør ha lest avhandlingen. Kontaktpersonens e-post er tilgjengelig i chat-funksjonen under disputasen, og spørsmål ex auditorio fra online publikum kan sendes til Kristine Evensen Reinfjord på e-post kristine.reinfjord@uia.no Ved spørsmål ex auditorio fra salen henvender spørsmålsstiller seg til disputasleder senest i pausen mellom opponentene.