Entwicklung eines Retrieval-Systems im Rahmen von CENTRE@CLEF2019

CENTRE (CLEF, NTCIR, TREC Reproducibility) findet seit 2018 im Rahmen der CLEF-Konferenz statt und ist der Reproduzierbarkeit von Retrieval-Systemen gewidmet.

Die Organisatoren wählen bewährte CLEF-/TREC-/NTCIR-Verfahren vergangener Jahre aus. Den Teilnehmern werden neben den Papieren zu den Verfahren, sowohl die entsprechenden Dokument-Korpora als auch die benötigten Relevanzbewertungen und Topics zur Verfügung gestellt. Die Aufgabe der Teilnehmer besteht darin, das Verfahren mit Hilfe von vorhandenen (Open Source-)IR-Systemen (bspw. Lucene) umzusetzen und im Rahmen der Challenge gegen Umsetzungen anderer Teilnehmer antreten zu lassen. Im vergangenem Jahr standen hierbei vor allem die Themen Reproduzierbarkeit (reproducability) und die Replizierbarkeit (replicability) der Verfahren im Fokus. Dieses Jahr wird CENTRE um einen weiteren ‘Task’ zur Generalisierbarkeit (generalizability) ergänzt.

Im Rahmen der Abschlussarbeit soll (in Kooperation mit dem Betreuer) ein solches Teilnehmersystem entwickelt werden. Das genaue Thema kann festgelegt werden, nachdem die Beschreibungen der kommenden Tasks online sind. Zur ersten Orientierung dienen die Themen und Termine des Vorjahrs, d.h. die Registrierung sollte bis spätestens Ende April und die Einreichung des Reports/Papers bis Ende Mai erfolgen.

Relevante Literatur und Links

• Projektwebseite zu Centre@CLEF 2018
• Flyer von Centre@CLEF - Angaben zu den Teilnahmebedingungen 2018

Anforderungen

• Kenntnisse von IR-Systemen (Solr, Lucence, etc.)
• Spaß am wissenschaftlichen Arbeiten und dem Lesen aktueller, englischer Literatur
• Erste praktische Erfahrung in der Programmierung mit z.B. Python