Integration von etablierten Open-Source Suchmaschinen in die STELLA-Infrastruktur
Im Rahmen des “STELLA - Infrastructures for Living Labs”-Projekts entwickelt die Arbeitsgruppe eine Infrastruktur zur Auswertung verschiedener Retrieval- und Recommender-Systeme. Schwerpunktmäßig soll hierbei die Evaluation der einzelnen Systeme auf Basis von realem Nutzerfeedback im Sinne des “Living lab”-Paradigmas erfolgen. Hierfür ist es notwendig, verschiedene Suchmaschinenanbieter an die Infrastruktur anzuknüpfen und die vorhandenen Suchalgorithmen mit experimentellen Systemen zu vergleichen. Diese experimentellen Systeme sollen von verschiedenen Forschergruppen (Teilnehmern) beigesteuert werden.
Im Rahmen dieser Arbeit sollen verschiedene Open-Source Suchmaschinen in die STELLA-Infrastruktur integriert werden. Ein wesentlicher Teil der Arbeit besteht darin, vorhandene Suchmaschinen mit Hilfe des zur Verfügung gestellten Micro-Templates zu integrieren. Entweder lassen sich die Suchmaschinen in das Template integrieren oder es lassen sich evtl. vorhandene Docker-Images so anpassen, dass diese auf die geforderten Schnittstellen antworten können. In der Arbeit kann dann beispielsweise diskutiert werden, welche Vor- und Nachteile die entsprechenden Implementierungen bieten.
In einem weiteren experimentellen Teil der Arbeit sollen dann die Ergebnisse der integrierten Suchmaschinen verglichen werden. Wie vergleichbar sind die Ergebnisse von zwei oder mehr Suchmaschinen, wenn dieselben Daten sowie derselbe Suchalgorithmus verwendet werden? Die Ergebnislisten können beispielsweise anhand von Kendall’s tau oder dem Rank-biased Overlap (RBO) verglichen werden.
Relevante Literatur und Links
Literatur
STELLA: Towards a Framework for the Reproducibility of Online Search Experiments.
Open-Source Suchmaschinen
Weitere Links
Anforderungen
- Grundkenntnisse von Git, Python, Docker und Unix-basierten Betriebssystemen
- Kenntnisse von IR-Systemen (Solr, Lucence, etc.)
- Interesse an der Auswertung von “Information Retrieval”-Systemen