Sie sind hier

Seminar Semantikbasierter Zugriff auf Multimediadaten

 

Veranstaltung 4.1.30, SS 2005

Ansprechpartner

Carsten Saathoff
Prof. Dr. Steffen Staab

Kurzbeschreibung

Durch die fortschreitende Verbreitung von digitalen Medien entsteht der Wunsch nach effizienten Zugriffsmethoden auf diese Medien, sowie Unterstützung bei der Strukturierung der Daten. Durch fortschreitende Bildanalysemethoden ist es inzwischen möglich Bilder automatisch auf einem höheren Level zu analysieren und somit die Semantik der Bilder zu beachten. Dieses relativ neue Gebiet in der Multimedia Analyse wird als Semantic Multimedia bezeichnet und stellt den Kern dieses Seminars dar. Betrachtet werden im Rahmen des Seminars Themen wie Annotierung von Bildern, Metadaten-basiertes Retrievel, Hypermedia etc.

Termine

Das Seminar findet am 29. und 30.06.2005 im Raum MF 330 statt.

  • 01.06.2005: Drafts fuer Vortrag und Ausarbeitung an saathoff@uni-koblenz.de. Es müssen nicht zwei eigentständige Dokumente sein, es sollte nur klar werden, was behandelt werden soll, und wie der Vortrag bzw. die Ausarbeitung strukturiert ist.
  • ca. 1 Woche vor dem Seminar: Besprechung der Folien, bitte frühzeitig Termin mit mir ausmachen (Carsten Saathoff).
  • 16.07.2005: Deadline für die Abgabe der Ausarbeitungen. Als PDF an saathoff@uni-koblenz.de.

Durchführung

  • Vorbesprechung vorraussichtlich zum Ende des aktuellen Semesters
  • 30 minütiger Vortrag mit anschliessender, etwa 10 min. Diskussion. Der Vortrag ist als Präsentation mit Power Point, Open Office oder PDF vorzubereiten.
  • 15-seitige Ausarbeitung. Die Ausarbeitung muss (natürlich) eigenständig erstellt werden. Die Nutzung von Literatur ist zwar erlaubt und erwünscht, jedoch nur, wenn Zitate als solche gekennzeichnet und die Quellen angegeben werden.
  • Ablauf der beiden Seminartage:
     
    8:45 Beginn, Einleitung, Aufbau
    9:00 - 10:30 Zwei Vorträge (inkl. Diskussion jeweils)
    10:30 - 11:00 Pause
    11:00 - 12:30 Zwei Vorträge
    12:30 - 13:30 Mittagspause
    13:30 - 15:00 Zwei Vorträge
    15:00 - 15:15 kurze Pause, wenn gewünscht
    15:15 - 16:00 letzter Vortrag

Themen

Mittwoch, 29.06.2005

  • Das Resource Description Framework (RDF) (Nadine Reiber)
    Beschreibung von RDF als Grundlage des Semantic Web.
  • Ontologiesprachen und Reasoning im Semantic Web (Britta Hennecken)
    Betrachtung von Ontologiesprachen und Möglichkeiten des Reasonings mit diesen Sprachen.
  • MPEG-7 und MPEG-21 - Multimedia-Standards für das Semantic Web (Sven Ackermann, Fabian Bützow)
    MPEG-7 und MPEG-21 bieten Möglichkeiten zur semantischen Beschreibung von Multimedia-Content. Die Standards sollen in diesem Vortrag vorgestellt und bereits vorhandene Anwendungen aufgezeigt werden. Dieses Thema ist aufgrund des Umfangs für zwei Leute gedacht, die als Team einen Vortrag und eine Ausarbeitung in doppelter Länge vorbereiten.
  • Annotierung von Webseiten und Multimedia-Content (Tobias Kilian, Philipp Pätzold)
    Betrachtung von Methoden der Annotierung von Webseiten und Multimedia-Content. Dieses Thema ist aufgrund des Umfangs für zwei Leute gedacht, die als Team einen Vortrag und eine Ausarbeitung in doppelter Länge vorbereiten.
  • Erweiterung von Thesauri zum Ontologie-basierten Retrieval von Multimedia-Daten (Murat Demirtas)
    Betrachtung von Ansätzen, um Thesauri durch ontologische Modellierung zu erweitern, und so die Performanz des Retrievals zu verbessern.

Donnerstag, 30.06.2005

  • Hypermedia (Martin Szidzek)
    Betrachtung von Hypermedia, welches analog zu Hypertext die Verlinkung von Multimedia-Content betrachtet, und der Semantik verschiedener Hypermedia-Strukturen.
  • Dynamische Generierung von Multimedia-Präsentationen (Jörg Koch)
    Betrachtet werden sollen Methoden, Multimedia Content automatisch in einer Präsentation zu organisieren, die z.B. bestimmten Anforderungen genügt.
  • Image bzw. Multimedia Databases (Michael Strack)
    Behandeln von Ansätzen wie Multimedia-Daten gespeichert und vor allem zugreifbar gemacht werden können.
  • Metadaten-basierted Retrieval (Andre Volk)
    Wie können Metadaten verwendet werden, um das Retrieval zu verbessern.
  • Multimedia Reasoning (Lisa Elena Blum)
    Generierung von Annotationen und beantworten von Queries mit Hilfe von Reasoning-Systemen.
  • Emergent Semantics (Christian Rieder)
    Das Forschungsgebiet Emergent Semantics geht davon aus, dass sich die Semantik von Objekten erst durch die Benutzung und das Umfeld manifestiert. Hier sollen die Grundlagen von Emergent Semantics, im Speziellen aber auch die Verwendung im Bereich Multimedia betrachtet werden.
  • Image-Retrieval im Web - Die Verwendung des Kontextes (Oliver Klar)
    Betrachtung von Methoden um den Kontext von Multimedia-Content, also z.B. die HTML-Seite auf die er verlinkt ist, zur Indexierung zu verwenden und somit die gezielte Suche nach dem Content zu ermöglichen.

Literatur

Die angegebene Literatur wird nach der Vorbesprechung zum Download bereit gestellt, welcher allerdings nur für Seminarteilnehmer freigeschaltet sein wird. Zusätzlich sollte die meiste Literatur auch im Internet zu finden sein. Dafür, sowie für die ausdrücklich erwünschte eigene Recherche empfiehlt sich Google Scholar (http://scholar.google.com), CiteSeer (http://citeseer.ist.psu.edu/) oder DBLP (http://dblp.uni-trier.de/). Die hier angegebene Literatur dient nur zum Einstieg und sollte unbedingt durch eigene Recherche ergänzt werden. Im Speziellen die Themen, die Anwendungen betrachten, sollten mehrere Ansätze in Betracht ziehen.

  • Allgemeine Literatur
  • RDF
    • W3C RDF activity page - http://www.w3.org/RDF/.
    • RDF Primer; W3C Recommendation. February 10th 2004 - http://www.w3.org/TR/rdf-primer/.
    • J. Broekstra, A. Kampman, F. van Harmelen. Sesame: A Generic Architecture for Storing and Querying RDF and RDF Schema. In: Proceedings of the International Semantic Web Conference 2002, Sardinia, Italy.
    • P. Haase, J. Broekstra, A. Eberhart, R. Volz. A comparison of RDF query languages. In: Proceedings of the Third International Semantic Web Conference. Hiroshima, Japan, 2004.
  • Ontologiesprachen und Reasoning
    • W. Hesse. Ontologie(n). Informatik-Spektrum 25(6), S. 477-480. Dec 2002.
    • G. Antoniou, F. v. Harmelen. Web Ontology Language: OWL. In: S. Staab, R. Studer: Handbook on Ontologies. Springer-Verlag, 2004.
    • J. Angele, G. Lausen. Ontologies in F-logic. In: S. Staab, R. Studer: Handbook on Ontologies. Springer-Verlag, 2004.
    • R. Brachmann, Hector Levesque. Knowledge Representation und Reasoning.
  • MPEG-7 und MPEG-21
    • Offizielle MPEG Homepage: http://www.chiariglione.org/mpeg/
    • S. Chang, T. Sikora, A. Puri. Overview of the MPEG-7 Standard. In: IEEE Trans. on Circuits and Systems for Video Technology. Vol. 11, Nr. 6. June 2001.
    • I. Burnett, R. Van de Walle, K. Hill, J. Bormans, F. Pereira. MPEG-21: Goals and Achievements. In: IEEE Multimedia, October 2003, pp. 60-70.
    • J. Delgado, I. Gallego, E. Rodriguez. Use of the MPEG-21 Rights Expression Lannguage for Music Distribution. In: Proceedings of the 3rd Int. Conf. WEB Delivering of Music, 2003, IEEE.
    • Jane Hunter. Reconciling MPEG-7 and MPEG-21 Semantics through a Common Event-Aware Metadata Model. 22. Oct. 2002. http://arxiv.org/html/cs.MM/0210021
    • Philippe Salembier, John R. Smith. MPEG-7 Multimedia Description Schemes. IEEE Trans. on Circuits and Systems for Video Technology, Vol. 11, No. 6, June 2001
    • http://xml.coverpages.org/mpeg7.html
    • http://xml.coverpages.org/mpeg21-didl.html
  • Annotierung von Webseiten und Multimedia-Content
    • Siegfried Handschuh, Steffen Staab. CREAM - CREAting Metadata for the Semantic Web. In: Computer Networks. 42, pp. 579-598, Elsevier 2003.
    • Maria Vargas-Vera, Enrico Motta, John Domingue, Mattia Lanzoni, Arthur Stutt, Fabio Ciravegna. MnM: Ontology Driven Semi-automatic and Automatic Support for Semantic Markup. In: Knowledge Engineering and Knowledge Management. Ontologies and the Semantic Web, 13th International Conference, EKAW 2002.
    • Siegfried Handschuh, Steffen Staab, Fabio Ciravegna. S-CREAM - Semi-automatic CREAtion of Metadata. In: Proceedings of the 13th International Conference on Knowledge Engineering and Knowledge Management (EKAW02). Oct. 2002.
    • A. Th. Schreiber, Barbara Dubbeldam, Jan Wielemaker, Bob J. Wielinga. Ontology-Based Photo Annotation. In: IEEE Intelligent Systems, Vol. 16, No. 3, 2001, pp. 66-74.
    • Stephan Bloehdorn, Kosmas Petridis, Nikos Simou, Vassilis Tzouvaras, Yannis Avrithis, Siegfried Handschuh, Yiannis Kompatsiaris, Steffen Staab, Michael G. Strintzis. Knowledge Representation for Semantic Multimedia Content Analysis and Reasoning. In: Proceedings of the European Workshop on the Integration of Knowledge, Semantics and Digital Media Technology (EWIMT). November 2004.
    • Rong Huang, Shiyong Lu, and Farshad Fotouhi. ImageSpace: An Image Ontology Creation And Annotation Tool For The Semantic Web.
  • Hypermedia
    • L. Hardman, D. Bulterman, G. van Rossum. Links in Hypermedia: the Requirement for Context. In: Proceedings of the fifth ACM conference on Hypertext, 1993.
    • L. Rutledge, J. Davis, J. van Ossenbruggen, L. Hardman. Inter-dimensional Hypermedia Communicative Devices for Rhetorical Structure. In: Proceedings of the International Conference on Multimedia Modeling 2000.
  • Dynamische Generierung von Multimedia Daten
    • J. Geurts, S. Bocconi, J. van Ossenbruggen, L. Hardman. Towards Ontology-driven Discourse: From Semantic Graphs to Multimedia Presentations. Second International Semantic Web Conference (ISWC2003). 2003
    • F. Nack, M. Windhouwer, L. Hardman, E. Pauwels, M. Huijberts. The Role of High-level and Low-level Features in Style-based Retrieval and Generation of Multimedia Presentations. In: New Review of Hypermedia and Multimedia, 2001.
    • S. Little, J. Geurts, J. Hunter. Dynamic Generation of Intelligent Multimedia Presentations through Semantic Inferencing. In: 6th European Conference on Research and Advanced Technology for Digital Libraries, 2002. pp. 158-189.
  • Image bzw. Multimedia Databases
    • M. Bodolay, M. L. Escobar-Molano. A Schema-less Spatio-Temporal Database System. In: Proceedings of the 2000 ACM symposium on Applied computing, 2000.
    • J. Z. Wang, J. Li, G. Wiederhold. SIMPLIcity: Semantics-Sensitive Integrated Matching for Picture LIbraries. In: Lecture Notes in Computer Science, Advances in Visual Information Systems: 4th International Conference, VISUAL 2000, Lyon, France, November 2000.
    • A. Gupta, T. Weymouth, R. Jain. Semantic Queries with Pictures: The VIMSYS Model. In: Proceedings of the 17th International Conference on Very Large Databases. 1991.
      • Für die Grundlagen allgemeine Literatur, z.B. in der Bibliothek, auf Nachfrage wahrscheinlich auch bei Carsten Saathoff.
  • Metadaten-basiertes Retrieval
    • E. P. Bontas, S. Tietz, T. Schrader. Experiences Using Semantic Web Technologies to Realize an Information Retrieval System for Pathology. XML Tage Berlin, 2004.
    • E. Hyvonen, A. Styrman, S. Saarela. Ontology-based image retrieval. In: Towards the semantic web and web services, Proceedings of XML Finland 2002 Conference. pp. 15-27.
    • M. Lux, M. Granitzer. Retrieval of MPEG-7 based Semantic Descriptions. Workshop WebDB meets IR, BTW 2005.
  • Image-Retrieval im Web
    • A. L. Edelman, M. Simina, C. Barbu. ImageScour: An Intelligent Search Engine for Specialized Image Retrieval. American Association for Artificial Intelligence, 2002.
    • L. A. Alexandre, M. Pereira, S. C. Madeira, J. Cordeiro, G. Dias. WEB IMAGE INDEXING: COMBINING IMAGE ANALYSIS WITH TEXT PROCESSING. WIAMIS 2004.
    • C. Frankel, M. J. Swain, V. Athitsos. WebSeer: An Image Search Engine for the World Wide Web. Technical Report, TR-96-14, University of Chicago, Computer Science Department. 1996.
  • Erweiterung von Thesauri zum Ontologie-basierten Retrieval von Multimedia-Daten
    • A. S. Gordon. Browsing Image Collections with Representations of Common-Sense Activities. In: Journal of the American Society for Information Science and Technology, 2001.
    • A. S. Gordon, E. A. Domeshek. Deja Vu: A Knowledge-Rich Interface for Retrieval in Digital Libraries. International Conference on Intelligent User Interfaces, 1998.
    • beide zu finden auf The Commonsense Activity Resource Page
    • B. J. Wielinga, A. Th. Schreiber, J. Wilemaker, J. A. C. Sandberg. From Thesaurus to Ontology. In: Proceedings of the international conference on Knowledge capture, 2001. pp. 194-201.
  • Emergent Semantics
    • S. Santini, A. Gupta, R. Jain. Emergent semantics through interaction in image databases. IEEE Transactions on Knowledge and Data Engineering, 2001.
    • W. I. Grosky, D. V. Sreenath, F. Fotouhi. Emergent Semantics and the Multimedia Semantic Web. ACM SIGMOD Record, 2002.
    • Staab, S., Santini, S., Nack, F., Steels, L., Maedche, A. Emergent semantics. In: Intelligent Systems, IEEE, 2002.
  • Ontologien zur Beschreibung von Multimedia-Daten
    • M. Doerr. The CIDOC CRM-an Ontological Approach to Semantic Interoperability of Metadata. In: AI Magazine-Special Issue on Ontologies, 2003.
    • J Hunter. Combining the CIDOC CRM and MPEG-7 to Describe Multimedia in Museums. Proceedings Museums and the Web, 2002.
  • Multimedia Reasoning
    • B. Hu, S. Dasmahapatra, P. Lewis, N. Shadbolt. Ontology-Based Medical Image Annotation with Description Logics. Tools with Artificial Intelligence, 2003. Proceedings of the 15th Int. Conf. on Tools with Artificial Intelligence (ICTAI'03)
    • T. Russ and R. MacGregor and B. Salemi and K. Price and R. Nevatia. VEIL: Combining Semantic Knowledge with Image Understanding. In ARPA Image Understanding Workshop, 1996.