Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Added initial files #15

Open
wants to merge 3 commits into
base: main
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from 2 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Binary file not shown.
Binary file not shown.
23 changes: 23 additions & 0 deletions _works/a-asgharzadeh/02-titles-and-research-questions.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,23 @@
# Titel und Forschungsfrage

## Titel

- Untersuchung der Genauigkeit von AltText.ai bei der Generierung von Alternativtexten anhand gezielter Inputs
- Wirksamkeit von AltText.ai bei der Generierung von Alternativtexten in verschiedenen Anwendungsbereichen
- Untersuchung des aktuellen Forschungsstands von Image Captioning am Beispiel von AltText.ai
- Anwendungsbereiche und Grenzen von Image Captioning am Beispiel von AltText.ai
- Alternativtexte durch KI: Ein Vergleich von AltText.ai und Azure Computer Vision hinsichtlich möglicher Anwendungsbereiche und ihrer Grenzen
- Ein Vergleich von AltText.ai und Azure Computer Vision hinsichtlich ihrer Fähigkeit, Alternativtexte zu generieren.
- Welche Vor- und Nachteile haben AltText.ai und Azure Computer Vision im Hinblick auf die Generierung von Alternativtexten?
- Ein Vergleich der Genauigkeit und Geschwindigkeit von AltText.ai und Azure Computer Vision bei der Generierung von Alternativtexten.
- Effektivität/Nutzbarkeit von AltText.ai / Azure Computer Vision als bereitstellbarer Dienst (SaaS-Lösung?)
- Die Rolle von Image Captioning bei der Verbesserung der Barrierefreiheit am Beispiel von AltText.ai

## Forschungsfragen

1. Wie genau ist Image Captioning im Vergleich zu den von Menschen erstellten Alternativtexten?
2. Wie effektiv ist Image Captioning bei verschiedenen Arten von Bildern?
3. Wie wichtig ist der inhaltliche Kontext bei der Generierung von Alternativtexten?
4. Wo liegen die Grenzen von Image Captioning?
5. Wie können gezielte Inputs die Qualität von KI generierten Alternativtexten verbessern?
6. Wie unterscheiden sich die von AltText.ai und Azure Computer Vision generierten Alternativtexte (hinsichtlich ihrer Genauigkeit) ?
48 changes: 48 additions & 0 deletions _works/a-asgharzadeh/03-expose.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,48 @@
## Autor

Aaron Asgharzadeh
23.05.2023

## Thema

Um das Internet barrierefreier zu gestalten, werden Bilder vermehrt mit Alternativtexten ausgestattet. Diese sollen den Inhalt der Bilder als Text wiedergeben, welcher bspw. von Screenreadern ausgelesen werden kann.
Copy link
Owner

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Alternativtexte für Bilder tragen dazu bei, dass Webseiten für mehr Benutzer zugänglich sind und ihnen ermöglichen, Inhalte zu verstehen, selbst wenn sie die Bilder nicht sehen können. Menschen mit Sehbehinderungen verwenden Screenreader, die den Inhalt einer Webseite vorlesen. Wenn ein Bild keinen Alternativtext hat, kann der Nutzer nicht verstehen, was auf dem Bild gezeigt wird. Durch die Bereitstellung eines präzisen und beschreibenden Alternativtextes können auch blinde oder sehbehinderte Menschen den Inhalt einer Webseite vollständig erfassen.

So kann man Sehbehinderten einen Zugang zu Internetgrafiken gewährleisten.
Das Generieren von Alternativtexten könnte durch Image Captioning via KI automatisiert werden.
Das Praxisprojekt befasst sich damit, wie gut Image Captioning Lösungen zum Generieren von Alternativtexten sind. Am Beispiel von AltText.ai wird untersucht wie genau KI generierte Alternativtexte sind und ob ihre Qualität durch gezielte Inputs beeinflusst werden kann; wo ihre Grenzen liegen und ob bestimmte Anwendungsbereiche zu bevorzugen sind.

## Leitfrage

Wie effektiv ist Image Captioning zum Generieren von Alternativtexten?

### Unterfragen

Was bedeutet "Effektivität" im Kontext von Image Captioning?
Wie kann man die "Effektivität" messen?
Wie kann man die Qualität von KI generierten Alternativtexten manipulieren/verbessern?
Wo liegen die Grenzen von Image Captioning? (ggf. im Vergleich von verschiedenen Lösungen)

## Ziel

Es soll untersucht werden, ob aktuelle Image Captioning Lösungen ein sinnvoller Ersatz sind für manuell geschriebene Alternativtexte.

## Lösungsansätze

Eine erste Herangehensweise besteht darin, das Tool durch systematische Anpassung von Inputs und Parametern zu untersuchen, um Möglichkeiten und Einschränkungen zu identifizieren.
Durch ein verbessertes Verständnis des Tools können Lösungsansätze präziser ausgearbeitet werden.

## Ressourcen

Literatur:

- Chandu, K. et al. (2022): Denoising Large-Scale Image Captioning from Alt-text Data using Content Selection Models
- Fatichah. C, Suciati. N, Tsaniya, H. (2022): Transformer Approaches in Image Captioning: A Literature Review
- Chohan, M. et al (2020) : Image Captioning using Deep Learning: A Systematic Literature Review

## Motivation

Barrierefreiheit wird im öffentlichen Diskurs ein immer wichtigeres Thema.
Konkret gibt es durch den "European accessibility act" vom europäischen Parlament die Weisung neue Produkte ab dem 28.06.2025 barrierefreier zu gestalten.
Um den Ansprüchen an Barrierefreiheit gerecht zu werden, soll daher untersucht werden, ob die automatisierte Generierung von Alternativtexten eine effektive Möglichkeit bietet, den Zugang zu Internetgrafiken für sehbehinderte Personen zu verbessern.

Eine weitere Motivation besteht in der aktuellen Relevanz von KI Tools wie ChatGPT, Midjourney oder Stable Diffusion.
Durch die Untersuchung von AltText.ai können wir die Potenziale und Grenzen eines KI Tools im Kontext der Bildbeschreibung eingehend analysieren.