-
Notifications
You must be signed in to change notification settings - Fork 27
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Added initial files #15
Open
Aaronasgh
wants to merge
3
commits into
cnoss:main
Choose a base branch
from
Aaronasgh:main
base: main
Could not load branches
Branch not found: {{ refName }}
Loading
Could not load tags
Nothing to show
Loading
Are you sure you want to change the base?
Some commits from the old base branch may be removed from the timeline,
and old review comments may become outdated.
Open
Changes from 2 commits
Commits
File filter
Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
There are no files selected for viewing
Binary file not shown.
Binary file not shown.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,23 @@ | ||
# Titel und Forschungsfrage | ||
|
||
## Titel | ||
|
||
- Untersuchung der Genauigkeit von AltText.ai bei der Generierung von Alternativtexten anhand gezielter Inputs | ||
- Wirksamkeit von AltText.ai bei der Generierung von Alternativtexten in verschiedenen Anwendungsbereichen | ||
- Untersuchung des aktuellen Forschungsstands von Image Captioning am Beispiel von AltText.ai | ||
- Anwendungsbereiche und Grenzen von Image Captioning am Beispiel von AltText.ai | ||
- Alternativtexte durch KI: Ein Vergleich von AltText.ai und Azure Computer Vision hinsichtlich möglicher Anwendungsbereiche und ihrer Grenzen | ||
- Ein Vergleich von AltText.ai und Azure Computer Vision hinsichtlich ihrer Fähigkeit, Alternativtexte zu generieren. | ||
- Welche Vor- und Nachteile haben AltText.ai und Azure Computer Vision im Hinblick auf die Generierung von Alternativtexten? | ||
- Ein Vergleich der Genauigkeit und Geschwindigkeit von AltText.ai und Azure Computer Vision bei der Generierung von Alternativtexten. | ||
- Effektivität/Nutzbarkeit von AltText.ai / Azure Computer Vision als bereitstellbarer Dienst (SaaS-Lösung?) | ||
- Die Rolle von Image Captioning bei der Verbesserung der Barrierefreiheit am Beispiel von AltText.ai | ||
|
||
## Forschungsfragen | ||
|
||
1. Wie genau ist Image Captioning im Vergleich zu den von Menschen erstellten Alternativtexten? | ||
2. Wie effektiv ist Image Captioning bei verschiedenen Arten von Bildern? | ||
3. Wie wichtig ist der inhaltliche Kontext bei der Generierung von Alternativtexten? | ||
4. Wo liegen die Grenzen von Image Captioning? | ||
5. Wie können gezielte Inputs die Qualität von KI generierten Alternativtexten verbessern? | ||
6. Wie unterscheiden sich die von AltText.ai und Azure Computer Vision generierten Alternativtexte (hinsichtlich ihrer Genauigkeit) ? |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,48 @@ | ||
## Autor | ||
|
||
Aaron Asgharzadeh | ||
23.05.2023 | ||
|
||
## Thema | ||
|
||
Um das Internet barrierefreier zu gestalten, werden Bilder vermehrt mit Alternativtexten ausgestattet. Diese sollen den Inhalt der Bilder als Text wiedergeben, welcher bspw. von Screenreadern ausgelesen werden kann. | ||
So kann man Sehbehinderten einen Zugang zu Internetgrafiken gewährleisten. | ||
Das Generieren von Alternativtexten könnte durch Image Captioning via KI automatisiert werden. | ||
Das Praxisprojekt befasst sich damit, wie gut Image Captioning Lösungen zum Generieren von Alternativtexten sind. Am Beispiel von AltText.ai wird untersucht wie genau KI generierte Alternativtexte sind und ob ihre Qualität durch gezielte Inputs beeinflusst werden kann; wo ihre Grenzen liegen und ob bestimmte Anwendungsbereiche zu bevorzugen sind. | ||
|
||
## Leitfrage | ||
|
||
Wie effektiv ist Image Captioning zum Generieren von Alternativtexten? | ||
|
||
### Unterfragen | ||
|
||
Was bedeutet "Effektivität" im Kontext von Image Captioning? | ||
Wie kann man die "Effektivität" messen? | ||
Wie kann man die Qualität von KI generierten Alternativtexten manipulieren/verbessern? | ||
Wo liegen die Grenzen von Image Captioning? (ggf. im Vergleich von verschiedenen Lösungen) | ||
|
||
## Ziel | ||
|
||
Es soll untersucht werden, ob aktuelle Image Captioning Lösungen ein sinnvoller Ersatz sind für manuell geschriebene Alternativtexte. | ||
|
||
## Lösungsansätze | ||
|
||
Eine erste Herangehensweise besteht darin, das Tool durch systematische Anpassung von Inputs und Parametern zu untersuchen, um Möglichkeiten und Einschränkungen zu identifizieren. | ||
Durch ein verbessertes Verständnis des Tools können Lösungsansätze präziser ausgearbeitet werden. | ||
|
||
## Ressourcen | ||
|
||
Literatur: | ||
|
||
- Chandu, K. et al. (2022): Denoising Large-Scale Image Captioning from Alt-text Data using Content Selection Models | ||
- Fatichah. C, Suciati. N, Tsaniya, H. (2022): Transformer Approaches in Image Captioning: A Literature Review | ||
- Chohan, M. et al (2020) : Image Captioning using Deep Learning: A Systematic Literature Review | ||
|
||
## Motivation | ||
|
||
Barrierefreiheit wird im öffentlichen Diskurs ein immer wichtigeres Thema. | ||
Konkret gibt es durch den "European accessibility act" vom europäischen Parlament die Weisung neue Produkte ab dem 28.06.2025 barrierefreier zu gestalten. | ||
Um den Ansprüchen an Barrierefreiheit gerecht zu werden, soll daher untersucht werden, ob die automatisierte Generierung von Alternativtexten eine effektive Möglichkeit bietet, den Zugang zu Internetgrafiken für sehbehinderte Personen zu verbessern. | ||
|
||
Eine weitere Motivation besteht in der aktuellen Relevanz von KI Tools wie ChatGPT, Midjourney oder Stable Diffusion. | ||
Durch die Untersuchung von AltText.ai können wir die Potenziale und Grenzen eines KI Tools im Kontext der Bildbeschreibung eingehend analysieren. |
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Alternativtexte für Bilder tragen dazu bei, dass Webseiten für mehr Benutzer zugänglich sind und ihnen ermöglichen, Inhalte zu verstehen, selbst wenn sie die Bilder nicht sehen können. Menschen mit Sehbehinderungen verwenden Screenreader, die den Inhalt einer Webseite vorlesen. Wenn ein Bild keinen Alternativtext hat, kann der Nutzer nicht verstehen, was auf dem Bild gezeigt wird. Durch die Bereitstellung eines präzisen und beschreibenden Alternativtextes können auch blinde oder sehbehinderte Menschen den Inhalt einer Webseite vollständig erfassen.