26bitz

Beschreibung

Die Next Step Foundation wollte einen KI-Chatbot entwickeln, der auch außerhalb der Schule in Suaheli und bei eingeschränktem Internetzugang kontinuierliche, kultursensible Unterstützung für die seelische Gesundheit bieten kann.

Ziele:

• Unterstützung rund um die Uhr, auch außerhalb der Schule
• Swahili-Sprache für lokalen Zugang
• Einfühlsamer Chatbot, der auf den Kontext der psychischen Gesundheit abgestimmt ist
• Kompatibilität mit Umgebungen mit geringer Bandbreite

Herausforderung

Unser Ziel ist es, die Bubble-App in ihrer jetzigen Form beizubehalten, aber die OpenAI-basierte API durch eine neue API zu ersetzen, um sichere und kulturell angemessene Unterhaltungen in der Swahili-Sprache zu gewährleisten.

Eine der größten Herausforderungen bei diesem Projekt war die Infrastruktureinrichtung. Da wir ein eigenes LLM verwendeten, konnten wir uns nicht auf HuggingFace oder vollständig verwaltete Dienste wie AWS Bedrock verlassen.
Da das AWS-Konto des Kunden brandneu war, stießen wir an eine harte Grenze: kein GPU-Kontingent. Die anfängliche Bereitstellung auf SageMaker war teuer. Unser Team übernahm die Führung und setzte sich über mehrere Wochen hinweg direkt mit dem AWS-Support in Verbindung, um die Bedürfnisse des Kunden mit Nachdruck zu vertreten. Dank unserer Hartnäckigkeit und unseres Fachwissens sicherten wir uns den Zugang zu kostengünstigeren GPU-Instanzen, erhielten ein größeres Kontingent und führten das Modell auf EC2 aus. ‍

Dadurch konnten wir die Infrastrukturkosten um 72 % senken, die Leistung aufrechterhalten und das Budget des Kunden einhalten.

Lösung

Wir lieferten innerhalb von 4 Wochen eine funktionierende Lösung mit folgenden Schwerpunkten:

• Benutzerdefiniertes KI-Modell: Wir erweiterten das ursprüngliche OpenAI-basierte Setup mit einem benutzerdefinierten, auf Swahili abgestimmten LLM (UlizaLlama) und optimierten Geschwindigkeit, Leistung und lokale Relevanz.
• Einfühlsames Design: Der Chatbot-Ton wurde für psychologische Sicherheit und Zugänglichkeit angepasst.
• Technischer Stack: Aufbau einer benutzerdefinierten Retrieval-Augmented Generation (RAG)-Pipeline mit Qdrant; eingebunden in FastAPI und bereitgestellt auf AWS (EC2 g4dn.xlarge).
• Integration: Nahtlose Verbindung des Chatbots mit einer bestehenden Bubble-Web-App.

Ergebnisse

• Fertig implementierter und integrierter Chatbot in 4 Wochen
• KI-Chatbot für zugängliche psychische Gesundheitsfürsorge
• Sichere, skalierbare Infrastruktur auf AWS Building

Tumaini war ein gemeinsames Projekt, das das Fachwissen der Next Step Foundation mit der praktischen KI- und Gesundheitserfahrung von 26bitz verband. Im Folgenden beschreibt unser Kunde die Zusammenarbeit mit uns während des gesamten Prozesses:

Die NextStep Foundation freut sich, mit 26bitz zusammenzuarbeiten, um Jugendlichen mit Behinderungen in Kenia und darüber hinaus Unterstützung im Bereich der psychischen Gesundheit zu bieten. 26bitz verstand sofort unsere Vision, dieser gefährdeten Bevölkerungsgruppe zugängliche psychische Unterstützung zu bieten. Die Verwendung eines auf die Suaheli-Sprache abgestimmten Modells wird die Zahl der Schüler, die Zugang zu Tumaini haben, erhöhen und die Interaktionen organischer und natürlicher gestalten. Wir freuen uns darauf, die Zusammenarbeit mit 26bitz fortzusetzen, um die Funktionen von Tumaini zu erweitern und den Bedürfnissen von Jugendlichen mit Behinderungen im Bereich der psychischen Gesundheit besser gerecht zu werden." - Chris Harrison, Vorstandsvorsitzender der Next Step Foundation