Die KI-gestützte Text-Software Chat GPT ist aktuell DAS Tech-Thema. Der Sprachroboter soll mit hoher Präzision Texte ausarbeiten und ganze Geschichten erzählen – und das auch noch innerhalb weniger Sekunden. Doch was ist wirklich dran an der Usability? Funktioniert die KI auch für hochtechnische Themen eines Software-Unternehmens? Werden die Texte genauso gut, prägnant und flüssig wie aus menschlicher Hand? Wir haben es ausprobiert. Ein Erfahrungsbericht mit Chat GPT-3.
Unsere Learnings mit Chat GPT-3:
Gleich beim ersten Mal, als wir im Teammeeting Chat GPT googeln und zur Firma Open AI verlinkt werden, erhalten wir den Hinweis, dass die KI gerade an ihrer maximalen Kapazitätsgrenze stehe. Und das sollte noch öfter vorkommen (selbst bei der jüngsten Version Chat GPT-4, der wir Teil 2 unseres Erfahrungsberichts widmen werden). Offenbar nutzen gerade so viele Menschen gleichzeitig die lebensvereinfachende Artificial Intelligence, dass die Serverkapazitäten schlichtweg nicht ausreichen, um den Anfragen nachzukommen. Das bedeutet im Umkehrschluss auch, dass der KI-Bot noch ganz am Anfang dessen steht, was einmal möglich sein soll – ein unbegrenzt skalierbarer, zeitgleicher Zugriff von Menschen und Unternehmen auf der ganzen Welt. Einer Welt, die von der Intelligenz und Zuverlässigkeit einer KI profitieren oder auch abhängig werden könnte?
Obwohl der Hype um Chat GPT erst Anfang 2023 an Fahrt aufnahm, gibt es den Chatbot und die Idee dahinter schon deutlich länger. Neben Chat GPT programmierte Open AI auch das Programm Dall E, das auf der Grundlage von Texten Bilder erstellt – eine Fähigkeit, die auch die neue Chat GPT-4 Version beherrscht. Fun Fact: Das Unternehmen Open AI wurde 2015 von Elon Musk mitgegründet (2018 stieg er wieder aus). Noch aber feiert vor allem die kostenlose Version Chat GPT-3 einen Boom, der sich mit der praktischen Relevanz erklärt, die solch ein Chatbot für unseren Alltag darstellt. Das Texten ist mittlerweile so tief in unsere täglichen Aufgaben und Abläufe integriert wie Essen und Schlafen – sei es das Schreiben von E-Mails, Artikeln, Bewerbungen, Hausarbeiten oder WhatsApps.
Schnell stellen wir uns die Frage, ob Chat GPT womöglich die heißersehnte Entlastung für die ewig mahlenden Mühlen des B2B-Storytellings bringen könnte. Oder wird uns die KI gar redaktionelle Kompetenzen streitig machen? Wir starten ein Vergleichsexperiment und challengen den KI-Bot für unsere Software-Themen rund um IoT, IIoT & Cloud Native Design. Dafür testen wir folgende Formate: einen Social Media Post, einen Mailing-Text, einen Blogpost, ein Interview und die Zusammenfassung eines Solution Papers zu einem 1-Pager. Wird die KI fachlich genauso korrekt, prägnant und mit der nötigen Prise an werblicher Begeisterung antworten wie ein Mensch? Und klappt das auch ohne die perfekt auf das Wesentliche reduzierte, strukturierte Vorgabe eines „Prompts“?
Prompt an Chat GPT: Versetzen Sie sich in die Rolle eines Senior Product Managers. Geben Sie in einem LinkedIn Thought Leadership Post einen Tipp zum Thema Cloud Migration ab. Ihre Zielgruppe sind leitende IT-Manager. Im Fokus stehen Herausforderungen, die bei der Migration von Internet-of-Things-Systemen von On-Premises in die Azure-Cloud auftreten können. Sprechen Sie über die Vorteile von Cloud-Bereitstellungen. Halten Sie den Beitrag kurz und verwenden Sie prägnante Sätze. Der Ton sollte informativ und hilfreich sein. Beenden Sie den Beitrag mit einem Beispiel.
Die Vorgabe speisen wir auf Deutsch sowie auf Englisch in Chat GPT-3 ein, um zu sehen, mit welcher Sprache der Chatbot vertrauter ist und ob die Sprachauswahl grundsätzlich einen Unterschied macht. Das Ergebnis: Der englische Text ist deutlich kürzer, besser strukturiert und aussagekräftiger als der deutsche, was sicherlich an der umfangreicheren englischen Datenbasis liegt. Insgesamt bietet der KI-Text ein sehr gutes Gerüst für LinkedIn-Mailings und beschleunigt die Produktion – gerade für Nicht-Texter aus dem Sales, Produkt Management & Co. – enorm. Reichert man die flüssig vorformulierten Bausteine noch mit passender unternehmensspezifischer Expertise und Referenzen an, erhält der Leser eine solide, informative B2B-Mail.
Fazit Mailing: Gutes Gerüst für Mails, flüssig formuliert, Englisch besser als Deutsch, anzureichern durch individuelle Unternehmens-Insights.
Prompt an Chat GPT: Schreibe einen kurzen Ankündigungstext für Social Media (LinkedIn), in dem du den neuen Podcast „We talk IoT“ mit Dr. Christian Liedtke und Andreas Frank von KUKA ankündigst. Identifiziere passende Emojis und Hashtags.
Kurze und prägnante Texte sollten Chat GPTs Meisterleistung sein, denn die Aufgabe besteht hier im Destillieren der wichtigsten Fakten. Wir wollen herausfinden, ob wir mit Chat GPT-3 in Sekundenschnelle ein besseres Ergebnis für einen Post bekommen als durch unsere Social Media Redakteure. Doch die Kürze hat so ihre Tücken für den KI-Bot, wie wir sehr schnell merken. Jede Antwort fällt etwas länger aus als gewünscht. Andererseits kann der Bot – und hier kommt das erste Aha-Erlebnis für uns – selbst zu komplexen Themen auf Anhieb ganze Essays schreiben. Die finale Textgestaltung des Posts im angemessenen Umfang und mit der nötigen Aussagekraft erfordert dennoch ein umfassendes Finetuning durch uns. Nach jeder Eingabe müssen wir am Text feilen, den Bot weiter kürzen lassen, auf das richtige Kernthema hinweisen und die Emojis und Hashtags optimieren.
Einen guten Social Media Text bekommen wir mit Chat GPT-3 trotzdem hin. Verblüffend ähnlich zu unserem eigenen sogar, obwohl der Weg dahin durch die vielen Anpassungen dauert. Immerhin liefert Chat GPT vielfältige Formulierungsvorschläge für werbliche Social Media Posts, aus denen man nach eigenem Gusto auswählen kann.
Fazit Social Media: Gut, aber nicht 100% auf den Punkt.
Unser Blogbeitrag „Von 1G bis 6G: Wie 5G das Internet beflügelt und was danach kommt“ vom 14. Dezember 2022 eignet sich perfekt für einen Gegenvergleich mit dem Chatbot. Das Thema 5G kam in den letzten Jahren häufig auf, wodurch eine breite Datengrundlage vor dem Jahr 2022 vorhanden ist und von Chat GPT aufgegriffen werden kann, der Blogpost selbst ist aber nicht in der Datengrundlage enthalten. Die Erwartung: Ein qualitativ hochwertiger und informativer Text mit Quellenverweisen, der unserem bereits geschriebenen Blogbeitrag das Wasser reichen kann.
Prompt an Chat GPT: Schreibe einen Blogbeitrag darüber, was die 1G-6G-Technologien im Einzelnen bedeuten. Stelle die Relevanz für IoT heraus. Erkläre einen klassischen Anwendungsfall für Echtzeitdaten wie zum Beispiel Condition Monitoring: „Datenverarbeitung und Visualisierung sind am nützlichsten, wenn sie in Echtzeit oder nur mit minimalem Zeitverlust stattfinden, nur dann gelingt eine Prozessoptimierung.“ Ergänze ein konkretes Praxisbeispiel aus Anwendersicht. Schlage beim Thema IoT-Daten eine Brücke zur Open Industry 4.0 Alliance. Füge einen Titel und drei Zwischenheadlines hinzu.
Die Erfahrung mit dem KI-Bot zeigt, dass ein Prompt bis ins kleinste Detail vorgegeben sein muss. Wenn man nicht explizit nach Headlines verlangt, bekommt man einfach nur einen langen Text. Der sich allerdings dramaturgisch geschickt aufbaut und sich, ähnlich zu unserem eigenen Text, an der Historie des Mobilfunks von 1G bis 6G entlanghangelt. Chat GPT-3 braucht dafür gerade einmal eine Sekunde, bis er uns seine Antwort ausgibt: Wir erhalten einen Text samt Headlines, die – zweites Aha-Erlebnis – unserem Blogpost auf den ersten Blick ähneln. Chat GPT „denkt“, so möchte man meinen, in die gleiche Richtung wie ein Mensch. Nur dass das eine KI-Software eben nicht denkt, sondern unser Verhalten imitiert. Wie gut, sieht man am Vergleich der ursprünglichen mit der neuen Fassung des Beitrags.
Auch diesmal liefert uns das KI-Exemplar ein gutes Text-Gerüst, inhaltlich bleibt der Post jedoch sehr oberflächlich. Viele Formulierungen sind zu allgemein und wiederholen sich. Gerade im B2B-Marketing, wo es darum geht die Expertise und Kompetenz eines Unternehmens elegant in einen Text einzuflechten, sind thematische Querverbindungen und technologische USPs wichtig, um einen Beitrag wirksam auszuspielen. Eine solche Detailtiefe an die KI einzubriefen, wäre mühsam und zeitaufwändig, zumal einem die richtigen Einfälle oft erst beim Schreiben kommen. Eher sollte der KI-Bot mit der Zeit dazulernen, um die gleiche Qualität liefern zu können, die wir von unseren Inhouse-Redakteuren erhalten. Gleiches gilt für kreative Wortspiele etwa bei Überschriften, die idealerweise auch gleich SEO-optimiert sein sollten. Natürlich hätten wir die Keywords im Prompt mitangeben können. Für unseren Testballon wollten wir jedoch ein schnelles Ergebnis. Und, wenn wir ehrlich sind, sind die Briefings, die wir unseren Redakteuren und Freelancern an die Hand geben, häufig sehr viel vager, kryptischer und unausgereifter als der hier verwendete Prompt. Der Mensch schafft es dennoch, eine Skizze in ein Gemälde zu verwandeln – die KI kann das nicht ohne Weiteres.
Einen starken Kritikpunkt gibt es an den Quellen: Die von Chat GPT-3 angegebenen Links führen ausnahmslos zu 404-Fehler-Seiten. Selbst bei der Nachrecherche mit den Titeln und URLs bleiben die scheinbar verwendeten Online-Artikel unauffindbar. Der KI-Bot „halluziniert“, sprich: er erfindet und kreiert Quellen. Der Faktencheck fällt damit wieder auf uns zurück. Die Erwartung innerhalb weniger Minuten einen Blogpost zu generieren und direkt zu veröffentlichen, rückt damit in die Ferne. Dennoch: Unser Gesamtfazit fällt positiv aus.
Fazit Blogbeitrag: Schnelles Textgerüst als Vorlage zum Anreichern und Ausschmücken mit weiterem Wissen, Side-Facts und kreativen Details, Vorsicht: Fakten checken!
Kürzlich haben wir unseren CTO Thomas Stammeier zum Thema Smart Energy Solutions befragt. Das Interview wurde am 30. Januar 2023 auf unserem Blog veröffentlicht und fällt damit nicht in die Datengrundlage, aus der sich Chat GPT-3 seine Antworten ziehen kann. Allerdings hatte Device Insight zuvor ein achtseitiges Solution Paper zum Thema Smart Energy publiziert. Uns interessiert nun, wie die Antworten vom KI-Bot auf dieselben Fragen ausfallen – unter der Bedingung, dass wir Chat GPT-3 mit unserem Solution Paper anfüttern und vorgeben, ausschließlich diese Datenbasis zu nutzen. Wem gelingt das Interview besser?
Prompt an Chat GPT: Beantworte mir Fragen zum Thema Smart Energy Solutions nur anhand des folgenden Textes, und beziehe dich nicht auf deine Trainingsdaten.
Diesmal braucht Chat GPT-3 etwas länger, um mit dem Schreiben anzufangen. Vermutlich „verdaut“ er noch unser PDF. Je öfter wir Fragen zum Text stellen, desto schneller kommen aber Antworten. Was auf den ersten Blick auffällt: Die Antworten eines Menschen sind persönlicher, der KI-Bot wählt neutrale Formulierungen aus dem Paper. Auch den Transfer von einer Lösungsdarstellung zu einem Nutzenversprechen schafft die KI nicht. Alle Interviewfragen, selbst dezidierte Nach- und Detailfragen, werden sehr gleichartig, fast schon repetitiv, verallgemeinernd und deutlich zu lang beantwortet. Im Grunde macht der Chatbot das, was Menschen im echten Leben auch gerne tun, wenn sie keine Antwort parat haben – viel Gerede um Nichts. Prägnant und faktenbasiert ist das nicht. Das Frage-Antwort-Prinzip eines Interviews funktioniert bei Chat GPT-3 also offenbar nicht. Stattdessen müsste man bei jeder Frage die Erwartungshaltung an die Antwort genauestens vorgeben. So gibt es für uns keinen Gewinn.
Nach dem Interview bitten wir den KI-Bot nochmal anzugeben, auf welche Quellen er sich für seine Antworten bezogen habe – und erhalten eine völlig unpassende Angabe, die komplett an unserem Thema und dem Input vorbeigeht. Chat GPT-3 hat hier wohl mal wieder halluziniert. Ob der Chatbot auch weitere Angaben missachtet oder „kreativ“ uminterpretiert hat?
Fazit Interview: Für ein Interview-Format ist Chat GPT-3 nicht geeignet.
Wir geben Chat GPT-3 unser bereits erwähntes Solution Paper zu Smart Energy und bitten um eine Kurzzusammenfassung zu einem 1-Pager. Außerdem speisen wir den Text eines anderen 1-Pager-PDF als Vorbild in puncto Aufbau ein. Diesmal machen wir uns die Mühe und fragen jeden einzelnen Abschnitt, den wir im 1-Pager platzieren wollen, separat an. Insgesamt nutzen wir hierfür 6 Prompts.
Prompts an Chat GPT: Erstelle mir einen deutschen One Pager zu folgendem Text (…). Erkläre in 500-600 Wörtern, worum es bei Smart Energy Solutions von Device Insight geht und wie Unternehmen, die die Lösung anwenden, davon profitieren können. Erläutere in 500-600 Wörtern, wie Smart Energy Lösungen funktionieren und hebe die technologischen Besonderheiten hervor. Arbeite eine kurze anonymisierte Kundenbeschreibung aus dem folgenden Textabschnitt „Das Praxisbeispiel eines deutschen Automobilherstellers“ heraus. Schreibe mir ein paar Sätze über Device Insight. (Hinweis: Gebündelte Darstellung aus 6 Prompts).
Innerhalb von Sekunden bekommen wir jeweils einen aussagekräftigen und gut verständlichen Textabschnitt – und haben diesmal nichts zu meckern. Bei den Kennzahlen fügt der KI-Bot andere Quellen mit Angaben zum allgemeinen Verbesserungspotential von Smart Energy ein. Das hat zwar nichts mit unserem Offering zu tun, ist aber für sich genommen stimmig und plakativ. Den fertigen Text fügen wir nun in unsere One-Pager Vorlage ein. Einzelne Wörter müssen wir für ein stimmiges Design im PDF zwar noch kürzen, sind mit dem Ergebnis aber zufrieden: Diese Aufgabe hat Chat GPT-3 sehr gut gelöst.
Und jetzt der Wermutstropfen: Beim letzten Teilabschnitt „Über uns“ behauptet der KI-Bot, die Device Insight GmbH sei seit 2016 Teil der Bosch-Gruppe. Falsch! Tatsächlich sind wir seit 2019 Teil von KUKA. Bei erneuter Eingabe der Frage verschwindet der Satz aus der Antwort. Ein fader Nachgeschmack vom Fake Fact aber bleibt.
Fazit 1-Pager-Zusammenfassung: Auf Basis von 6 Teil-Prompts textlich sehr gut gelungen.
Die Gesamtbilanz unserer 5 Aufgaben an Chat GPT-3, die wir unserem redaktionellen Alltag als B2B-Software-Unternehmen entnommen haben, fällt positiv aus. In erster Linie helfen die Textvorschläge der KI gegen die Angst vor dem „weißen Blatt“. Themen werden vorstrukturiert und mit flüssigen Formulierungsbeispielen bestückt. Englische Texte sind aufgrund einer breiteren Datenbasis im Vorteil. Gerade Nicht-Texter erhalten damit ein probates und effizientes Hilfsmittel, wodurch die Kommunikationsabteilung tatsächlich entlastet werden kann. Gibt man bei Chat GPT dieselbe Anfrage mehrfach ein, erhält man weitere Variationen zum Auswählen.
Und jetzt das große Aber: Für einen echten Mehrwert muss jeder Text – sei es ein Social Post, Mailing oder Blogbeitrag – verfeinert und angereichert werden. Besonders gut gelingen dem Chatbot Zusammenfassungen aus Long Content. Voraussetzung dafür – wie für jeden qualitativ hochwertigen KI-Text, der es mit der menschlichen Feder aufnehmen kann – ist allerdings ein zielgerichteter, präziser Prompt, der alle Informationen zu Inhalt, Stilistik und Wirkung enthält. Wer diese Kunst beherrscht, wird von Chat GPT profitieren.
Der Faktencheck aufgrund falscher oder fehlender Quellen bleibt allerdings weiterhin in der Verantwortung des Menschen. Die Verpflichtung zur Sorgfaltspflicht kann einem die KI nicht abnehmen. Ob das bei der neuen Version Chat GPT-4 besser klappt und wie die von uns bereits getesteten und einige weitere B2B-Marketing-Formate gelingen, erfahrt ihr in Teil 2 unseres Erfahrungsberichts.
Delivering excellence in IoT. Wir sind ein IoT Solution Provider für Smart Products, Connected Vehicles, Smart City, Smart Energy und Smart Production.
