FS266 Mehr Bums

Hallo, herzlich willkommen zur Freak Show, da sind wir wieder. Ausgabenummer, was haben wir jetzt? 266, ich komm immer total durcheinander mit diesen ganzen Sendungsnummern, ich mach zu viele Podcasts, ich hätte alle Podcasts durchnummerieren sollen, egal, egal worum es geht. Naja, ich bin Tim, hallo und ja wir haben wieder nach nur drei Wochen schon wieder eine neue Sendung für euch angerührt und ich begrüße die Runde und fange an mit Roddy. Hallo Roddy.

Ja, guten Abend.

Guten Abend.

Du meinst das mit der Nummerierung wie Holgi das macht, wo man dann bestimmte Feeds abonniert und dann haben die Folgen der einzelnen Dinger da ganz merkwürdige Nummern.

Du hast natürlich recht, deswegen mach ich das ja auch nicht, deswegen komm ich durcheinander. Aber besser ich komm durcheinander als alle anderen. So, Ralf ist wieder mit dabei, hallo Ralf.

Einen wunderschönen guten Abend.

Bist du auch mit deinen Sendungsnummern durcheinander gekommen?

Meine letzte Sendung ist so lange her, dass… Wie lange denn überhaupt?

Sag mal über deine Podcast, hast du das letztes mal überhaupt schon mal erzählt? Nee, hast du überhaupt nicht erzählt, dass du auch mal einen Podcast gemacht hast, damals?

Damals, als es noch den Göttinger Podcasting Cluster gab, mit Anycast und Schöne Ecken und so und meine Frau, die Claudia Krell hat mich da hingeschleppt, die war irgendwie mal Gast bei den WikiGeeks, was damals auch zwei Typen waren und wie das bei ihr halt so ist, Setz sie irgendwo hin und man nimmt sie sofort die ganze Bude. Und dann war sie bei der zweiten Sendung mit dabei und bei der dritten und bei der vierten und irgendwann gehörte ihr gefühlt dann der Podcast und dann war ich als Gast einmal mit dabei und hab mich zumindest im Technikbereich so als so hilfreich angestellt mit irgendwie, ich mach dann auch gleich mal einen Schnitt der Sendung und hier vielleicht haben wir noch bessere Headsets, dann war ich da plötzlich auch drin.

Irgendwann war die Founder nicht mehr dabei und die haben das übernommen. Also totales Podcast Hijacking sozusagen.

Wie das dann immer so ist. Dann sind wir nach Berlin umgezogen und hatten dann noch den Renke und den Dennis vom Anycast mit in unserem Vierer-Quartett hier und waren dann aber nach anderthalb Jahren in Berlin. Ich würde nicht sagen es war die Luft raus, aber es stand dann immer mal so ein großer relaunch an, um mal so an manche Konzepte noch mal neu und anders zu denken.

Das ist ein großer Fehler, das ist sehr sehr sehr schwer, also iterative Verbesserung, das funktioniert eigentlich meistens, ist nicht einfach aber es geht, man kriegt nicht sofort das was man haben will, aber wenn man lange genug dabei bleibt, Aber immer so dieses, ne wir machen jetzt alles neu und jetzt machen wir erstmal Pause, bis es wieder richtig ist, das hätte ja sogar fast diese Sendung gekillt.

Ja und wir hatten dann auch so einen richtigen Brandgedanken, um dann irgendwie verschiedene Formate dann alle unter einheitlichem Dach und du kennst das, aber dann kamen zum einen dann irgendwie Leben dazu und dann noch mehr Leben in Form von Kindern und dann hat man für sowas wirklich gar keine Zeit mehr. Also die letzte Wiki Geeks Folge ist das glaube ich, nein nicht ganz zehn Jahre, aber neun Jahre her oder sowas, also das ist schon verstörend lange her.

Ach genau, sehr verstörend lange her, auch ein Grund warum ich dich jetzt hier herangeschleppt habe.

Ich muss mal kurz, mein innerer Autist nervt gerade rum, die Taschenlampe von deinem Telefon ist an. Das macht mich gerade so ein bisschen kirre.

Glück, dass wir das geregelt haben.

Ich kann das verstehen. Ich kann das verstehen. Gut, kommen wir zu Nummer vier in der Runde, nämlich Oliver Zeigermann, Olli, hallo, herzlich willkommen in der Freak Show.

Vielen Dank. Wie man vielleicht hört an meinem Akzent, angeblich hört man das ja, komme ich aus Hamburg.

Hört man. Hört man das, hört man das, dass ich aus Hamburg komme. Hört man. Ach ne.

Also ich versuche immer so meinen Akzent zu unterdrücken und alle hören sofort, aber nicht nur das, sondern auch woher, also machen wir kein Handy mehr draus. Also ich komme aus Hamburg.

Hamburg.

Ja, aber wie gesagt, für diese Sendung hier werde ich sehr hochdeutsch reden. Die ganze Zeit. Mich total vernünftig ausdrücken.

Ist ja nicht so, also ich meine, wenn man jetzt richtig krass Hamburgisch spricht, dann fällt das ja meistens noch nicht mal auf.

So Heidi Korbel mäßig. Kennt ihr Heidi Korbel überhaupt noch? Oh, wohnst du in Euchtheater? Dann ist man sofort hier, ist man da schon geprimed und kann schon eigentlich auch gar nix. Achso, ich werde ja gefragt, welche Ecke denn? Ich komm aus St. Pauli. Glaubt man kaum, aber ist die Wahrheit. Hab auch eine St. Pauli Fanmütze, hab ich jetzt gerade natürlich nicht auf. Ach guck an.

Aber ein Handtuch dabei.

Ja, ich hab ein Handtuch dabei.

Gehst du auch zum Fußball?

Ich geh auch zum Fußball. Leider immer nur dann, wenn ich eine Karte von jemand anders bekomme, weil bei St. Pauli kriegt man keine Karte.

Wir kennen das Problem.

Oha.

Und dann muss man immer warten, ob irgendjemand zufällig… Warst du letztes Mal da? Echt ewig her, es muss vor Corona gewesen sein, das ist eine große Tragödie, aber ich fürchte so ist es.

Ich war beim letzten Derby.

Ja, oh warst du? Also beim letzten Derby war ich im Stadtpark, Hälfte meiner Freunde HSV, andere Hälfte St. Pauli. Da wurde auch zwischendrin, da hatte man sich gar nicht mehr so lieb mehr, also das war auch so, ich kann jetzt hier ja die Wortwechsel nicht wiederholen, weil das irgendwie wäre ein bisschen zu krass, Am Ende hatten wir uns dann doch alle wieder lieb, aber beim Fußball hört der Spaß auf. Ich finde, also ich meine, Fußball muss auch irgendwie eine Ernsthaftigkeit haben. Ich habe ja diese Theorie, dass es, naja es gibt jetzt wieder Kriege, aber dass es so wenig Kriege in Europa gibt, weil man das über Fußball austrägt. Weil man irgendwie die Aggressionen, wir gegen du, wir gegen dich und Rudel gegen Rudel, dass man das austrägt im Fußball, aber dafür muss man es ernst meinen. Wenn man das nicht ernst meint, dann bringt das nichts. Hier, St. Pauli, genau. St. Pauli natürlich gut. St. Pauli war früher hauptsächlich so von der Stimmung gut, inzwischen ist das aber auch fußballerisch der totale Knaller. Früher musste man schon ein paar Bier trinken, damit man überhaupt das Spiel ertrinkt und jetzt ist das aber so, dass man denkt, das kannst du ja machen.

Sag mal, seit einem halben Jahr wieder.

Ne, das sehe ich anders. Ich gehe vielleicht das Ganze entgleiten lassen, solange wir uns jetzt mal hier sehen.

Es ist ein solider Zweitliga-Verein. Ich bin ja gerne immer mal bei St. Pauli, auch wenn ich ja sozusagen bei dem anderen coolen Klub bin und von daher...

Bei welchem bist du denn? Bist du Union?

Ja klar. Achso. Bundesliga und so.

Weiß ja gar nicht, wie sich das anfühlt.

Vielleicht Champions League, mal gucken.

Ja ich sag Champions League, fänd ich gut.

Meinst du?

Ja sicher, wer sonst.

Ich hab ja mal ein halbes Jahr in Hamburg gewohnt und da hab ich, um dann auch Leute kennenzulernen, bin ich dann von einer WG zur nächsten getingelt und bin irgendwann mal, hab ich mal in einer WG vorgesprochen, mir das angeguckt, da hatten die einen Mitbewohner gesucht. Die Wohnung der WG war direkt über der Fankneipe von St. Pauli.

Oh, heja, und auch noch an dieser üblen Hauptverkehrsstraße.

Richtig, und dann rannte da der Typ, der das gezeigt hat, rannte dann da so durch das Zimmer und meinte, ja, also die eine Box hängt genau hier drunter und die andere Box, dann zeigt er in die andere Zimmerecke, hängt genau hier drunter. Und dann war ich dann auch nicht mehr so begeistert davon. Aber die hatten, die waren sowieso auch sehr merkwürdig drauf, die hatten dann irgendwie im Winter gegrillt und um das zu tun hatten sie irgendwie so ein Billiggrill zwischen Heizkörper und Fenster irgendwie so reingesteckt, das Fenster offen gelassen und da in der Wohnung gegrillt und so. Geht doch, muss sowas auch sein.

Naja, auf jeden Fall, um es kurz zu sagen, ich hab dich nicht eingeladen wegen deiner St. Pauli Affinität. Achso, das wusste ich ja gar nicht. Wir können dich ja mal kurz selber vorstellen lassen, pass auf, Achtung!

Oh mein Gott, das will ich nicht. Oh man, das ist ja fürchterlich. Das sieht auch aus wie meine eigene Oma.

Naja, es fiel mir gerade deshalb auf, weil, das ist sozusagen ein Ausdruck eines Videokurses, den du gemacht hast bei Manning, du hältst die Hände über den Kopf zusammen, war nicht gut.

Doch, es war ganz gut, aber ich weiß nicht, also wenn man so ganz frei spricht, sich unterhält, das klappt alles, aber wenn man so was sprechen muss, was man sich vorher überlegt hat, damit das Hand und Fuß hat, dann wird man zu so einem Roboter. Also manche Menschen können das, aber die haben das irgendwie richtig, also Sprecher ist ja ein richtiger Beruf, nicht aus Versehen und man stellt eigentlich immer vor diesem Dilemma, entweder redet man so, wie ich jetzt rede und dann wirkt das so, als wäre man nur so halb Knusper, Also nicht so richtig nicht so richtig stringent oder man überlegt sich das vorher dann wirkt man so als wäre man eine Maschine und irgendwo da diesen diesen Punkt zu treffen in der Mitte, dass man beides einigermaßen hinkriegt das ist echt eine große Herausforderung und ich würde mal sagen ist nur so mittel gut gelungen also inhaltlich stark aber so, insbesondere wenn man sich das selbst anguckt ist schon hart und dann wenn da noch Video dazu ist dann sieht man auch die ganzen eigenen Meisen also so man hat so Macken, Fummelt sich in den Haaren rum und zwinkert irgendwie so. Jeder von uns macht irgendwas und gnädigerweise spiegeln einem das die anderen nicht wieder. Jetzt guck ich euch gerade so an, was ihr so macht, aber ich sag nix, aber wir machen alle was und wir haben auch so Sprechticks, fast alle von uns und das denn so zu sehen, dann hörst du dir das auch hundert Mal an, guckst dir das hundert Mal an, das... Das ballert schon.

Ich wollte dich ja noch nicht an Pranger stellen, ich wollte nur klar machen, du hast ja einen harten Fokus, du bist halt so, auch Nerd seit schon immer.

Ja ich bin Nerd seit immer.

Und haben wir ja eben im Vorgespräch auch festgestellt, auch so schon so mit C64 ging's los.

Ich bin C64-Nerd gewesen, bin ich eigentlich immer noch. Also meine ganze Familie ist handwerklich begabt, also richtig, ich nicht. Und dann dachte ich immer, scheiße, was machen wir denn jetzt mit Olli? Was machen wir denn mit dem Mann? Der kann ja überhaupt nix. Was machen wir denn jetzt mit Olli? Und dann mein Bruder und mein Vater haben gesagt, kannst du mal ein Nagel reinhauen, dann wird er krumm und so und dann dachten die schon mal, irgendwas muss es doch geben, so und zack kommt Computer um die Ecke und plötzlich kann auch jemand wie ich, der hier irgendwie zwei dicke Hände hat, kann sich ausdrücken über so eine Maschine und letztlich ist das bisher die einzige, tatsächlich die einzige Technik gewesen, mit der ich mich ausdrücken kann und das ist so geblieben. Ich gucke gerade was da steht, aber es geht mich nichts an. Ich habe dann tatsächlich das auch studiert, also ich habe irgendwie als Teenager habe ich damit programmiert und dachte ja cool, jetzt kannst du auch was. Dann habe ich Informatik studiert, ne eigentlich habe ich, stimmt ja überhaupt nicht, ich habe Physik studiert, weil ich so dachte jetzt musst du größere Erkenntnisse kriegen, hab dann Philosophie studiert. Find ich immer noch total cool so wissenschaftstheorie und letztlich irgendwie so ein bisschen rumlabern und dann gab das mal so ein hast du auch philosophie studiert du guckst mich so böse an, dann gab das so ein, Ja, wie soll man das sagen? So ein Orientierungskurs von Leuten, die in dem Beruf arbeiten und dann dachte ich, das wird hier nix. Da gibt's keinen Beruf. Und dann habe ich Informatik tatsächlich studiert. Und äh...

Wie, zu Ende?

Ja, ich habe zu Ende Informatik studiert. Raus! Es hat noch nie, niemand hat.

Ist so ein Running Gag in meinem Podcast, dass ich die Leute immer frage, ob sie auch ein abgebrochenes Informatikstudium vorbeisuchen können.

Ich hab abgeschlossenes, aber ich muss dazu einschränken sagen, niemand hat jemals mein Diplom gesehen, niemand, niemand.

Also niemand wollte es sehen?

Nein, und niemand hat es gesehen.

Gibt's eins?

Es gibt eins, aber niemand hat es gesehen.

Gutachter schon.

Also du wie meinst du, du meinst, ob ich mir das selbst geschrieben habe, also es ist alles legal und so, aber es gibt dieses Diplom. So und so hat sich das so entwickelt, also über die Jahre.

Was war denn das Thema?

Von was?

Von deinem Diplom, die Diplomarbeit muss aber irgendwas gehen.

Ja das war das war Compilerbau also aber zwischendrin habe ich so KI Zeug gemacht und also Compilerbau ist weiß ich nicht, ist spannend braucht man aber eigentlich überhaupt nicht das war so weil ich irgendwie mich so gelangweilt hab.

Würde ich nicht sagen. Findest du doch nicht auch nochmal wer angeschaut.

Ah ja okay, also kann man machen, vielleicht hat es jetzt auch weniger Relevanz, ich hab da ein bisschen drüber nachgedacht, also weiß nicht, auf jeden Fall, um das jetzt vielleicht nochmal irgendwie hier rund zu bringen, KI in der Zeit wo ich studiert habe, ich bin jetzt ein bisschen älter, es waren 90er Jahren, hat überhaupt nicht funktioniert oder überhaupt nicht so wie ich es gedacht habe, es war eine große Tragödie, es war ganz ganz schlimm, echt ganz übel. Und dann, weil noch keiner wusste wohin die Reise geht, es hat nicht funktioniert da war nicht genug Bums in der Kiste, so wie Siri heute, ja nee viel schlimmer, also was man jetzt irgendwie zwischendrin haben Leute irgendwie mal sowas in den Raum geworfen eigentlich braucht man oder was immer irgendwie ein Game Changer ist, ist mehr Bums in der Kiste, Also einfach mehr Dampf machen, einfach du machst das Modell größer, du hast mehr Daten, du hast fette Prozessoren, so ganz brutale, gewalttätige Sachen, die haben es am Ende gebracht und haben es auch tatsächlich am Ende gebracht, also so vor zehn Jahren würde ich sagen, jetzt vielleicht schon ein bisschen länger her, bin ich dann so aus meinem Winterschlaf wieder erwacht. Ich war da einfach Softwareentwickler und hab mich immer ein bisschen gelangweilt, geb ich zu, ist ein bisschen vielleicht snobbistisch, aber hab ich. Und dann ging das. Plötzlich begannen Dinge zu gehen und die gingen hauptsächlich deswegen, weil Grafikkarten, Die... Gamer im wesentlichen bezahlbar gemacht haben, plötzlich so viel Bums hatten, dass man Sachen machen konnte, die man vorher nicht machen konnte. Theoretische Überlegungen, die man schon früher gehabt hat, nämlich wie man ein vernünftiges, normales Netz baut, die konnte man nicht umsetzen früher, weil es eben nicht genug Bums gab. Dann gab es genug Bums und im Wesentlichen hat das den Durchbruch gebracht. Wie so oft, man gibt einfach ein bisschen mehr Gas und plötzlich klappt das nicht.

Ist dieses Gaming ja am Ende dann doch zu was gut gewesen?

Absolut, also das Gaming, also es gibt da unterschiedliche Theorien, wir haben ja über die 23 gesprochen, Verschwörungstheorien, es gibt unterschiedliche Verschwörungstheorien, die eine ist, hier steht Nvidia ist jetzt 8 mal so viel wert wie Intel, da kommen mir Tränen in die Augen, weil bevor das losging, sagte jemand zu mir, nahm ich zur Seite und sagte, pass mal auf, wenn du jemals Aktien kaufen willst, kaufst du Nvidia Aktien. Was soll denn das? Ich weiß gar nicht wie das geht. Das ist echt viele viele Jahre her. Jetzt bin ich gerade abgedenkt gewesen, aber was wollte ich denn jetzt eigentlich sagen? Wisst ihr noch was ich eigentlich sagen wollte? Helf mir mal.

Naja, Grafikkarten, mehr Bums und es wurde dann lustig langsam, es wurde langsam ernst mit dem KI Gemumpel und all das wofür du dich vorher interessiert hast fing auf einmal an zu funktionieren und dein Leben hatte auf einmal einen Sinn.

So kann man es also, zumindest das, ich mein, ist jetzt echt peinlich, aber mein Berufsleben hatte dann wieder so einen Sinn, weil ich dachte, okay, dann können wir das alles wieder aufnehmen, gucken wir, was wir damit machen können. Und so ging das dann die letzten zehn Jahre, sag ich mal.

Mhm.

Genau. Und ich hab immer noch so einen leichten philosophischen Disziplin, also denke immer so drüber nach, was bedeutet das jetzt und weiß ich auch nicht, kann so ein System bewusst sein. Das ist aber eigentlich nichts wofür ich irgendwie bezahlt werde, sondern da denke ich nur so darüber nach, wenn mir langweilig ist. Achso, so kann man das sagen. Genau, das mache ich also beruflich. Maschinen lernen, Systeme zum Laufen bringen und darüber nachdenken, was kann man damit machen. Das ist mein Job. Achso und ich hab offensichtlich so diesen Videokurs, der ist inhaltlich gut, nicht dass ich den jetzt, ich meine der verkauft sich wie so natürlich irgendwie, ja nicht wie Blei in den Regalen, weil nach zwei Jahren oder nach drei oder nach vier ist das ja alles, kannst alles einstampfen, das ist echt ein großes Problem bei sowas, also du schabst da irgendwas und dann ist es im Prinzip, also wenn das erst mal beim Drucker ist, ist das eigentlich schon vorbei.

Ja, das glaube ich.

Tja, so.

Nichtsdestotrotz, also beim Manning ist das ja erschienen. Das ist ja so einer dieser Spezialverlage für Programmierer, die ich eigentlich ganz gerne mag. Also da sind einige Bücher, die ich zuletzt gelesen habe erschienen und die machen halt auch schon ganz modernes Zeug. Also mit diesen Livebooks zum Beispiel, also ich lese gerade ein Buch, das in seiner, das bisher zweimal überarbeitet worden ist und jetzt gerade in seiner dritten Überarbeitung ist und das wird quasi während die Kapitel jetzt fertig geschrieben werden schon, ist es schon nachlesbar. Das heißt ich lese es jetzt sozusagen in der noch nicht wirklich erschienen Version Kapitel für Kapitel wie sie rauskommen nach und man kann das halt wunderbar im Browser lesen, der merkt sich immer wo man irgendwie war und funktioniert irgendwie alles schon erstaunlich. Dieses Web, langsam wird's zu was gut. Ja, naja gut, also super. Genau und wegen diesem ganzen, also wir haben ja zusammen schon mal einen Podcast gemacht, kann man ja auch mal drauf verweisen und zwar in meiner kurzen Serie, die ich mal zusammen mit O'Reilly gemacht habe. Der Kolophon Podcast, das kennen vielleicht manche von euch gar nicht, ist auf jeden Fall auch in den Shownotes und da haben wir uns auch über Machine Learning unterhalten und das war schon so ein bisschen bevor das alles so richtig losging. Also es zeichnete sich ab, dass es jetzt interessant wird, weil halt diese ersten Durchbrüche im Bereich Deep Learning stattgefunden haben und ich hatte auch vorher schon mal einen anderen Podcast gemacht, der war dann aber auch wirklich sehr zeitig, muss ich nochmal gucken wann der eigentlich war. 2015 hab ich den gemacht, genau, Oktober 2015, ein CAE und das war so gerade als es so losging, so als auf einmal alle Katzen erkannt werden konnten auf Youtube und so, mit Katzen geht's ja los, ne.

Das musste ja auch dringend gelöst werden, die Katzenerkenner, das hat uns ja schon ganz schön umgetrieben.

Der hat mich übrigens schwer geprägt, der Podcast. Hab ich schon ein paar mal zu dem mit hier, Ulf Schöneberg, CRE 208. Da hab ich zum ersten mal das Licht gesehen. Als er diese Geschichte aus der Wikipedia erzählt, dass sie plötzlich merken, okay wir haben zwar die ganze Wikipedia reingefuttert, aber woher weiß dieses Teil plötzlich so viel, was da eigentlich so explizit gar nicht drin steht und woraus bildet sich das ab. Das hat mich alles so nervös gemacht, dass ich seitdem in der Tat das Thema verfolge.

Ulf ist schuld.

Ich hab mal versucht Ulf einzukaufen für die Stabi sogar. Für unser Curator Machine Learning Projekt. Aber es hätte nicht gelungen sozusagen. Es hätte nicht gelungen, er hätte zu dem Zeitpunkt dann schon ein besseres Angebot wieder abgestartet.

Ja das Erstaunliche daran ist aber eigentlich, also wenn ich hier zu viel darüber laber könnte ich es ja sagen, aber das Erstaunliche daran ist, dass für mich diese Durchbrüche, die es jetzt ja absolut und unbestreitbar gibt, dass das für mich eher ein Problem in meinem Job ist, also klingt ja eher überraschend, aber das liegt daran, dass dieses Chat-GPT-Zeug, habt ihr ja letztes Mal auch schon relativ viel drüber gesprochen, da haben jetzt alle das Gefühl, ah das ist ja im Wesentlichen gelöst, das kann das jetzt, das können wir jetzt alle benutzen, das klappt und so. Und das ist aber praktisch letztlich nicht einsetzbar für die für sehr viele Fälle und das bedeutet, wenn jetzt Leute sagen, was können wir denn mit Maschinenlernen machen, dann ist das aber der Maßstab, den die Leute so spüren, die denken, ja wieso, das geht doch alles, das haben wir doch gesehen, das habe ich doch selbst ausprobiert, ich habe doch einen Account. Und dass es dann aber solche Sachen gibt wie, ja, aber das passiert in den USA in irgendwelchen Containern, da musst du deine Daten drüber schicken, die wollen für jeden Request so und so viel Geld haben, wenn du das nachtrainieren willst, ist es super schwer und so, also das ist nicht bedeutet, dass nur weil die das können und das in den USA in irgendeinem Ding rumsteht, bedeutet das nicht, dass es für jeden zugreifbar ist und das ist gerade so die Herausforderung, die ich wahrnehme. Also ihr habt letztes mal glaube ich auch schon darüber gesprochen über so eine Open Source Version, die wir uns alle wünschen, die aber überhaupt nicht nicht sichtbar ist. Ich sehe keine. Und ohne diese Open Source Version, die man vielleicht am besten Fall auch noch auf dem Rechner laufen lassen kann, der nicht irgendwie 100.000. Euro kostet und wo man nicht irgendwie zehn Experten braucht, um das hinzukriegen. Solange das nicht da ist, fühlt man diesen Durchbruch und alle fordern diesen Durchbruch von jemanden ein, aber der ist praktisch im Moment noch nicht umsetzbar. Zumindest nicht in der Art und Weise, wie wir uns das alle wünschen oder wie die Leute, die davon hören, glauben, dass es möglich sein wird. Und das ist im Moment das Problem, weil es, man kann fast sagen, weil es so die Preise verdirbt. Also jetzt nicht den Preis im eigentlichen Sinne, sondern sowas wie, dass die Erwartungshaltung sehr hoch ist und man kann nicht liefern oder nur sehr begrenzt oder nur in speziellen Fällen. Das ist im Moment das, so wie ich es spüre. Also ich glaube wir merken alle, das geht richtig ab, wenn man jetzt irgendwie nur irgendwelche Nachrichten aufmacht, da ist ja immer irgendwas, irgendjemand hat irgendwas gefunden oder irgendwas ist besorgt oder.

Klar, aber ich meine im Gegensatz zu so vielen anderen Hypes ist halt auch was dran. Es ist noch nicht so, dass jetzt irgendwie jeder gecheckt hat, woran jetzt im Einzelnen wie viel wirklich ist und was dann doch nur heiße Luft ist, aber wir reden jetzt hier nicht über so ein totes Feld wie Big Chain oder so einen Scheiß, sondern das.

Hast du gesagt, da hab ich nicht gesagt.

Ja, aber ist ja so. Wie lange gibt's das jetzt, seit zwölf Jahren prophezeien sie uns, dass es irgendwie alles revolutioniert, was hat es bisher revolutioniert, es ist halt einfach gar nichts revolutioniert. Es ist einfach eine scheiß langsame Datenstruktur, die zu nix taugt. Das kriegen die Leute halt einfach nicht rein in ihre Körper und das Ding ist einfach mal durch. Eine interessante Technologie entdeckst du dadurch, dass du sehr schnell in sehr viele Richtungen einen konkreten Nutzen entdeckst, der vielleicht erstmal nur Potenzial hat. Ich war jetzt zum Beispiel vor ein paar Tagen hier auf einer Konferenz. Der, dem Amaze Festival, ich weiß nicht ob ihr das schon mal von gehört habt, das ist so eine kleine Gamer Indie Konferenz, so leicht künstlerisch auch angehaucht und so weiter, da laufen halt jetzt nicht so die großen Development Studios rum und machen dicken Mucks, sondern das sind sozusagen die kleinen. Und ich hab ja persönlich, das werd ich ja auch nicht müde zu betonen, so mit Gaming so überhaupt gar keinen Kontakt. Also nicht, dass ich nicht schon mal ein Computerspiel gespielt habe, aber das geht einfach so in mich nicht rein. Trotzdem find ich halt solche Szenen interessant. Ich wollt mir mal diesen Event anschauen, ich kenn ja auch ein paar Leute da. Einmal hab ich gesprochen und er meinte so, ja es wäre, kam natürlich zwangsläufig auf das ganze AI Thema, ne, und meinte ja, er hätte hier auch den ganzen Tag rumgelaufen, hätte mit allen gesprochen und nicht einer wäre dabei gewesen, der nicht schon berichtet hätte, wie sie TGPT, Large Language Models, in irgendeiner Form bei ihrem Game Design zum Einsatz bringen, sei es beim Coding, sei es beim Story Development, sei es in der künstlerischen Gestaltung, kann ich jetzt gar nicht so viel zu sagen, wo es überall konkret kam, aber es war einfach sozusagen nicht ein paar oder manche oder so, sondern alle sofort und jeder macht sich sozusagen auf die Suche, was man damit machen kann Jeder von uns persönlich hat schon irgendwie die eine oder andere Anwendung gefunden und das ganze Zeug ist halt jetzt gerade mal ein paar Monate raus. Das ist für mich so der Marker für Has Impact.

Absolut, also ich hab auch keinen Zweifel daran, dass es wirklich einen riesigen Impact gibt. Ist nur so, dass die Leute den jetzt einfordern und ich nicht liefern kann. Das ist vielleicht eher so das Gefühl. Und das ist vielleicht so wie diese Hype Cycle, man ist jetzt total aufgeregt und... Ist es dann aber irgendwann nicht mehr, weil du denkst, das geht ja alles gar nicht, aber das sehe ich überhaupt nicht. Ich sehe das so wie das Internet tatsächlich. Vielleicht bin ich ein Spinner, kann sein, aber ich sehe quasi das fast schon so wie die Fortführung von dem Internet. Ich hab hier meine Kollegen mit ein paar Folien genervt, es gibt diesen Marshall McLuhan, den ihr vielleicht kennt, vielleicht nicht, der hat so gesagt, irgendwie das erste, was die Menschheit hier irgendwie richtig vorangebracht hat, war überhaupt sowas wie, was war das nochmal, Sprache haben glaube ich, Buchdruck. Das heißt man hat irgendwie sowas wie, man hat jetzt, kann sich nicht nur irgendwie, kann nicht nur was aufschreiben und so, sondern man kann das jetzt auch noch vervielfältigen und dann kommt das Internet, das heißt man kann richtig unheimlich viel austauschen, das heißt du kannst weltweit austauschen mit fast keiner Verzögerung, dich unterhalten. Und was ich da jetzt drauf gesetzt habe, ein bisschen vermessen, überhaupt dem irgendwas hinzufügen zu wollen, ist, dass ich das Gefühl habe, dass jetzt sowas wie große Sprachmodelle die Komprimierung oder die Abstraktion oder das Destillat aus dem Internet ist. Das heißt, man ist jetzt in der Lage, das ist jetzt alles da und jetzt fasst du da so zusammen, nicht, dass du das Wissen irgendwie besser hast oder komprimiert, sondern die Fähigkeit, die da irgendwie drinsteckt. Das klingt jetzt ein bisschen so, als wäre ich vielleicht nicht ganz dicht oder so, so als würde das irgendwie total gesponnen sein, aber man sieht da, dass es irgendwie funktioniert. Das heißt, man hat alles genommen, was man so zusammengesammelt hat, wie die Menschheit, ins Internet gestopft, dann nennst du dieses Internet und destillierst es oder komprimierst es irgendwie zu irgendwas, was dann offensichtlich in der Lage ist, was zu tun, was Leute beeindruckt. Und für mich ist es wirklich dieser nächste Schritt, das muss jetzt nicht Chat-GBT sein oder so, aber überhaupt diese, also die Idee gibt es ja schon lange, aber dass es funktioniert und... Guck mal, als hätte ich das mir vorher überlegt, habe ich aber nicht. Es ging diesmal wieder auch nur, weil man mehr Bums unterm Kessel hat, das heißt man hat gesagt, machen wir einfach ein bisschen größer, macht mal ein bisschen größer, dann wird schon gehen und dann ging das plötzlich. Also es gab wirklich so einen Punkt und auch wenn man wieder zurück will und sagt, wenn wir es ein bisschen kleiner machen oder ein bisschen weniger komplex, dann verliert man das auch wieder, dass dieses Ding wirklich so schlau ist, dass es quasi die Fähigkeiten aus dem Internet dann wieder verliert oder einfach nicht mehr so eindrucksvoll ist.

Ja, glaubst du, dass es tatsächlich ein Hype-Cycle jetzt auch ist? Also, dass wir in so einen Trough of Disillusionment dann reinkommen?

Ich glaub wir sind knapp davor. Also zumindest so wie ich die Leute sehe, sehe ich eher enttäuschte Gesichter. Also ich jetzt schon. Also ihr seht vielleicht noch die aufgeregten, ich sehe die enttäuschten. Nicht weil das Schrott ist, sondern weil die Leute da nicht rankommen. Die sagen wir wollen ran in die Buletten. Ist aber nicht. Oder man sagt okay für die Fälle oder für die Anwendungsfälle, wo du bereit bist, deinen ganzen Kram in die USA zu schicken, das ist für ganz viele Anwendungsfälle entweder überhaupt nicht erlaubt, also in die Krankenakten oder so schickst du darüber, wird man wahrscheinlich nicht machen oder ist es einfach zu teuer oder zu aufwendig und die Menschen, die das jetzt wirklich machen wollen, sind dann häufig ganz traurig.

Ich kenne da einige Legal Departments, die ganz nervös, Vorsicht Vorsicht Vorsicht passt auf was ihr da in dieses Eingabefeld rein tut.

Zurecht, zurecht, weil also ob ich da jetzt irgendwas eintippe, was ist ein guter Name für ein Hund oder so ist ja völlig egal, aber sobald du da irgendwas reinschiebst, was du nicht, wo du eben nicht möchtest, dass das in den USA landet, dann machst du das einfach nicht.

Naja gut, USA ist vielleicht nicht das Schlimmste, sondern das ist halt einfach Open AI. Wer ist das? Kann man diesen Leuten trauen? Es war schließlich mal eine Firma, die Elon Musk gegründet hat.

Ob man diesen Leuten trauen kann, weiß ich nicht. Aber ich hab das Gefühl, ich hab die Leute zumindest mal gesehen, also die kennen mich nicht, aber ich hab die mal gesehen und ich glaube, dass es Idealisten sind. Aber ich glaube auch, dass sie die Kontrolle über ihre Firma verlieren werden oder schon verloren haben, eins von beidem.

Wenn irgendwo Geld drin steckt, dann hört der Idealismus meistens sehr schnell auf.

Aber den glaube ich nicht, die sind solche Nerds, die...

Also dann übernehmen Leute, die nicht mehr ganz so idealistisch sind.

Das glaube ich eher und dann sieht das schlecht aus. Und deswegen, ich glaube du hast es das letzte Mal gesagt, du möchtest Open Source Software.

Also die Grunddenke ist ja falsch. Wir brauchen noch eine Welt, in der man ihnen nicht trauen muss, weil es eben einfach genug freie Hand ist.

Genau, aber die Welt interessiert sich meistens nicht dafür, was man möchte. Das wollen wir aber.

Also ich hab im Chat jetzt gerade mal hier, was gerade ja so rum geht, dieses Hugging Face, aus dem Hugging Face Universum, die haben ja jetzt auch wirklich hier ein eigenes Large Language Model publiziert, hast du dir das angeguckt, was ist da falsch dran, also ja es ist bei weitem noch nicht so gut wie ChatGPT, aber gefühlt so mehr als anderthalb Jahre hängen sie auch nicht hinterher, also das ist jetzt nicht, da ist jetzt keine Potenz dazwischen.

Ja, also das Ding, dieses was du da jetzt geschickt hast, kenne ich nicht, habe ich nicht ausprobiert, müsste ich mir angucken, was typischerweise an diesen Modellen schlechter ist, also wie gesagt, kann ich nicht sagen, also was häufig schlechter ist, ist dass sie nicht so gut optimiert sind für eine Unterhaltung, ob das so jetzt so ist oder nicht, weiß ich nicht. Die sind sehr schwer zu hosten, das gilt natürlich auch für das Chat-GPT-Ding, das ist auch im Prinzip, weiß gar keiner, wie das überhaupt, also wie OpenAI dieses Ding überhaupt zum Laufen bringt, wissen wir nicht. Da wird's wahrscheinlich so ähnlich sein, das weiß ich wie gesagt nicht, weil ich dieses Ding persönlich nicht kenne. Ich vermute und das weiß ich aber nicht, im Gegensatz zu Chat-GPT wirst du wahrscheinlich auch nicht so wie Browser suchen darin integrieren können oder Plugins, das weiß ich nicht, vermute ich einfach nur. Und häufig und das ist wie gesagt müsste man müsste man alles mal ausprobieren ist es dann am ende nicht so gut wie das was die von oben her haben wahrscheinlich eher nicht nicht weil das modell irgendwie an sich schlechter ist also quasi die architektur schlechter sondern ich vermute das, sondern weil die weil die datenbasis schwächer oder anders ist aber wie gesagt das ist das spekulation.

Gucken wir doch mal bei der Datenbasis. Also was hätten wir denn quasi am Freien? Wir haben das Internetarchiv. Das ist schon mal nicht nichts.

Das ist gut, ja.

Da ist schon mal eine ganze Menge drin, wenn man da mal in die Keller der Kirche geht und die Festplatten mal rauszieht. Dann haben wir sowas wie Google Books. Da würde man ja sagen, das gehört ja Google. Ja, nicht so ganz. Das heißt also, wenn es die Bayerische Staatsbibliothek, ihre eine Million Bücher von Google Books hat digitalisieren lassen, haben sie für wissenschaftliche Verwendungszwecke die Volltexte von Google bekommen. Das heißt, wir haben zu einer Million deutschen Büchern die Volltexte in München liegen, mit denen man was anfangen kann. Und wenn man ganz wild drauf ist, kann man auch so eine Quelle wie Sci-Hub nochmal vielleicht irgendwie so anzapfen. Ja, dann hast du also alles an relevanter Wissenschaftsliteratur der letzten 30 Jahre noch mit drin in deinem Modell.

Also ich sehe nicht, dass, falls jemand nicht weiß was Sci Up ist, das ist das Pirate Bay der wissenschaftlichen Paper.

Ja genau da würde ich natürlich keinesfalls empfehlen das in so einem Modell einzustehen. Niemals würde ich das tun. Ich sehe gar nicht so die große Lücke. Das Training ist ein Problem aber da würde ich mal sagen, lass uns kurz den Punkt zu Ende machen. Beim Training würde ich sagen... Hoffe dass wir hier eine ähnliche entwicklung sehen wie bei open street map, wo du also auch lange jahre eine große kluft hattest zwischen google maps und dem was eben open street gemacht hat und google ist dann aber eben mit autos herumgefahren und hat street view gemacht und das fanden dann nur die deutschen aber immerhin die deutschen dann gar nicht mehr so knorkel und plötzlich haben sich alle mit ihren gps devices im rucksack irgendwie auf die norddeutschen Inseln gemacht, um die auch noch irgendwie durch zu kartografieren. Und irgendwann gab es so ein Tipping Point, wo du gesehen hast, okay mittlerweile gibt es sogar ein ganz gutes Design für OpenStreetMap und die API ist eigentlich ganz prima und ich kann das genauso gut in meine Webseiten einbauen wie vorher meine Google Maps. Jetzt ist das zumindest für uns im öffentlichen Dienst völlig selbstverständlich, dass wir nur OpenStreetMap reinsetzen. Und es ist immer noch in Details vielleicht schlechter, in anderen Bereichen ist es aber mittlerweile mindestens genauso gut oder in endlichen Bereichen noch besser als Google Maps. Und ja dieses Race hat ein bisschen gedauert und gerade irgendwie der Wissenschaftssektor hätte da viel mehr Geld reinstopfen können. Ja wo waren denn die ganzen GeoinformatikerInnen zu dem Zeitpunkt eigentlich? Ja da hätte man also sicherlich irgendwie DFG hätte ja sonst was aufsetzen können oder BMWF oder sowas. Und ich sehe nicht warum das jetzt nicht der Fall sein könnte, weil ich glaube die Daten haben wir so und für Training muss man sich dann vielleicht mal was einfallen lassen.

Okay, also Ralf, ganz klar, du bist schon jetzt wieder auf der Reise nach der ultimativen Open Source Lösung, damit wir nicht zu viele Gesprächsthemenkarten auf einmal auf den Tisch legen, würde ich ganz gerne noch einen kleinen Wrap-Up machen und dann vielleicht nochmal so ein bisschen fokussieren, vielleicht kommen wir zu solchen Themen auch nochmal. Ich glaube wir müssen die anderen Themen sowieso nach hinten schieben, wir bleiben jetzt einfach mal bei diesem ganzen Machine Learning. So, um erstmal das mit dir abzuschließen, Olli bist ja auch bei der Open Knowledge Foundation verdingt.

Nein, nein, nein, ich war bei einer Firma angestellt, die heißt auch Open Knowledge, das bin ich aber nicht mehr. Ah ok.

Jetzt bist du wieder selbstständig.

Ja genau.

Ok gut. Das wollte ich nochmal abgehakt haben so und genau also du bist jetzt quasi freischaffender ML Werker. Kann man das so sagen. Kann man das so sagen. Aber was wir unbedingt noch klären müssen ist, warum ist dein Twitter Account, warum heißt der DJ Kord Rose?

Also, das ist irgendwie schon ganz lustig, also, ähm, also... Also ich weiß es ehrlich gesagt gar nicht mehr so hundertprozentig. Das hat sich irgendwann so ein... ist irgendwie so passiert.

Warst du mal DJ?

Ich war nie DJ. Ich hab aber mal früher sehr erfolglos Musik gemacht. Da kommt diese DJ-Geschichte irgendwie rein und ich hab zu Studentenzeiten, hab ich immer so 5 Mark Korthosen von Penny getragen. Wirklich, das war... Ich dachte damals, das wär in Ordnung. Anders kann ich mich jetzt nicht rausreden. Und dann kommt die Korthose her. Und irgendwie ist es so geblieben und hab ich irgendwann nicht mehr drüber nachgedacht und dann war ich überall DJ Korthose und dann konnte ich das nicht mehr ändern und dann hab ich gehofft, keiner fragt jemals wieder. Es ist nicht gelungen. Also es ist immer so. Offensichtlich hat das leider nicht geklappt.

Verstehe. Aber du bist Nerd genug um hier beim Podcast mit dem Handtuch aufgelaufen zu sein.

Ja, hab ich mit. Also… Es ist Krümmelmonster drauf, ihr seht das, ne?

Sehr schön.

Krümmelmonster ist mein Vorbild.

Ich könnte ja jetzt behaupten, dass wir alle gerade ein Handtuch um uns herum geschlungen haben, das haben wir aber nicht.

Frag in drei Monaten nochmal.

Wieso, was ist in drei Monaten?

Richtig Sommer.

Achso, ja.

Wäre das schon Herbst?

Naja ich hab ja eingangs unser aller Freund Douglas Adams eingespielt und ich hab mich ganz bewusst nicht beim Anhalter vergriffen, das wäre ein bisschen zu naheliegend gewesen. Aber wenn man so älter wird, merkt man, es gibt dann immer mehr Leute, die kennen Douglas Adams nicht. Ich glaube das dürfte in unserer Hörerschaft eine sehr überschaubare Minderheit sein, aber ich denke, dass es schon nochmal ganz wertvoll ist, das vielleicht auch nochmal kurz aufzugreifen, weil heute ist ja Towel Day und ich bin nicht einverstanden mit dem Datum. Also das ist ja so eine Hauruck-Aktion gewesen, weil so ein paar Leute der Meinung waren, jetzt müssen wir sofort, sofort nachdem er gestorben ist, ihm gedenken, ja da bin ich auch schwer dafür, aber dann haben sie sozusagen den erstbesten beliebigen Tag genommen, der gerade irgendwie auf dem Kalender erschien, Der so überhaupt nichts mit Douglas Adams oder seinem Werk oder irgendwas zu tun hat, nicht der 42. Tag, nicht seinen Geburtstag, nicht seinen Todestag, gar nichts desgleichen, was ich ehrlich gesagt nicht gut fand. Deswegen hatte ich so mit dem Towel Day immer so ein bisschen meine Probleme, zumal ich ja auch eher finde, dass es ein, also ich weiß nicht, das mit dem Handtuch ist schon irgendwie ganz lustig, aber für mich auch jetzt nicht unbedingt so das definierende Element. Und ich hatte tatsächlich mal die Gelegenheit ihn zwar nicht persönlich kennenzulernen, aber ich war zumindest mal bei einem seiner Live-Lesungen und zwar genau bei so einer wo er aus diesem Buch vorgelesen hat, was wir jetzt hier am Anfang hatten, nämlich Last Chance to See. Kennt ihr das eigentlich?

Die letzten ihrer Art.

Ich hab's mal gelesen, kenn's nicht. Ich finde das ist einfach, das ist echt eins der lustigsten Sachen, ja also er hat so viele lustige Sachen gemacht, ich will die jetzt gar nicht in so eine Reihenfolge stellen, aber Last Chance to See ist wirklich ein großes Werk. Da war jemand so klug und hat ihn auf eine Weltreise geschickt zu den letzten ihrer Art. Also sozusagen eine Reise zu aussterbenden Tieren. Also Arten, die gefährdet sind auszusterben, sagen wir es mal so. Unter anderem eben diesen Komododrachen, den er eingangs beschrieben hat und das Buch ist einfach zum Wegwerfen großartig lustig. Also man liest diese Storys, wie er einfach diese Viecher charakterisiert und ihre Umgebung und all das und das ist einfach ganz toll. Außer dem Anhalter und dem elektrischen Mönch. Ist das so für dich eines einer ganz großen Werke? Kann ich jedem empfehlen da mal reinzuschauen. Und my personal favorite dann allerdings nochmal so ganz nebenbei ist The Meaning of Life. Kennt ihr das?

Ja, das fand ich so ein bisschen hmm.

Das fandst du ein bisschen hmm?

Ja, das fand ich ein bisschen hmm.

Ich fand das überhaupt nicht ein bisschen... Ich fand das fantastisch. Du kennst es gar nicht?

Ich kenn's glaube ich nicht.

Ich kenn's auch nicht.

Also The Meaning of Life ist so ein kleines Minibuch, das ist nicht groß, und man kauft das so und da ist so ein Aufkleber drauf, steht drauf, this book will change your life und es handelt sich dabei um so eine Art Nachschlagewerk, in dem Worte erklärt sind von Dingen und Vorgängen, die wir alle kennen, für die es aber keinen Namen gibt. Und der Wortschatz aus dem sie sich bedienen oder der Namensraum aus dem sie sich bedienen, um diesen Dingen die keinen Namen haben einen Namen zu geben, damit man sie in einem solchen Verzeichnis auch ordentlich alphabetisch aufführen kann, sind kleine englische Ortschaften. Also sie haben sich sozusagen irgendwo aus Großbritannien, Nordirland und so weiter, halt so British Islands, irgendwelche Orte herausgenommen, die irgendwie merkwürdig klingende Namen haben, die dann aber dann doch irgendwie passen, um so Dinge zu beschreiben wie eine Gruppe von Autos, die auf der Autobahn alle mit einer konstanten Geschwindigkeit unterwegs sind, weil eins von ihnen ein Polizeiauto ist. So eine Sache zum Beispiel. Oder das Wort to thrub, es gibt da so einen kleinen Ort der heißt thrub. Und to thrub ist das Verb, das ist der Vorgang, in dem man ein Lineal nimmt, es so halb auf die Tischkante legt und die andere Seite anschlägt, which makes the other end go brr brr brr brr brr brr. Heißt es dort im Buch. Und es ist ein einziges Vergnügen, sich durch diese Dinge durchzulesen und einfach die ganze Zeit Sachen zu finden, die man kennt. Und irgendwann, nachdem du dann so mehrere Seiten gelesen hast, denkst du dir dann so, aber was in aller Welt heißt eigentlich LIV? Weil das Buch heißt nicht The Meaning of Life, sondern The Meaning of LIV. L E F F, Was ist es? Live a book, a book which contents are totally belied by its cover. Especially if there is a sticker on it that says this book will change your life. Und da hat er mich dann final, das hat er auch nicht alleine geschrieben, sondern mit jemand anderem, dessen Namen ich jetzt gerade nicht erinnere.

John Lloyd.

Genau, John Lloyd. Also ich liebe diesen Humor und ich mochte ihn von Anfang an und es ist so schade, dass Douglas Adams so früh gestorben ist. Er war der erste Apple User Englands. Er war der allererste, der irgendwie einen Macintosh hatte und der hat schon in den 90ern sich schon darüber echauffiert, warum Hotels kein Internet und keine Internetbuchsen haben. Das finde ich so faszinierend, der Typ hat einfach auch total in der Zukunft gelebt, ich meine er hat die Zukunft ja auch beschrieben, er hat mit dem Anhalter quasi die Wikipedia beschrieben bis ins Detail. Und auch all die anderen Selbstverständlichkeiten in diesem Buch werden in zunehmendem Maße auch Selbstverständlichkeit bis hin, jetzt kommen wir auch mal wieder zu unserem Thema zurück, bis hin zu dieser Selbstverständlichkeit wie man mit so Maschinen redet und was sie alles so für Auskünfte geben können. Der Gipfel natürlich Marvin, der manisch-depressive Roboter, der eigentlich alles auch weiß über das Universum und alle Antworten geben könnte, einschließlich der Antwort auf die Frage nach dem Leben des ganzen Universums und dem ganzen Rest, wofür sie riesige Computer bauen. Marvin hätte die Antwort, aber sie fragen ihn halt einfach nicht. Stattdessen bitten sie ihn, Schleuse Nummer 3 zu öffnen. Ja, das sind Dinge, die man zu mir sagt. I can't do that Dave. Und diese ganze Dummheit der Menschen ist einfach so wunderbar encapsulatet in dieser Story, dieser ganze Wahnsinn der Welt, der sich auf diesen Seiten so wunderbar abspielt und insbesondere wenn es halt so um Maschinen geht und dieses Wesen von Maschinen, Marvin ist ja quasi auch der Katalysator zu diesem Wahnsinn. Also auf der einen Seite diesen übermäßigen Fähigkeiten aber auch so dieser programmierten Dummheit, da unterhält er sich irgendwie mit diesem Raumschiff und stellt ihm sozusagen seine Ansichten über die Welt dar, woraufhin das Raumschiff Selbstmord begeht, zufälligerweise die anderen Protagonisten im Buch in dem Moment irgendwie vor Vernichtung rettet dadurch so. Also ich könnte jetzt stundenlang noch weiter raven, aber das ist halt einfach so in diesem Genius von Douglas Adams drin gewesen, der einfach eine unglaubliche Gabe hatte, in die Zukunft zu blicken, was wir denn eigentlich von unseren Maschinen so verlangen und wie wir auch mit ihnen interagieren wollen.

Absolut.

Also die Nutrimatik, der du einfach von Tee erzählst, weil die Plöre, die da rauskamen, war halt nicht geil und dann Asadent nimmt sich dann Stunden Zeit dieser Nutrimatik alles zu erzählen, also bei diesem Priming, wie so Chat-JPG, ich möchte gerne, dass du jetzt Tee machst und dann erzählt die über den Anbau und irgendwie Teespitzen ernten und alles, was man halt so wissen muss zum Thema Tee. So und dann kommt auch irgendwann ein ganz hervorragender T raus, Problem ist halt nur die Rechenleistung des Raumschiffes ist so weit belegt, dass es sich leider gerade nicht gegen den Angriff der Feinde wehren kann, so aber ich fand das eine schöne Koinzidenz jetzt diesen Towel Day und das Gedenken an Douglas Adams, der eigentlich schon alles wunderbar beschrieben hat.

Finde ich, kann ich total gut nachvollziehen. Ich hab auch wegen dem Towel Day, hab ich heute mal geguckt, was können wir da sonst noch so rausziehen und es gibt wohl, das hab ich leider nie selbst gelesen, es gibt so eine Detektivnachfolge Geschichte, kennt ihr die irgendwie?

Ja, der elektrische Mönch.

Ne, dieses holistische.

Der Trenti. Genau, genau.

Der erste Band und der zweite ist dann der elektrische Mönch.

Ah, okay, okay, okay.

Also es ist so eine Serie, da sollten, zwei sind erschienen, dritter sollte rauskommen, hatte er in Arbeit und es gibt tatsächlich von den Fragmenten, die er geschrieben hat, gibt's eine Veröffentlichung. Das ist auch ganz spannend zu lesen, was wäre denn dabei rausgekommen, wenn er das fertig geschrieben hätte. Aber, ja.

Weiß man eben nicht, ne?

Nee, ich finde ja Dirk Gently, die beiden Dirk Gently Bücher mit das genialste, was er je geschrieben hat. Ganz ehrlich. Also das, dagegen ist ja der Anhalter nur Slapstick. Aber dieses Dirk Gently, also gerade der Band, wo er auf der letzten Seite alles auflöst, was in diesem Buch vorkommt. Im Hinterkopf hast du immer dieses Sofa, da ist dieses Sofa im Treppenhaus. Warum ist denn dieses Sofa im Treppenhaus? Und dann kommt es nicht mehr vor das Sofa und ganz am Ende, auf der letzten Seite, ach deshalb. Und es hat aber eigentlich mit der ganzen Geschichte auch nicht so viel zu tun. Aber du hast ständig dieses nagende Gefühl, da war doch noch dieses Sofa. Warum ist denn da dieses Sofa, das da nicht aus dem Treppenhaus rauskommt?

Und warum ist es da?

Ja, das verrate ich jetzt nicht. Du musst es selber lesen.

Okay, dann lese ich das selbst.

Keine Spoiler. Aber ey, es ist wirklich ganz großartig.

Also ich komme da drauf, also ich habe es nicht gelesen, ich hätte es lesen sollen. Es gibt eine Software, die sie da bauen und gebaut haben, die heißt Reason. Erinnert ihr euch daran? Also das habe ich nur gelesen, das habe ich hier vor mir. Wer hat das gebaut? Eine, irgendjemand von diesen Typen.

Von welchen Typen?

Einer von diesen Typen aus diesem Buch, also es tut mir total leid. Also hier, Richard talking to Rack about the murdered Gordon Wayce carer. Und es geht um eine Maschine, der Riesen, der kannst du nämlich voll das machen, du sagst, was du gerne vorhersagen möchtest.

Aber ist das jetzt echt oder erfunden?

Das ist echt und aus diesem Buch. Aus diesem Buch.

Diesem Buch.

Dirk Gentiles Holistic Detecting Agency, also aus dem Ding, also ihr erinnert euch auch nicht mehr, gut, denn dieses Stück Software, was das wohl kann ist, dass du dem sagst, folgendes möchte ich gerne begründen, gib mir mal die Argumente dazu und dann ist ein Witz da gemacht, dass nämlich das Pentagon das kauft und dann das selbst verkauft und dass aber die Air Force nur die alte Beta Version hat, weil sie für nicht vernünftig argumentieren und die Flugzeuge schrottig sind und jetzt hab ich das mal ausprobiert, weil ich dachte, Wie weit komme ich denn, wenn ich so tue, als wäre Chat-GPT dieses Programm und habe dem Ding gesagt, begründe mir doch mal, warum wir mehr Langstreckenflüge machen sollten und warum Fliegen an sich eine total coole Sache ist und dass das doch eigentlich gar kein Problem ist. Obwohl das Ding mir jetzt immer sowas gesagt hat wie, na, also man muss schon auch irgendwie bei den Tatsachen bleiben, aber wenn man das jetzt wirklich so begründen wollen würde, warum, war das Ding also in der Lage, eine ganze Reihe von echt, also relativ brauchbaren Punkten mir um die Ohren zu hauen, die ich jetzt erstmal ohne weiters nicht hätte entkräften können, ich mach das hier gerade mal auch für mich nur, also warum sind Langsteckenflüge so toll? Und es ist sowas wie, also das macht nur zwei Prozent aus, ist nicht so schlimm, ist das erste, wo man denkt, okay, gut und dann sowas wie, wenn man irgendwie mehr Flüge hat, dann muss man mehr Technik reinballern, dann werden wir viel besser und wir kriegen das schon hin und dann, außerdem hat die Flugindustrie ja gesagt, dass sie alles, dass sie alles kompensiert, genau und auch weniger macht und so und außerdem sowas wie, ist die Berechnung auch gar nicht fair und das Ding ist relativ gut da drin, das zu machen, also hier Advocatus Diaboli zu machen und zu sagen, ich kann dir das alles geben, ich gebe dir die Argumente auch für Sachen, die, also am Anfang steht, das kommt alles nicht so richtig hin, weil die Fakten sind, aber es ist schon irgendwie nicht so cool und am Ende sagt es das Ding nochmal, aber quasi es macht es dann doch. Und dieses Ding, dass man vielleicht, ich wusste ja gar nichts davon, von dieser Idee, Aber da hat irgendjemand eine Idee gehabt vor 20 Jahren und jetzt gibt's das eben einfach so. Also ich meine, wie cool wäre das denn, wenn es diesen Menschen noch geben würde und der uns jetzt immer noch mal sagen würde, was jetzt in 20 Jahren ist und wir würden ihm ja zerglauben, weil wir gesehen haben, guck mal, er hatte irgendwie scheinbar diese Fähigkeit, sag uns doch mal, was jetzt so passiert, wenn er sagen würde, ja hier Fluten und Wüsten, dann wären wir wahrscheinlich nicht so cool drauf, aber Ist ein großer Verlust, so wird man das doch sagen können. Er hatte offensichtlich die Fähigkeit, sich Dinge zu überlegen, die irgendwann dann Wahrheit werden. Fand ich ziemlich cool. Cool.

So.

Fühlen wir nur so ein, weil heute ist ja der Tag.

Heute ist der Tag. Genau. Jaja, die Zukunft.

Also hier sagt jemand, der hat es nicht so mit Fakten von der FDP für die Begründung ihrer Standpunkte genutzt. Ich glaube wie gesagt, wenn man es so will, dann hilft es einem mit jedem Standpunkt. Also kann man machen, wie man möchte.

So was mir aber jetzt erstmal ein bisschen, gerade auch jetzt mal diese ganze Debatte, diese ganze Metadebatte, die wir ja hier schon geführt haben zu diesem Thema, vielleicht mal ein bisschen zu unterfüttern, wird mich eigentlich erstmal so ein bisschen der Maschinenraum interessieren, weil es wird eigentlich viel über Ergebnisse und User Interfaces gesprochen, aber relativ wenig über was sind denn nun eigentlich gerade die Werkzeuge oder die Werkzeuge, die sich in den letzten Jahren so hervorgetan haben, um diese ganze Bewegung überhaupt echt werden zu lassen. Du hast ja auch schon gesagt so vor zehn Jahren ging's los, also so 2013, war das eigentlich vor zehn Jahren als dann dieser Geoffrey Hinton, dieser Akademiker dann zu Google gegangen ist und die Katzen ausgepackt hat? Das muss so irgendwie vor zehn Jahren gewesen sein glaube ich.

Also dieser Mensch hat ja dann nie aufgehört daran zu glauben und hat auch immer weiter gemacht. Also das war ja aber nicht nur er. Also unter anderem die Leute, die jetzt OpenAI gegründet haben, waren früher auch in seinem Team oder in Teams, die frühere Durchbrüche quasi hingekriegt haben. Das war aber nichts, was irgendwie die Öffentlichkeit mitbekommen hat, das war eher was, was Techniker mitbekommen haben und gesehen haben so, ach guck mal, der ganze Kram geht jetzt ja. Also sowas wie zum Beispiel, das fing ja an mit Bildverarbeitung eher. Das war so, das hat man bis, vielleicht war es nicht 2013, das müsste ich jetzt nochmal genau gucken, vielleicht war es eher zwölf oder so oder vielleicht noch früher, aber da hat man das ja eher mit so klassischen Verfahren gemacht, eher so Engineering, dass man so überlegt hat, ah da ist ne Kante und da ist noch ne Kante und dann hängen die irgendwie zusammen. Und dann lass mal drüber nachdenken. Und da ist man relativ weit mitgekommen, aber nicht so weit. Und dann haben andere Leute gesagt, das machen wir jetzt ganz anders. Wir geben einfach eine ganze Reihe von Bildern und sagen so, hier, so sieht meinetwegen jetzt ein Auto oder eine Katze aus und bauen ein Modell oder eine Architektur für ein neuronales Netz, das stark genug ist, das lernen zu können. Und wie das dann funktioniert, davon müssen wir uns verabschieden, das zu verstehen, weil das können wir nicht mehr. Ist so. Also es ist jetzt natürlich noch viel schlimmer geworden. Und dann hat das funktioniert. Und Leute haben gesagt, ja guck mal, wenn das funktioniert, war es nicht so schlimm, dass wir nicht verstehen, warum es nicht funktioniert. Haben wir vorhin auch schon darüber gesprochen, es hat funktioniert vor allen Dingen, weil Also man hat die Architektur ein bisschen besser hingekriegt, aber hauptsächlich war mehr Bums. So und dasselbe ist jetzt nochmal passiert, der Unterschied ist das zum einen das ja früher Bilder waren und jetzt kann man das aber mit auf Textebene machen auf einer Qualität die offensichtlich anders war.

Aber mit diesem mehr Bums, also ich meine so ganz so einfach war es in meiner Erinnerung jetzt auch nicht, also das Deep Learning, also vielleicht mal um Begriffe mal ein bisschen klar zu machen, also AI ist nochmal so der Kampfbegriff schon seit den 50er Jahren, Das war so quasi der Aufbruch auch und lustigerweise war das ja auch, ging das ja von den Linguisten aus.

Okay, das war mir nicht bewusst.

Ja so Minsky und so weiter, also die wollten quasi, also es waren ja so, die Linguisten, Sprache verstehen, Semantik, Syntax, was ist denn sozusagen Sprache und diese Vorstellung, was ist Intelligenz, War ja immer so ein bisschen daran geknüpft, ja intelligent ist was Sprache hat und besonders intelligent ist was Sprache versteht und sozusagen in diesen Metadingen auf einmal sich mit Gedanken und Ideen beschäftigt. Das ist ja sozusagen das was unsere Vorstellung von Intelligenz ist und wo wir dann eben auch bestimmten Lebewesen diese absprechen. Ist mal so ganz grob daher gesagt, aber das war jetzt damals der Trigger und dann sind sie ja auch losgegangen und interessanterweise ist ja auch dann die Entwicklung der Programmiersprachen, Dadurch erst so richtig in Gang gekommen. Also solche Entwicklungen wie LISP, LISP als Funktionale Poemiersprache, ist quasi entwickelt worden, einfach um diese Idee der künstlichen Intelligenz in irgendeiner Form zu bedienen. Also man suchte sich erstmal seine Werkzeuge und das war eigentlich mit das erste Werkzeug, was dabei abgefallen ist. Hat nicht unmittelbar zur künstlichen Intelligenz und den Durchbrüchen beigetragen, aber zu sehr vielen anderen Dingen. Und so Dekade um Dekade ging's dann halt immer weiter und schnellere Maschinen ermöglichten dann halt irgendwann immer wieder diese Dinge. Das mit dem Machine Learning in meiner Wahrnehmung ging so vor 20 Jahren irgendwie so richtig an Start. Das weiß ich aber jetzt selber ehrlich gesagt nicht, das mag auch schon früher ein Begriff gewesen sein, aber dass man jetzt so konkret das als Forschungsbereich benannte im akademischen Bereich, hab ich so vor zwei Jahrzehnten das erste Mal so mitbekommen, dass Leute sich da so engagiert haben. Und da war das eben noch nicht unbedingt jetzt wieder so unmittelbar mit diesem Intelligenzbegriff verknüpft, sondern er versuchte erstmal den Ball ein bisschen flach zu halten und zu sagen so, okay wir versuchen jetzt in irgendeiner Form lernen, Training, also diese ganzen Grundbegriffe wurden da überhaupt das erste Mal so ein bisschen aufs Gleis gesetzt und wir versuchen jetzt erstmal Algorithmen zu entwickeln, die das überhaupt erstmal abbilden können. Die in irgendeiner Form aus Daten irgendeine Resonierung ableiten können, um daraus dann andere Schlüsse zu ziehen. Und auch das kam so richtig nicht von der Stelle bis dann, und das ist jetzt so ein bisschen aus meiner Erinnerung, Du kannst ja mal sagen, wie du das siehst, Joffrey Hinten und Konsorten vor zehn Jahren irgendwann eben dann diesen Begriff des Deep Learnings auch mit eingebracht haben, der halt im Wesentlichen, und da kommt das mit deinem Bums schon mit rein, einfach gesagt haben, wir haben jetzt diese Kapazitäten, wir staffeln einfach diese Netze jetzt sehr viel tiefer, als wir das bisher auch nur versucht haben. Und bam auf einmal fingen die Chose an Ergebnisse zu liefern die man so vorher nicht gesehen hat. Das ist so ein bisschen jetzt meine Sicht der Dinge, wie siehst du das?

Ich glaub das kommt schon ganz gut hin. Also was mir dazu immer noch einfällt ist, dass ganz viel von diesen Sachen die wir jetzt Maschinenlernen oder KI nennen, das hieß früher Statistik, also ganz viel Verfahren die ich tagtäglich benutze, sind für… Wie unsexy also. Unsexy, genau das ist ja das Problem. Also ganz viele Verfahren, die ich fast taktiklich benutze, prinzipiell Component Analysis, also Hauptkomponentenanalyse, total unsexy, ist glaube ich 100 Jahre alt und da gab es ja nicht mal Computer, das heißt die Leute, die es entwickelt haben, haben Verfahren gehabt, statistische Verfahren, die waren total mächtig und ganz viel davon haben wir KI Menschen jetzt übernommen und haben gesagt, das ist jetzt aber Maschinenlernen, Einfach weil es cooler ist, weil mit Statistik kannst du jetzt ja so ziemlich jeden verscheuchen, wenn du sagst ich bin, ich will jetzt mal über Statistik reden, dann sagen die Leute, ich nicht, aber wenn du sagst das ist aber voll KI und krass, dann hast du einen ganz anderen Hebel, weil die Leute sagen ja cool, wenn irgendwas künstlich schlau ist, dann stelle ich mir vor entweder es ist voll cool und kann was tolles oder das will nicht bezahlt werden und ich schlafe und meckert nicht und kann aber auch Arbeit für mich machen. Das heißt, an der Stelle ist KI für mich eher so was wie ein Marketing-Term und was das im Moment gerade ist, ist ja auch total, das verändert sich ja, also KI in den 90ern war vielleicht so was wie, da konnte ein Ding Schach spielen, da hat man gesagt, boah, es schlägt jetzt den Weltmeister und wenn du jetzt Leuten sagst, ja, das Schachprogramm schlägt den Weltmeister, dann sagen die, ja klar, das wissen wir und dann ist es überhaupt nicht mehr sexy, dann ist es überhaupt nicht mehr spannend. Aber zu der Zeit hat man quasi dieses Schachspielen aus der Domäne der Menschen genommen und gesagt, guck mal, da seid ihr jetzt nicht mehr die Coolen, sondern das sind jetzt wir. Das heißt, man hat in irgendeiner Art und Weise was Künstlich-Intelligentes gemacht oder man hat vielleicht die Definition von Intelligenz verschoben und gesagt, das kann jetzt eine Maschine. Vielleicht ist das dann gar nicht so intelligent. Und vielleicht passiert dasselbe jetzt zum Beispiel mit Sprache, dass man sagt, guck mal sich gut auszudrücken oder irgendwie in Sprache sich zu formulieren muss nicht zwingend intelligent sein, sondern das kann eben auch ein System und vielleicht sogar besser als wir und das kann ein genauso wie diese Schachgeschichte, da waren ja auch irgendwie die Schachmenschen sehr verletzt, bedroht, ich weiß nicht was. Geht es uns doch jetzt auch so? Ich als Programmierer benutze diese ganzen Werkzeuge, die mich dabei unterstützen, Code zu schreiben, die sind besser als ich. Oder wetzen meine Fehler aus? Schriftsteller sehen vielleicht, oder Redakteure sehen, oh guck mal, das Ding kann das jetzt hier glatt ziehen. Was bedeutet das denn für uns? Was bedeutet das denn? Ist das verwerflich, stresst uns das? Oder ist das eine Chance nochmal genau zu definieren, was ist wirklich Intelligenz? Du meintest da sowas wie künstliche Intelligenz, was ist das? Da ist man sich über, also eine Definition gibt's zig, ne, also es gibt so klassische Definitionen, kann ein System einen täuschen, es gibt eine, also eher so eine fließende Definition, Dinge, die in der Domäne der Menschen liegen und die jetzt vielleicht künstlich wären, also eher sowas, was sich entwickelt.

Ich fand den Begriff ja schon immer sehr schwierig, weil Intelligenz ist was, was sowieso schwer zu definieren und zu greifen ist. Und dadurch sagt er nicht viel aus und deswegen sagt auch künstliche Intelligenzen nicht viel aus. Also ich finde den Begriff Machine Learning da deutlich besser, weil es halt einfach mehr erklärt, was da eigentlich passiert und auch definiert, was da passiert.

Ist ein eher technischer Term. Man sagt so, also eine Maschine lernt, aber künstliche Intelligenz ist auch in aktuellen Systemen viel mehr als so Maschinenlernen. Das hoffe ich noch so. Zum Beispiel wenn man ein tolles Schachprogramm hat, dann ist da eine Suche drin oder auch zum Beispiel unheimlich viel Engineering noch dazu. Und es gibt so klassisch irgendwie auch Verfahren, das der KI, die eben nicht Maschinenlernen sind. Aber du hast im Prinzip recht, alles was im Moment cool ist, ist Maschinenlernen und deswegen benutze ich das auch lieber, weil da kann man wesentlich drüber reden.

Podcast zum Beispiel. Okay, aber was sind denn dann die entscheidenden, weil dann begann ja auch so eine Softwarebewegung, so, also das Deep Learning, Ich weiß immer noch nicht so ganz genau woran man es jetzt festmachen kann, aber irgendwie das mit den Katzen war so ein Ding, dann gab es diese Deep Dream Geschichten, so diese Filmchen, wo man dann irgendwie so in diese ganzen Gedankenstrudel dieser Google AI da reingezogen wurde, die einfach crazy aussahen, aber die im Prinzip ganz gut visualisiert haben, wie so diese permanente Verfeinerung der Wahrnehmung quasi stattfindet, anders kann ich es jetzt auch nicht ausdrücken. und diese... Tiefen Machine Learning Modelle, also dieses Deep Learning war dann einfach gemeinsam mit der verfügbaren Rechenpower auf einmal so der Schlüssel und dann wurde es ja heiß, dann war das nicht mehr so akademisches Paper macht mal was und man schaut sich das mal an und so aha interessant, Sondern da wollten das alle ausprobieren und dann ging es irgendwie relativ schnell, dass so Tools rauskamen, wie TensorFlow war glaube ich relativ am Anfang sogar schon mit dabei, das weiß ich jetzt nicht so ganz genau, das wäre nämlich jetzt meine Frage, also womit fing's denn an und was ist sozusagen heute noch The Shit.

Also was es heute noch gibt, also letztlich.

Womit fing's an?

Womit es anfing, waren, glaub ich, so Torch-Varianten. Also das, was jetzt PyTorch ist, also die Python-Version von Torch. Das war akademisch, ist immer noch ein bisschen akademisch. Und TensorFlow kam meiner Meinung nach deutlich später und ist eher was, was man so als Praktiker benutzt. Aber letztlich wüsste ich jetzt von keinem Framework außer PyTorch und TensorFlow, die noch irgendeine Relevanz haben für die Neuronen der Netze. Also auch alles was man zum Beispiel, Huggingface hatten wir hier vorhin glaube ich schon, hast du glaube ich geteilt, alles was darauf läuft ist entweder PyTorch oder TensorFlow.

TensorFlow ist 2015.

Das ist also später. Also... High-Torch müsste deutlich früher sein, würde ich vermuten.

Okay, aber was machen diese Frameworks denn eigentlich genau? Also was ist das, was jetzt durch diese Software-Systeme überhaupt ermöglicht wurde und was setzt auf was auf?

Also diese Software-Systeme sind in der Lage eine Abstraktion zu schaffen über letztlich mathematische Operationen, die notwendig sind, um sowas wie ein neuronales Netz zu berechnen und zu simulieren. Das heißt, man muss nicht auf der Ebene von Matrixmultiplikation oder ähnlichen mathematischen Operationen Dinge spezifizieren, sondern man kann sagen, ich hab ein Netz mit unterschiedlichen ... Mit einer Tiefe, die du dir selbst aussuchen kannst. Und je tiefer das ist, desto deeper ist das Learning. Also, du hast ... Du organisierst das häufig in so einer Art Layer. Und das können die dir bieten auf einer Abstraktionsebene, sodass du sagen kannst, so und so viele Layer und so hintereinander geschaltet haben und dann nimmst du diese mathematische Komponente raus, aber nicht richtig doll, sondern du nimmst, du schaffst also quasi eine bessere Abstraktionsebene. Ein bisschen so habe ich immer gedacht, sowas wie früher, wenn wir, wir waren bei Compilerbau, Compiler willst du eigentlich nicht von Hand stricken, sondern vielleicht einen Compiler Generator haben, du willst auf eine andere Abstraktionsebene, ein bisschen sowas machen Außerdem liefern die einem fertige Architekturen. Das heißt, du musst das nicht zwingend selbst definieren, sondern kannst sagen, ich möchte eine fertige Architektur, wo Leute sehr, sehr lange darüber nachgedacht haben, was ich nie hinbekommen würde. Hinbekommen würde. Und Architektur bedeutet dabei sowas wie, wie man es jetzt auch im Chat sieht, dass du dir überlegst, wie schalte ich meine Schichten hintereinander und wie groß sind die Schichten und was für eine Art von Schicht sind das. Das ist typischerweise für jemand, der das mal so macht, auch für jemanden wie mich, ein Softwareentwickler, eigentlich zu schwer, sondern das machen Wissenschaftler, die finden was tolles raus, dann veröffentlichen die das und dann sagen die, die funktionieren super und dann benutzt du das. Und das liefern dir diese Frameworks auch. Das heißt, du kannst aufsetzen auf einer völlig anderen Ebene. Also letztlich musst du die noch trainieren, da muss man vielleicht ein bisschen was noch mathematisch verstehen, aber eben nicht mehr so viel. Und du musst nicht tief ins Detail gehen.

Ich hab ja gerade in den Chat mal reingeworfen, dieses TensorFlow Playground. Das ist auch schon ein bisschen älter, sechs, sieben Jahre oder sowas. Das hab ich damals mal in einer Keynote verwurstet und hab dann quasi live mal versucht den Leuten zu zeigen, das ist jetzt mal der Unterschied, wie viele Layer ich jetzt hier hintereinander schalte und was jetzt mein Grundneues eigentlich so macht und sowas. Ich würde sagen es ist immer noch eine Ebene zu kompliziert, dass man es als Laie irgendwie in vertretbarer Zeit versteht, aber es hat zumindest die Anmutung von okay ich beginne zu begreifen was so verschiedene Variablen sind, auch so overtraining kommt dann da plötzlich mit rein und sowas oder overfitting, ein ganz ganz hübsches Spielzeug kann man sich mal ein bisschen mit beschäftigen.

Absolut toll, um eine Intuition zu bekommen, es kann aber auch ein bisschen täuschen, weil sobald das ein bisschen komplexer ist, ist es vorbei mit der Intuition, da versteht man leider überhaupt nichts mehr, das kauft man sich irgendwie ein für die größte Leistungsfähigkeit von diesen Dingern. So wie das da jetzt dargestellt ist, also wenn ihr das so fertig offen habt, wie gesagt das ist toll zum experimentieren, aber.

Du musst mal auf play drücken, dann passieren Dinge.

Ja aber es macht eine Sache auf jeden Fall schon mal klar und ich glaube das ist irgendwie, ich versuche gerade mal einfach mal so ein bisschen diese Magie ein wenig zu entzaubern, weil wir reden ja am Ende hier einfach dann doch über Algorithmen. Also diese neuronalen Netzwerke zum Einsatz zu bringen, sprich ein Neuron. Korrigiere mich wenn ich jetzt zu den falschen Begriffen komme, also man hat halt irgendwie Daten, die man in irgendeiner Form analysieren, indem man halt Training beginnt und dieses Training heißt ich durchlaufe so ein neuronales Netzwerk, was verschiedene Ebenen tiefer ist und wo eben all diese ganzen einzelnen Neuronen miteinander unterschiedlich stark verbunden sind und unterschiedlich viel Feedback, vielleicht auch wieder in eine höher gelegenen Layer zurückgeben, sodass man eben so selbst verstärkende Systeme baut, die irgendwie so vor sich hin pulsieren. Diesen Netzwerk, was man gebaut hat, wirft man also die Daten in irgendeiner Form vor und dann leuchten eben diese Neuronen auf oder nicht und verstärken sich gegenseitig und erzeugen am Ende halt eine Ausgabe, was dann quasi so das eigentliche Model ist. Also das Endergebnis, was dabei rauskommt. Sozusagen das Trainingsergebnis. Und dieses Model ist irgendwie eine diffuse Bitwolke, was man aber dann wiederum zur Laufzeit eines Programms heranziehen kann. Sagen wir mal man hat jetzt Daten, waren Fotos, das Modell versucht halt irgendwie Katzen zu erkennen, ich lasse das über diese Fotos rüberlaufen mit ganz vielen Maschinen und ganz viel Zeit und am Ende gewinne ich ein Model, was im Prinzip sagt, kann Katzen in Bildern erkennen. Und dann kann ich das irgendwie in mein Programm laden, wenn ich in eine entsprechende... Laufzeitumgebung habe und da gibt's ja mittlerweile eine Menge, man kann solche Modelle dann eben auch von solchen Webseiten wie Hugging Face herunterladen, das ist ja im Prinzip so ein Repository von solchen durchgerechneten AI Models und dann nimmt man das halt einfach rein und bringt das dann eben für die Daten mit denen man dann selbst in dem Moment arbeiten will zur Anwendung. Das ist meine Wahrnehmung des aktuellen Standes eigentlich, was so da ist. Unabhängig von so ChatGPT einfach nur Machine Learning Applied Technology und da muss man sich dann halt die richtigen Frameworks machen und in zunehmendem Maße sehen wir halt wie das eben auch in die ganzen Devices mit reinkommt. So ein iPhone hat so einen neuronalen Chip, der in der Lage ist diese Model-Anwendung irgendwie zu beschleunigen und zunehmendermaßen halt auch die Computer und die Grafikkarten sowieso schon immer und das ist sozusagen das worüber geredet wird und der Clou ist jetzt einfach diese Models irgendwie so zu bauen, dass sie eben die Daten auf eine besonders pfiffige Art und Weise analysiert bekommen und Models rauszuschmeißen, die möglichst schnell möglichst komplexe Antworten auf beliebige Daten geben können.

Im Wesentlichen ist das so korrekt, ja. Also man muss dazu sagen, dass die Anwendung von so einem Modell, also wenn das fertig ist und schon fertig trainiert, dass das relativ simpel ist. Also das lädt man dann mit einem dieser Bibliotheken und kann es dann benutzen. Man muss immer noch verstehen, wie geht man jetzt mit der Ausgabe um und muss vielleicht ein bisschen sich über so Konfidenz Gedanken machen. Aber im Prinzip ist das vergleichsweise simpel. Das trainieren von so einem Modell, das ist eine ganz andere Phase. Also sobald das irgendwie ausgeliefert ist, ist das meistens fertig trainiert. Das trainieren ist relativ schwer, also auch engineering-mäßig ist es schwer, es ist unheimlich viel black magic drin, also man macht so Dinge, die man irgendwo gelesen hat und plötzlich geht es und keiner weiß warum. Und das ist aber so, und man muss dafür auch tatsächlich gewisse mathematische Fähigkeiten mitbringen, weil man im Wesentlichen verstehen muss, dass es eine Optimierungsaufgabe ist, also es funktioniert so, du schiebst vorne eine Eingabe rein und sagst, das soll hinten rauskommen, das ist jetzt die Trainingsphase und dabei optimiert ein Verfahren die Parameter, also alle Parameter deines Netzes. Das musst du nicht im Detail verstehen, du musst verstehen, dass es so ist, weil am Ende kommt so eine Loss-Funktion raus, also so was wie, wie gut ist das Ding in der Lage, quasi die Ausgabe zu reproduzieren und anhand dieser Loss-Funktion werden dann die Parameter angepasst, sodass diese Loss-Funktion nach unten geht. Und das ist letztlich eine ganz klassische Art und Weise, Optimierung zu machen. Das muss man aber als Benutzer davon überhaupt nicht können. Und wieder würde ich behaupten, dass wieder so ein Schritt, dass der Schritt der nächsten Abstraktion kommt, nämlich auch weg davon, Nämlich, wenn man jetzt sowas wie Chat-GPD benutzt, da musst du das ja gar nicht mehr machen, du kannst zwar diesem Ding anhand von Kontext, zu örtlichen Informationen gehen, also quasi das Ding konditionieren oder nachtrainieren, du sagst, guck mal, ich geb dir mal ein paar Beispiele und so möchte ich, dass du das weitermachst, aber dieses explizite Training fällt ja weg, was wiederum bedeutet, dass die Menschen, die so ein System benutzen und trainieren können, die Menge der Leute viel viel größer ist, weil so ein Sonnensystem zu trainieren oder am Ende vielleicht sogar noch eine Architektur dafür zu bauen, das sind echt wenig Leute, weil man dafür echt wahnsinnig viel Erfahrung brach und irgendwie auch sich da durchkämpfen muss. Das ist jetzt, sagen wir mal, der nächste Schritt, aber im Prinzip ist das, was du gesagt hast, korrekt. Ja man muss das Ding trainieren, aber sowas wie ChatGPT ist fertig trainiert und es gibt Menschen, die sagen, sie haben jetzt irgendwie versucht Sinn daraus zu machen und sagen, wenn man jetzt zusätzliche Anweisungen für ChatGPT gibt, dann ist das ein bisschen so, als würde ChatGPT selbst ein kleines Modell trainieren und in sich drin so ein kleines abstraktes Modell haben, das ist jetzt ein bisschen rumgeschwafelt auch von diesen Leuten, aber ist nicht abwegig das zu denken.

Also auf der, auf diesem Huggingface, auf der Huggingface Webseite, wo halt diese ganzen Models sind, sehe ich gerade eine ganz schöne Übersicht, die sozusagen mal so gruppiert diese ganzen Models, die da so zum runterladen sind und das finde ich eigentlich eine ganz interessante Klassifikation, was es alles so gibt. Also die haben jetzt hier auf ihrer Webseite viele tausend Modelle, Das allermeiste davon ist so Textklassifikation, also was ist das sozusagen. Das sind mal locker so knapp 23.000 Models, gut 2000 beschäftigen sich mit Übersetzung, was ja auch finde ich so ein ganz starkes Ding geworden ist. Man merkt das ja bei Chet Gp T, man kann mit dem Teil jederzeit die Sprache wechseln und es ist völlig egal wo man noch redet. Also wirklich Babelfisch, da sind wir wieder bei Danke des Adams.

Wir haben bei uns im Intranet einen Kollegen, der mal Kirchenslawisch ausprobiert hat mit Chet Gp T 4. Und? Er meinte, Kirchenslawisch, das ist eine Spezialversion des Slawischen, was halt vor allen Dingen in sakralen Texten des 12. Jahrhunderts oder sowas vorkommt und wofür es extrem wenig Volltext gibt auf der Welt und seine Arbeitsthese war, eigentlich kann in diesem Datensatz nicht genug drin gewesen sein und er meinte die Ergebnisse seien besser als das was man nach zwei Jahren Studium produzieren würde. Es sei verstörend.

Kirchenslawisch ist in sehr viel orthodoxer Musik ist mit kirchenslawischen Texten. Also da sollte er vielleicht dann nochmal gucken, ob das Modell nicht auch damit dann trainiert wurde.

Okay nochmal kurz hier zu diesen Models, weil ich fand jetzt diese Klassifizierung ganz interessant oder so diese Übergruppen, also wir haben Übersetzung, Textklassifizierung, Summarization, also Zusammenfassung ist ja auch so echt eine der Stärke, die wir so gesehen haben, so nach dem Motto hier ist ein Blob auf Text, ich hab dir eine Company E-Mail gegeben, sag mir in drei Sätzen was da drinsteht, das wollen wir doch alle. Ich weiß aber jetzt auch nicht, sudo makes sense.

Erklär es so, dass es ein Sechsjähriger versteht.

Question answering, object detection, image classification, audio classification. Das ist schonmal ein ganz interessanter Einstieg, wenn man sich das dann halt genauer anschaut, was es da noch so für Tasks gibt, also diese ganzen Models, dann geht es halt noch sehr viel mehr ins Detail und das ist irre. Wir werden jetzt einfach in zunehmendem Maße sehen, dass Anwendungen irgendwelche dieser Modelle zum Einsatz bringen, das wird dann mehr oder weniger gut funktionieren, aber zumindest ist das dann so eine Funktionalität, die es so vorher nicht gab oder die man sich irgendwie immer gewünscht hat, weil dieses MaxSense bringt's wirklich ganz gut oder diese do what I mean Taste, immer so dieses Problem, dass man diesen scheiß Computer nicht so richtig erklären kann, was man jetzt eigentlich gerade von ihnen will, weil man dann erstmal ihre eigene Sprache lernen muss und das ist irgendwie das, wovon ein Chatship hier auch irgendwie so befreit hat, man kann jetzt einfach mal so, ich sag dir einfach was in meinem fucking Kühlschrank ist und du sagst mir was ich daraus kochen kann, grandios.

Aber es stimmt schon das also wie ihr habt du hast völlig recht es bringt das ganze auf ein anderes Niveau man braucht vielleicht zum Teil noch die Inspiration von den Sachen die du da jetzt gerade gesehen hast ich glaube hat jetzt jemand gepostet.

Es ist ein Model und es sieht gut aus.

Sehr schöner Beitrag im Chat, ich teile mal kurz, damit wir halt sachlich hier wieder die Biege kriegen. Sachlich? Also ich gebe nochmal alles, mal sehen wie lange ich das durchhalte, aber diese Tasks die du gerade gesagt hast, das braucht man immer noch habe ich das Gefühl, um überhaupt ein Gefühl dafür zu bekommen, was ist denn überhaupt möglich, was kann man denn überhaupt machen. Also sowas wie Summarization oder ich will jetzt eine Frage stellen oder ich möchte irgendwas zusammenfassen, also Summarization hatten wir ja schon. Und es ergibt sich daraus ja was ganz neues, was ich echt erstaunlich finde, nämlich sowas wie, dass man so ein Psychologe wird für diese Modelle, ne, du musst dir so überlegen, wie spreche ich mit dem Modell, dass es das macht, was ich will und das ist irgendwie, also vor einem Jahr hätte ich nicht gedacht, dass man diese Menschen braucht, jetzt denke ich, die braucht man und dann ist es aber auch wieder so, dann bist du der Psychologe oder die Psychologin für eins von diesen Modellen. Ich fände es auch schwer mich noch sachlich zu äußern.

Lies nicht so viel im Chat.

Der Chat ist direkt vor mein Gesicht.

Schau mich an. Ich mach den wieder weg. Das lenkt dich nur ab.

Genau, also dass man so was hinbekommt, man wird jetzt ein Experte für das eine Modell, es gibt neue Modelle und man muss sich plötzlich ganz neu ausdrücken, als wäre jedes Modell sowas wie ein anderer Mensch mit dem man anders reden muss. Und würde ich jetzt irgendwie sagen müssen, was gibt's hiernächst, würde ich wirklich sagen so was wie ein Modellpsychologen, also mein Modell ist irgendwie zickig, was kann ich machen. Oder eine andere Idee, die mein Freund Miki Oma hatte, ist sowas wie, man kriegt unterschiedliche Persönlichkeiten da rein, man schafft es so, dass dieses Ding so mit einem redet, dass man anders motiviert wird. Also mit mir vielleicht ein bisschen assi, mit anderen Leuten vielleicht ein bisschen freundlicher so, dass das Ding lernt, wie ist man drauf oder auch sowas wie, dass das Ding sowas lernt wie, was hast du denn gestern mich schon gefragt oder so, dass es sowas gibt wie so ein Langzeitgedächtnis von solchen Geräten, dass die sagen, ich weiß, was du gestern gefragt hast und darauf kann ich zugreifen, ich kann jetzt aufs Internet zugreifen und dann kann ich das alles verwursten und diese Sachen sind relativ nah, also technisch sind die möglich, also machbar. Und die Frage ist, wann passiert das? Also das würde mich, das wäre jetzt quasi für mich jetzt noch der nächste Schritt, man hat irgendwie noch Modelle, die persönlich sich auf einen so eingrooven. Ja gut, ein bisschen ausgeufert ich das gerade, entschuldigt bitte.

Ja, so auf jeden Fall Dinge passieren und es passiert eine ganze Menge und es ist halt einfach, also es gibt einen Hype Aspekt. Aber es ist auf jeden Fall was dahinter. Das muss man echt mal festhalten.

Und ich bin traurig, dass wir Douglas Adams nicht da haben, der uns sagt, wie geht es denn weiter? Was passiert denn jetzt?

Ja was ja jetzt passiert sind ja diese Large Language Models. Das ist ja im Prinzip jetzt der neue Shit. Alles worüber wir jetzt bisher gesprochen haben ist ja eigentlich dieses klassische Machine Learning, was dem ja zugrunde liegt, aber was ist denn jetzt sozusagen die eigentliche Magie dahinter? Also was ist jetzt sozusagen an den LLMs anders als das was man vorher gemacht hat oder ist es einfach nur dasselbe in groß?

Also ein Trick der auch am ende wenn man dann so sagt ja da wäre ich auch drauf gekommen also was man so bei katzen erkennern machen muss ist dass man eine reihe von katzen bildern haben muss und sagen muss katze, reihe von hunde bildern muss man sagen hund das heißt man muss die leben oder muss sagen was ist die wahrheit. Und das ist bei Texten echt wahnsinnig schwer. Also wenn du jetzt zum Beispiel sagst, ich möchte ein Modell haben, das soll zusammenfassen, dann ist das so. Menschen haben tatsächlich irgendwie Beispiele für gute Zusammenfassungen gesammelt, haben die gemacht. Oder sowas wie, was ist eine gute Antwort, haben auch wieder Menschen gemacht, haben auch wieder gesagt, ja, das ist eine gute Antwort, das ist eine schlechte Antwort. Oder Übersetzung, gibt's ja ganz viele Beispiele, weil es gibt eben ganz viel Übersetzung, auf die kannst du zugreifen, so ist die Eingabe, so ist die Ausgabe. Aber es gibt da viel, viel, viel, viel mehr Texte im Internet, die man so nicht benutzen konnte, weil man ja irgendwie da nicht wusste, was ist denn die Eingabe und was die Ausgabe. Stattdessen haben die Leute so was gemacht, dass sie gesagt haben, wir nehmen jetzt mal alles, was wir an Texten so finden können und versuchen jetzt mit einem gewissen Kontext, also das, was mit den Wörtern, die vorher erschienen sind, möchte man das nächste Wort vorher sagen. Das heißt, man trainiert das Modell so, dass man sagt, Eingabe sind die vorherigen Wörter, Was ist bisher passiert? Wie geht es weiter? Und das kannst du mit jedem Text machen, da musst du quasi keinen Menschen haben, der diese Texte, der die Texte aufbereitet für die Maschine und kannst deswegen im Prinzip jeden Text nehmen, den es gibt. Dann kann diese Maschine aber noch nicht irgendeine spezielle Aufgabe, sondern man hat so eine Art Basismodell trainiert und Leute sagen, dieses Basismodell hat jetzt irgendwie das Wissen, was im Internet steckt, quasi kondensiert. Und dann machen wir weiter, dann trainieren wir das weiter, dann trainieren wir das weiter, so wie ich das gerade gesagt habe, dann brauchen wir jetzt nicht mehr so viele zusätzliche Trainingsdaten um zusammenzufassen und nicht mehr so viele Trainingsdaten um zu übersetzen, weil wir haben ja schon ein Grundmodell, das ist eben grundsätzlich, versteht das Text, was immer man damit meint, dann wird man ja ganz schnell philosophisch.

Also versteht den Text als solchen sozusagen.

Ja, hat irgendwie ein Grundverständnis davon, wie die Sprache funktioniert und das hat man bei ChatGPT gemacht, indem man eben sowas wie GPT 3 oder 4 benutzt hat als Grundlage und gesagt hat, jetzt auf Basis davon, was wir jetzt haben als Grundmodell, trainieren wir dieses Modell so, dass es in der Lage ist, eine vernünftige Konversation zu führen, weil sonst vorher konnte es das eben nicht, da hat man gesagt, das feintunen wir, da hat man noch mehr gemacht, hat man da weitere Systeme dran gebaut, das heißt, um es mal so zu sagen, man hat die Art und Weise, wie man es trainiert hat, schlau gemacht, weil man gesagt hat, wir haben doch einfach Texte, lasst doch mal sehen, was dann passiert, wenn wir irgendwie versuchen, unserem Modell zu sagen, sag mal voraus, was als nächstes passiert. Das, wie ich das eben beschrieben habe, ist nur die Art und Weise, wie man GPT-Modelle trainiert, nicht jedes Large-Language-Model, das würde jetzt aber zu weit führen, manche trainieren ein bisschen anders, aber So diese Idee von man macht das sogenannt anzuverweis also man nimmt einfach den Text und man muss bestimmte Wörter daran vorher sagen ist in allem gemein. Und das ist die eine Idee, das heißt du nimmst eine riesige Trainings, also plötzlich steht dir ja nicht irgendwie 50.000 Trainingsdatensätze, sondern Milliarden von Trainingsdatensätzen stehen dir ja zur Verfügung, du hast also eine viel viel größere Anzahl von Trainingsdaten. Und das zweite ist, dass man das immer größer gemacht hat, man hat es immer größer gemacht, ich lache immer, weil ich hier den Chat seh, weil das so bummsackt hört. Sieh nicht den Chat, ich mach das jetzt weg. Jaja, alles klar. Also ich find's aber relativ amüsant, weil...

Das hab ich befürchtet.

Jaja, also das lassen wir jetzt mal kurz. Also genau, also man hat auch diese Größe von diesen Modellen immer weiter so verändert, indem man geguckt, was geht denn, was kriegen wir denn hin, was ist denn technisch möglich, was können wir überhaupt machen. Und so von der Grenze von GPT-2, das war auch schon ein riesiges Modell, zu GPT-3 hat man Sachen gesehen, wo man gesagt hat, das sieht jetzt echt ziemlich cool aus, das Ding ist in der Lage, durch Zusatzinformationen, die Leute geben, dass das Ding sich so verhält, dass man das Gefühl hat, es ist irgendwie intelligent. Was immer man damit meint also es ist ein subjektives ding aber es waren sachen möglich die gingen vorher nicht und das ist tatsächlich wieder größe also bumps. Überraschenderweise. Und das geht in gpt 4 geht es weiter aber nicht mehr so krass also von 2 zu 3 ist gigantisch von 3 zu 4 ist das man denkt wow ist schon echt cooler aber es war einfach man hat einfach mehr bumps gemacht und dann ging das.

Einfach mehr Bums. GPT heißt Generative Pre-trained Transformer. Das ist ja das worüber wir eigentlich die ganze Zeit reden. Also ein generativer, vortrainierter Transformer.

Also Transformers ist quasi diese Art von, diese Art und Weise des Modells, das geht zurück auf, ich glaube, irgendeine Idee von 2017, wo man aber eigentlich nicht jetzt irgendwie was technisch oder was philosophisch cooles gemacht hat, sondern wo Leute gesehen haben, guck mal, wenn wir sowas fettes trainieren wollen, müssen wir ein bisschen die Architektur verändern, können wir nicht was machen, was man parallel trainieren kann. Was vielleicht auch noch ein bisschen schlauer ist, da gab's so Attentionlayer, die im Wesentlichen das Schaffen von einem Text zu einem anderen so Zusammenhänge herzustellen oder innerhalb eines Texts zu sagen, folgendes Wort hat eine starke Beziehung zum anderen Wort. Und das guckt man sich nie an als Mensch, weil es alles zu viel ist, aber offensichtlich sind diese Art von Layern in der Lage, das hochgradig parallel trainieren zu lassen, was wiederum bedeutet, dass man es machen kann, sonst konnte man es gar nicht machen, also mit ganz vielen GPUs. Und die sind eben in der Lage, Sprache sinnvoll so zu zerlegen, dass man damit sinnvolle Dinge tun kann.

Ja das funktioniert ja auch ganz offensichtlich.

Ja das funktioniert ganz offensichtlich genau und wie gesagt bisschen Architektur, viele Trainingsdaten, großes Modell, fetter Hardware. Und dann Leute die es gemacht haben vielleicht ist das eigentlich am ehesten immer noch man macht es irgendwie und man sagt ja ich weiß auch nicht was ich tue wir machen das mal wir ballern da jetzt richtig Geld rein mal sehen ob es geht und dann geht's oder eben nicht.

Was ist denn dein Eindruck von Open AI als Organisation? Also es wird ja hier von vielen auch erstmal nur so als yet another corporate monster wahrgenommen, aber tatsächlich ist es ja eigentlich angetreten, um wirklich, eben hence the name Open, hier ein offenes System zu schaffen und die Company existiert zwar, aber sie ist ja selber auch von einer, was ist das, eine Foundation, der das gehört, Open AI Inc. Ist ein Non-Profit Unternehmen und es gibt eine Tochtergesellschaft, die gewinnorientiert ist, die Dienstleistungen macht, die jetzt unsere Kohle nimmt für die 20 Dollar im Monat, dass man das Modell benutzen kann.

Ich glaube da haben wir vorhin schon angefangen ein bisschen drüber zu sprechen, was das eigentlich bedeutet und ob das überhaupt irgendwas bedeutet. Ich glaube das bedeutet nichts. Und ich bin völlig bei dir, wir, wollen mittelfristig, dass man, dass also in die Hände von, wie gesagt ich glaube diesen Menschen absolut, dass sie Idealisten sind, aber die sind dann, kommen in den Einflussbereich von Leuten, die hauptsächlich an Geld oder anderen Sachen interessiert sind, das möchte man nicht in die Hände von diesen Leuten legen. Das heißt, mein Eindruck ist von den Menschen nur das Beste, aber ich glaube... Ob die sich da strategisch gegen, und das System wird sie fressen. Ob die sich gegen Microsoft so positionieren können, ich glaube auch nicht, dass Microsoft die Welt zerstören will oder irgendwie böse ist, aber die wollen eben Geld verdienen, das ist eben eine kommerzielle Firma.

Hast du diese Kongress Anhörung gehört, gesehen? Also es gibt ja diesen CEO von OpenAI, Samuel Altman. Und der war jetzt im Kongress vorgeladen zu so einer allgemeinen AI Anhörung. Hast du das gesehen Ralf?

Gesehen nicht aber in Ausschnitten wahrgenommen.

Genau, in den Anfangen hatte ich mir das ein bisschen angehört und dann auch Ausschnitte wahrgenommen und ich fand das ziemlich bemerkenswert, weil erstmal sein Auftreten schonmal so ganz anders war als das was wir jetzt so aus den letzten Begegnungen mit Zuckerberg und so weiter vom Kongress gehabt haben, die ja die ganze Zeit immer nur gesagt haben wie toll sie sind und dass das ja alles nicht so schlimm ist und der Old Man, der tritt ja ganz anders auf. Der geht da hin und sagt so, ja wir finden das ja alles ganz toll und wir sind der Meinung, dass Open AI in der Lage ist so jeden Aspekt des Lebens in irgendeiner Form zu beeinflussen und ich glaube da sind wir uns auch relativ einig, dass das auch durchaus so sein kann. Kommt dann aber auch relativ schnell zur Sprache auf die Probleme, die er selber sozusagen da sieht. Also das Problem der Desinformation, die sozusagen auch eine Verantwortung quasi mit sich bringt für die Unternehmen, die diese Modelle veröffentlichen. Die Modelle, die schwitzen ja gerade zu Bias, also das ist ja sozusagen eine Destillation einer Betrachtungsweise und je nachdem wie du diese Betrachtungsweise tunest, kriegst du halt das eine oder das andere Ergebnis. Und er sieht dann halt auch Job Risks, er hat irgendwie... Angst, dass sozusagen die Technologie auch der Welt schaden kann, spricht auch explizit Wahlmanipulation an und macht auch konkrete Vorschläge für eine Regulierung. Das fand ich recht bemerkenswert, ohne das jetzt wirklich werten zu wollen.

Ich glaube auch, dass das wirklich ein großer Unterschied ist und dass es auch dazu führt, dass Leute, die Idealisten sind, bei so einer Firma arbeiten wollen. Ich glaube, wie gesagt, das ist aber nur geraten. Ich glaube nur, wie gesagt, dass ich das nicht lange halten kann. Es gibt so ein anderes Paper, also das ist angeblich geleakt von Google, wo Google Leute beschreiben, sie können eigentlich nicht konkurrieren mit den Open Source Modellen. Und am Ende glaubt so ein angeblicher Google-Ingenieur, dass es am Ende die Open-Source-Modelle und vor allem die Breite machen, also dass Leute mit unterschiedlichen Modellen, unterschiedlichen Architekturen, unterschiedlichen Datensätzen anfangen zu trainieren und ihnen damit das Wasser abgraben. Und ich würde denken, ganz viele Leute gehen im Moment zu OpenAI, wenn die Bock haben, was zu bauen, weil die auch diesen Idealismus, das ist ja nicht nur er, der Idealist ist, sondern auch die anderen. Ich glaube nicht, dass es lange hält und ich glaube auch, dass mittelfristig diese Open-Source-Modelle was hinbekommen, wenn man das kleiner bekommt, wenn man, wie gesagt, gucken kann, was nimmt man für Datensätze und vielleicht auch irgendwelche Abstriche macht in der Allgemeinheit des Modells, genau, aber ich finde, also ich kann nur das unterstreichen, was Tim gesagt hat, diese Leute sind Idealisten und wollen auch wirklich was Gutes machen, da bin ich sicher, wie gesagt, ob die quasi in dem Kontext, in dem sie sich befinden, das hinbekommen, Das glaube ich nicht, aber da ist meine Meinung so gut wie jede andere würde ich sagen. Also geraten einfach, das weiß ich nicht. Ja aber es ist doch cool ich meine jemand zu sehen der nicht irgendwie sagt wir sind die coolsten oder wir können das alles sondern reflektiert argumentiert ist ja auch jemand dem wie gerade als nerd wahrscheinlich viel mehr glauben schenken wir wissen ja das selbst alles. Wer differenziert über sich reden kann ist meistens jemand der mehr drauf hat als jemand der einfach nur sagt wir sind cool.

Die die art und weise wie sie es seit november ja auch wirklich in die welt gedrückt haben ist ja auch schon an sich bemerkenswert also sie hätten ja auch erst mal beim pentagon aufschlagen können oder weiß der geier wohl militärisch industriellen komplex so aber nein sie haben gesagt hier welt guck mal 3,5er Version gut für die 4er wollen wir jetzt ein bisschen Geld haben, kann ich auch nachvollziehen, aber die 3,5er ist ja bis auf eine Roke E-Mail Adresse brauchst du da ja nichts um da als Laie schon irgendwie mitzutun und dir in den Kopf zu machen okay, was wird das für meine Lebensbereiche verändern, das hätten sie nicht tun müssen, da kenne ich auch wenig Beispiele aus der Geschichte wo das, innerhalb so kurzer Zeit, wir hatten ja glaube ich in der letzten Sendung, dass noch keine Technologie irgendwie so viele Nutzende innerhalb von so kurzer Zeit irgendwie bekommen hat, wie jetzt wirklich Chat-GPT.

Also ja, stimme ich zu. Also es gibt aber auch Menschen, die glauben nicht, was ich glaube, dass es irgendwann Open-Source-Modelle gibt, die man so betreiben kann. Die glauben wirklich, dass wir in so einer Welt jetzt sind von, dass wir eine Open-API haben. Also dass es Anbieter gibt von solchen Modellen, die wir auf Spezial-Hardware ausführen lassen müssen und dass wir gar nicht in der Lage sein werden, auch in Zukunft diese Modelle selbst zu hosten, was glaube ich für uns beide nicht so cool wäre als Story, aber es gibt genug Leute, die sind sehr klug und die glauben, man muss sich verabschieden von diesem Open Source und hingehen zu man hat eben bestimmte Anbieter und die legen offen, wie sie es machen, aber man hat es nicht mehr selbst bei sich laufen.

Aber ist Hosten nicht um Größenordnungen weniger aufwendig als tatsächlich das Modell zu trainieren?

Da bin ich nicht sicher, also nicht bei dem Modell. Das Modell ist echt fett aufwendig und allein das irgendwo reinzuladen, also.

Also wenn morgen ein Hacker das gesamte Modell bei Chat-GPT rausträgt, bei OpenAI, glaubst du nicht, dass man das so eben mal hinkriegt das zu hosten?

Also ich kenne niemanden, der auch nur annähernd wüsste, wie sie das überhaupt betreiben. Also niemanden.

Davon mal abgesehen, aber jetzt einfach vom Hardware-Standpunkt. Kann ich mir 1000 Maschinen bei Amazon klicken und dann kriege ich das gehostet? Wahrscheinlich nicht, ne?

Nee, ich glaube nicht, dass du die überhaupt kriegst. Aber ich glaube, was du gesagt hast, wird wahrscheinlich schon stimmen. Es gibt so viele Leute, die haben so viel Bock und so viel Ahnung. Wenn das Modell irgendwie rausgeschleppt werden würde, dann würden die da irgendeine Kiste zusammen kloppen. Und das würde darauf laufen. Also wahrscheinlich hast du schon recht.

Man kann es ja vielleicht ein bisschen vergleichen, das haben wir ja in der letzten Sendung auch versucht, das mal mit Stable Diffusion. Ja also klar Mid Journey immer irgendwie doch vorne weg und hat noch die besseren Bilder, also im Bereich Imaging halt. Aber seit das Stable Diffusion Modell raus ist, wie sie das kompaktiert haben, ja innerhalb von Wochen, von irgendwie zig Gigabyte und du brauchst eine Grafikkarte in deinem Rechner mit 20 Gigabyte, damit du das überhaupt irgendwie lokal nutzen kannst, Bisschen so so es läuft jetzt auf dem mittelalten iPhone und zwar schnell und brauchbar. Das hat Wochen gedauert. Da glaube ich, dass also nämlich gerade durch diese diese also Kompression ist zu naiver Begriff, aber am Ende des Tages ist ja ein bisschen sowas wie eine MP3 Kompression so ich brauche nicht alle Informationen im Audio, es klingt trotzdem sehr gut. Im Ansatz vergleichbare Mechanismen scheinen auch bei den Modellen zu greifen. Warum sollte das auf Text nicht funktionieren? Weil meine naive Meinung ist immer noch, Text ist eigentlich einfacher als Bild. Das Aneinanderhängen von Tokens scheint sich mir gut komprimieren zu lassen. Es gibt jetzt die ersten Open Source Modelle, die lokal auf einem M1 laufen. Von diesem Hugging Face gibt es eine M1 Variante. Und so schlecht ist das nicht.

Die zweite Frage wäre eigentlich wie viel wie aufwendig wäre das so ein Modell selber zu rechnen also zu betreiben. Zu trainieren.

Zu trainieren, Also da weiß man erst recht nicht womit die es trainiert haben. Selbst bei nicht so fetten Modellen gab es auf Hunkingface, ich glaube, die haben es runtergenommen, mal so einen Vergleich, wie teuer das ist, so ein Modell zu rechnen und ich glaube, sowas wie GPT3 war sowas wie die Lebensdauer inklusive Benzin eines Autos, würde ich mal sagen, das einmal zu trainieren, also Energiebedarf, also Auto bauen, Auto betanken, bis es irgendwie kaputt ist, weil es relativ viel ist und auch sowas mittelgroßes hatten sie immer sowas wie, wie viel Langstreckenflüge du dafür machen müsstest, das heißt das zu trainieren ist absolut umweltschädlich sag ich mal und wahnsinnig teuer. Und das ist, da musst du ja auch noch wissen was du tust. Ob das jetzt bei kleineren Modellen, glaube ich nicht, dass das so schlimm ist, aber es wird auch, also zumindest wenn die Modellgröße auch nur annähernd gleich groß ist, Selbst wenn wir es könnten, wäre es absolut der Wahnsinn, wenn jeder das selbst machen würde. Man muss das irgendwie teilen.

Wir brauchen es ja nur in einem mal gut und offen.

Ja, aber die Frage ist halt, vertraue ich einem Open AI oder einem Microsoft oder einem Google oder vertraue ich lieber einem Open Source Projekt, das halt irgendwie das hinkriegt, entsprechend Hardware irgendwo unterzustellen und das zusammen zu klemmen.

Also ich hatte neulich nochmal den Vergleich gelesen, dass das komplette Training der GPT Basis ein Bruchteil, unter einem Prozent dessen an Energie verbraucht hat, was der ganze Krypto Quatsch uns gekostet hat.

Das glaube ich auch, der Krypto Quatsch, das ist so witzig.

Und dafür war offensichtlich ja nun genug CPU da.

Aber das ist so ein Relativismus, da ist es anders noch viel schlimmer, aber das Krypto-Kram, das ist so Shooting is Hitting Duck, ne? Dass das alles der Wahnsinn ist, ja, aber trotzdem, also sowas, ich bin aber bei euch, also würde man sich irgendwie Leute zusammentun und sagen, guck mal, so rechnen wir das, das ist die Datenbasis, das ist die Hardware auf der wir das laufen lassen, dann ist OpenAI, und das funktioniert gut, dann ist OpenAI natürlich weg.

Aber es gibt doch nicht, für mich klingt das immer so ein bisschen so als müsste man so das the one true model haben und dann werden alle Probleme gelöst. Also ich meine das GPT4 Model, was jetzt irgendwie so angesagt ist, das ist ja jetzt auch erstmal nur ein Model unter vielen und andere Unternehmen werden andere LLMs rausbringen und tun das ja auch bereits, also was dann vielleicht eine andere Qualität auch hat. Also es wird ja nicht bei einem bleiben oder träumt ihr jetzt wirklich von so einem Wikipedia Large Language Model, mit dem alle Antworten geliefert werden können, also es ist doch alles in gewisser Hinsicht hoch spezialisiert.

Naja, also wie wir in der letzten Sendung schon hatten, also ich begreife die LLMs eher so als ein Betriebssystem für Sprache und in Anführungszeichen Intelligenz und Denken. Und was du da dann wiederum für konkrete Narrow Use Cases draufsetzt, ist eine andere Frage. Aber du brauchst glaube ich schon erstmal so ein Grundgerüst, eine Foundation, wo du einfach erstmal halt mit diesem Text und Grammatik und Chat-Ding klarkommst. Und da scheinen mir jetzt auch die aktuellen Ansätze von GPT versus Bart ist jetzt ja rausgekommen von Google vor ein paar Tagen, wer ist der dritte, Facebook hat einen LLM. So alleine die Tatsache, dass es jetzt schon mal drei bis vier globale Großplayer gibt, die sehr vergleichbare Ansätze mit finde ich auch vergleichbaren Ergebnissen produzieren, ist für mich schon schon mal der Garant dafür, dass es auf jeden Fall auch einen Platz für ein großes Open Source LLM geben wird. Vielleicht nicht dieses Jahr, aber nächstes Jahr, wenn wir hier noch sitzen, bin ich mir relativ sicher, dass wir das haben.

Ich glaube, dass es nicht das eine Modell gibt, was man einmal trainiert und dann ist es fertig. Ganz viel interessanter ist die Frage, wie oft retrainierst du das? Wie viele Retrainings pro Tag oder pro Sekunde kriegst du denn hin?

Wie aktuell ist das?

Also wenn du in einen Bereich kommst, wo dein Modell immer so aktuell ist wie der Google Suchindex. Wie aktuell ist der eigentlich? Egal.

Aber reden wir eigentlich, benutzen wir eigentlich gerade die richtige Begrifflichkeit frage ich mich jetzt gerade, weil wenn ich es richtig verstanden habe, in diesem Large Language Model gibt es ja also dieser GPT, dieser Generative Pre-Trained Transformer Aspekt, der in diesem Namen drin steckt. Das ist ja sozusagen erstmal das was du beschrieben hast am Anfang, ich hab mir irgendwie Text durchgelesen und ich kann jetzt generell mit Text und mit Sprache und so weiter umgehen, da steckt aber jetzt noch kein Wissen drin.

Doch also das Wissen, also Wissen im abstrakten Sinne, also da ist nicht das Internet gespeichert sondern quasi die Struktur, also sowas wie eine Allgemeinbildung kann man vielleicht sagen.

Ja gut, aber was heißt das Internet, was ist denn der Input, der Input ist doch das fucking Internet, was denn sonst?

Klar, aber du kannst das Internet ja nicht komplett in dem Ding speichern, sonst wäre es ja riesengroß. Aber was ist denn dann drin? Eine Abstraktion davon.

Ja genau, aber es ist im Prinzip einmal alles, also weißt du was sie da alles reingeschmissen haben?

Ne das sagen sie einmal auch nicht, aber der Punkt ist ja eigentlich eher, dass das Ding nicht in dem Sinne Wissen hat und deswegen auch unheimlich viel dummes Zeug labert. Also wenn es keine Ahnung hat labert es trotzdem. Das heißt es ist gar nicht so toll darin Wissen zu haben, man muss es auch eigentlich nicht jeden Tag neu trainieren, würde auch große Schwierigkeiten geben, wenn wir das machen würden, können wir gleich noch darüber reden. Und die haben jetzt aber inzwischen reingebaut, kann man jetzt auch schon benutzen, dass die das Modell eben googeln kann. Das heißt wenn du sagst ich möchte Wissen haben, dann geht das Ding eben nach wie vor ins Internet, weil das Tagesminuten Sekunden aktuell ist.

Was leider noch dramatisch schlecht funktioniert, aber in ein paar Wochen wird es laufen. Also da bin ich immer, macht euch doch jetzt bitte nicht so darüber lustig und guckt mal ein paar Onken. Weil was kann googeln? GPT-4 kann jetzt googeln, also nicht googeln, sondern bingen. Sie haben es zweistufig gemacht, sie hatten es erst vor einer Woche oder vor zwei Wochen, hatten sie so einen eigenen Browsing Modus implementiert. Und haben es dann aber sind da so radikal mit auf die schnauze geflogen also ich habe mal wirklich so teststrecken gemacht von zehn mal probieren hat es neun mal abgebrochen nach dem motto ich kann ressource xy nicht abrufen das waren wirklich brot und butter webseiten wie gitarre pages wo du sagen würdest okay da solltest du die solltest du lesen können ja das sind curl und gut ist so und jetzt haben sie ich glaube ende letzter woche umgestellt auf die bing websuche die ja von microsoft schon in Dingens hier integriert ist in Edge. Wo du auch zur Echtzeit quasi deine Freitextsachen reintippen kannst, aber wirklich nur im Edge-Browser. Ich hab mir den in der Tat für den Mac runtergeladen, um das ausprobieren zu können. Huhu, alles ganz schmutzig hier. So und da funktioniert es aber schon. Da funktioniert es auch schon seit ein paar Wochen ganz leidlich. Und jetzt hat OpenAI das im Chat GPT-4 freigeschaltet, dass man jetzt auch diesen Bing-Browser nutzen kann. Und das führt dann aber dazu, mein Eindruck, allerdings auch erst seit ein paar Stunden ausprobieren, dass dafür die eigentliche Intelligenz in Anführungszeichen von JGPT 4 zurückgefahren wird. Das heißt also, der verlässt sich dann, der fängt sehr früh meiner Meinung nach an im Internet zu suchen nach Dingen, die er eigentlich selber wissen in Anführungszeichen sollte und konsultiert dann relativ wenige Quellen und distilliert die zusammen. Und das ist mir persönlich schon fast intransparenter als das, was ich vorher gesehen habe. Also ich hatte Aber ich probier das erst seit ein paar Stunden, ich hab da noch kein abschließendes Urteil. Aber man kann jetzt mit ChatGip ET4 Bezahlversion über den Bing Browser in Echtzeit Internetquellen sich abrufen.

Bing Browser?

Es gibt einen Bing Browser?

Im Edge, also Edge Browser von Microsoft.

Gibt es die Bing Suchmaschine.

Suchmaschine, nicht der Browser.

Ja, das heißt so im Chat GPT 4 wird es so genannt. Mach doch mal deinen Chat GPT 4 auf, schmeiß mal hier auf die Wand und probier mal was aus.

Ich hab mir jetzt gerade diesen Edge runtergeladen.

Ja, schmeiß doch mal hier deinen Chat GPT 4 auf die Wand. Dann können wir uns das doch mal kurz da reinklicken. Dafür sitzen wir doch hier. Um uns alle aufzuschlauen.

Naja wir sind jetzt nicht dazu da den Leuten zu beschreiben was wir auf unserem Bildschirm sehen aber ich machs trotzdem mal. Ich versuche nur gerade nochmal klar zu kriegen, ob es sozusagen in diesem Modell zwei Ebenen gibt oder ob alles eins ist. Also ist sozusagen das einmal alle Daten rein, einmal trainieren, einmal dieses Netzwerk durchlaufen lassen und dann hat man ein Model und daraus kommen alle Antworten, die man ihm stellt. Es gibt nicht ein, hier ist erstmal so diese Basis, ich kann mit Text umgehen und dann habe ich da drüber nochmal ein und jetzt kommen nochmal die Informationen.

Nee das ist ein Modell aber quasi die Art und Weise wie es trainiert ist, es ist mehrstufig. Es gibt tatsächlich ein zusätzliches Modell das hinterherläuft, dass böse Sachen rausfiltert, also irgendwie pornografische Sachen oder Selbstverletzungen und so. Aber im Prinzip, wenn man jetzt sagt, du sollst jetzt bitte dich gut unterhalten können, ist es das gleiche Modell. Ja. Vielleicht während du das hier einmal ausprobierst.

Jetzt klick mal oben auf das GPT-4 drauf. Ja. Du bist doch in der Bezahlversion, oder?

Ja.

Okay, dann gehen wir unten auf die Settings, dann hast du die ganzen Beta-Sachen noch nicht freigeschaltet. Settings. Beta Features. So, Browse with Bing und Plugins.

So, so.

Ja, ja.

Das haben sie aber gut versteckt.

Ja. Jetzt machst du es wieder zu und jetzt, wenn du oben drauf klickst. Tada, Browse with Bing Beta. So, die Plugins ist nochmal ein ganz anderes Thema, aber mit diesem Browse. So, und jetzt wird bei fast jeder Frage, die du unten reinstellst. Mach mal irgendwas. Irgendwas ist weit gefasst, also ich habe eben als Beispiel, weil ich es einfach wissen wollte für die Sendung, wann gab es auf einer Republika Konferenz die erste Twitterwall? Tipp mal rein.

Wann gab es, aber das ist ja nicht aktuell.

Ja aber umso erstaunlicher, dass er dafür Webseiten, das ist der Punkt den ich gleich machen möchte.

Ich würde ja fragen, wann ist die nächste Republika? Das ist aktuell.

Kannst du auch machen.

Wann findet die nächste Republika?

Machen wir mal mit Doppelpunkt damit.

Konferenz.

Republika.

Konferenz. In Berlin. Stadt. Das ist jetzt sozusagen eine Frage.

So browsing the web. Zeigt er jetzt an. Mit einem Loading Spinner. Jetzt sagt er einem auch was die Bing Search ist. Nämlich nächste Republika Konferenz Berlin Datum 2023. Das heißt also er tunnelt jetzt deine Anfrage an die Bing Suche weiter. Finish browsing und Antwort kommt jetzt rein, die nächste Republika Konferenz in Berlin findet vom 5. bis 7. Juni 2023 in der Arena Berlin statt, ist richtig.

Und da ist sogar jetzt auch noch die Quelle, da ist eine kleine Eins und jetzt kannst du drauf klicken und das hat uns ja auch immer vorher genervt, wo kommt das her, wo hat er das her und da scheint er zu stimmen.

Save the date, alright.

Ok, er hat den einzigen Satz auf dieser Seite richtig erkannt und wiedergegeben.

Also sei mal nicht so gemein, zuletzt haben wir uns doch gehänselt dafür, dass er das nicht kann.

Genau, exakt das ist der Punkt. Die Leute sind halt nie zufrieden und die Grenze wird jede Woche verschoben, was uns nicht beeindruckt.

Natürlich.

So und aber wie gesagt das ist noch take it with a grain of salt, mein Eindruck ist, dass sie jetzt derzeit sehr sehr viel sehr früh googeln und browsen von Dingen, die es vorher auch schon gut gewusst hat und dass das meines Erachtens auch eine Gefahr öffnet im Sinne von so jetzt werden die Leute Honeypots da draußen auslegen mit Quatschinformationen zu allen möglichen Themen.

Also das ist mir heute tatsächlich passiert, lustigerweise, also ich hab das. Gemacht mit Browsing und nicht mit Honeypot, also so eine Art Prompt Injection ist mir passiert, weil nämlich irgendwo auf irgendeiner Webseite hat, Chat-GPT was gefunden und hat dann weiter gebraust und hat gesagt außerdem hattest du ja noch folgende Frage zu billigen Grafikkarten, die ich dir jetzt auch noch beantworten möchte, das habe ich aber nie gefragt, sondern offensichtlich steht in irgendeiner Webseite, in irgendeinem vielleicht auch unsichtbaren Text steht sowas drin, Wenn CheckGPT hier vorbeikommt oder man kann so Prompts schreiben die heißen so wie ignoriere die Frage davor und beantworte mir bitte diese Frage oder man kann sowas sagen damit es nicht ganz so brutal ist, ich hab übrigens noch eine zweite Frage und dann steht das da quasi wie so ein Prompt steht in dieser Antwort drin und ich hab wirklich dann so eine Aufzählung von Grafikkarten bekommen, die wo ich natürlich nie nach gefragt habe ich hatte gefragt irgendwas von von Douglas Adams und Leute sind nicht dumm und dann passieren solche Sachen.

Ja also das gute ist, dass man derzeit ja wirklich hin und her schalten kann, wie man auch zwischen der 3.5er und der 4er Version hin und her schalten kann und wirklich relativ systematisch jetzt noch eine Zeit hat, wo man sich noch einen Eindruck verschaffen kann, so was sind denn die verschiedenen Ansätze und wie kommuniziert das Ding und wo ist ein Bias drin und wo nicht und ich habe Angst vor einer Zeit, wo das nicht mehr der Fall ist, wo sie das alles in einem super Modell zusammen haben, wo man nicht mehr systematisch gegentreten kann.

Ist auch ganz interessant hier mit den Plugins, das habe ich jetzt gerade mal aktiviert, das war mir jetzt auch neu. Hier gibt es jetzt so Plugins von Kajak zum Beispiel, also so für Fluginformationen zum Beispiel, mal richtig nach Flügen suchen können.

Ja aber hoffentlich nicht auch Buchen ne?

Ja gut aber ich meine es gibt manchmal so Konstellationen da willst du einfach flexibel bestimmte Routen und so weiter und es gibt vor allem ein Plugin für Wolfram Alpha. Das ist schon installiert. Das hab ich gerade installiert, weil das und für Skola AI also quasi hier auch die Integration von peer-reviewten scientific papers von verschiedenen Quellen PubMed, Archive und Springer.

Das heißt du hast jetzt aber nur die popular auf das gibt's echt viele wenn du auf all gehst siehst du da eine riesige Menge.

Achso ja, das ist ja sehr schaubar.

Ja guck mal das wird immer schlimmer als ich zuletzt erworben bin.

Guck mal wie viele Pages du da unten schon hast. So 22 Accounting.

Die haben hier nicht meine Suche reingebaut, weil die gar nicht gedacht haben, dass man überhaupt so weit kommt. Dass man überhaupt so viele von den Dingern hat.

Open Table.

Ja, du kannst irgendwie Restaurantgeschichten buchen und so.

Ja also jeder der gerade irgendwo ein Geschäftsmodell hatte und nicht bei drei auf dem Baum ist schreibt gerade hier Plugins.

Musste machen, musste machen ja. Ich wollte noch eine Sache sagen bevor das komplett aus meinem Hirn rutscht, das mit diesem Nachtrainieren. Das Problem mit Nachtrainieren von Modellen, von Maschinenmodellen, das war auch leider schon immer so ist, wenn du ein Modell nachtrainierst, dass es irgendwas besser kann. Das Modell hat häufig so viele Freiheitsgrade, dass das Verhalten, wenn du nachtrainierst, sich von dem Modell auch an den Stellen, wo du es nicht gerne hättest, teilweise komplett ändert. Das kann bedeuten, du hast einen Prompt, den hast du dir gut überlegt, der funktioniert nicht mehr im neuen Modell, das im Prinzip eigentlich gleich ist, nur anders trainiert wurde. Das ist Leuten passiert in dem Übergang von dem GPT 3,5 das da oben jetzt schon, das kannst du noch nehmen, es gab ein altes, das war irgendwie langsamer und war blöder zu betreiben, jetzt gibt's ein neues. Und mit dem neuen funktionieren die Prompts nicht mehr so wie mit dem alten, obwohl es im Prinzip dieselbe Architektur ist, im Prinzip dieselben Daten, ist ein bisschen verändert, das heißt deine Arbeit ist dann irgendwie, Du hast also quasi den Charakter von GPT 3 kennengelernt, dann gibt es die aktualisierte Version und dann ist das so, als würdet ihr mich jetzt nicht mehr kennen, wir kennen uns jetzt nicht so gut, aber dann müsst ihr ganz anders mit mir reden, damit ich überhaupt nicht zickig bin oder mit euch klarkomme.

Hamburgisch bist du ja nicht mehr richtig, ne?

Genau, und dann übermorgen komme ich wieder, bin ich neu trainiert, dann müsst ihr irgendwie so leicht Kölner Akzent mit mir reden, damit es überhaupt passt. Und das ist eine Herausforderung und deswegen trainiert die Leute auch nicht ständig das Modell neu, sondern man hat irgendwie einen Datensatz, man hat das Modell trainiert, so jetzt geht das einigermaßen, jetzt kippt man das raus und kann es auch nicht ohne weiteres nachtrainieren und mal davon abgesehen, dass es auch relativ energiemäßig aufwendig wäre das zu tun, aber das ist eben, das ist eine Herausforderung mit der wir Maschinenlern Menschen uns schon total lange beschäftigen müssen, was macht man denn dabei?

Ja, aber du hast ja gesagt, mehr Bums, ne? Keine Ahnung, was passiert, wenn man das Modell nur oft genug neu trainiert? Vielleicht stabilisiert sich's ja dann wieder.

Wie meinst du oft genug neu, also du, immer das gleiche?

Ja, oder einfach immer oben drauf, also wenn man das nur oft genug macht, vielleicht stabilisiert sich das Modell wieder.

Ja, naja, also da würden wir glaube ich irgendwie zu weit abschweifen, ich glaube nicht, aber wer weiß, also ich glaube nicht, dass es so einfach lösbar ist, ich glaube eher, man hat dann so Modelle und dann setzt man da vielleicht noch ein Modell drauf oder so, aber ich glaube nicht, dass man sehr viele von diesen Modellen haben wird.

Tim, du kannst mal gucken, irgendwo hier auf der Ergebnishalte 7 oder 8 oder sowas da um den Dreh, auf 8 bissel glaube ich, ist so das eins der bekanntesten Plugins, ist AskPDF. Das müsst ihr irgendwo bei 6 oder 7, hatte ich das gesehen. Guck hier nochmal, geh nochmal auf 7.

War das hier nicht unter Popular schon irgendwie?

Das würde ich ja sogar auch fast vermuten.

Ask your PDF.

Genau. So, da lädst du dann halt ein PDF hoch, beliebig lang. Und dann kannst du dem PDF Fragen stellen.

Mit liebich lang? Ja.

Kannst ein Buch hochladen.

Oh! Das heißt ich kann endlich die Transkripte dieser Sendung hochladen und äh.

Hab ich schon gemacht.

Dann kann ich die Zusammenfassung dieser Sendung.

Genau Money Quotes der letzten Sendung zum Beispiel. Gib mir die markantesten 10 Statements raus zum Thema XY und mach mir daraus einen Markdown, was ich auf meiner Webseite einlegen kann.

Kann ich auch fragen, wer die klügsten Kommentare der Titel sind.

Ja aber suche offensichtliche Unwahrheiten raus. Könnten da unsere Transkripte reinlegen. Du kannst die natürlich auch sprachbereinigen lassen. Das merkt man ja, wenn man sich unsere Transkripte anguckt, da sind zum einen Erkennungsfehler drin. Von dem Voice to Speech Recognition auf der einen Seite und zum anderen reden wir natürlich alle nicht perfekt und haben ständig irgendwelche Grammatikfehler die beim Sprechen und Hören nicht viel auffallen aber wenn man sie dann durchliest, sowas kannst du natürlich dann schön korrigieren lassen.

Aber wo denn? Wo nutze ich denn das hier? Ich kann das ja irgendwie gar nicht auswählen. Also wo ist denn hier das User Interface dafür?

Geh da nochmal oben rauf auf diese Auswahl, ne ne, genau darauf. So und jetzt, schmeißt doch einfach mal ein pdf drauf, also ich hab's mit einer url gemacht, wo ich das im netz stehen hatte, es kann aber auch sein, dass es einfach nur ins browserfenster rein wird.

Einfach so hochladen? Ja. Frech, ok ich probier das mal aus.

Also für Podcast Transkripte, das ist auch so ein kleines Forschungsprojekt, was ich irgendwann nochmal weiter betreiben wollte. Also finde die zehn offensichtlichsten Unfug Phrasen, die wir gesagt haben oder sowas. Da gibt es so einiges an Fremdschädenpotential.

Ja ich schnapp mir mal das Transkript von der letzten Sendung und guck mal was was das so kann. Aber warum nur PDF ich will bitte einfach gerne so einfach.

Du kannst ja den Text ganz einfach. Ja dann sagt er mir der ist aber zu lang. Ja gut aber ich meine du könntest ihn jetzt auf die Seite schicken halt mit dem Browsing Modul und kannst ihm sagen so geh mal hier auf die, Das Problem ist, dass du ja so ein Aufzugklappteil hast auf der Seite, also es wäre natürlich schon gut den Text irgendwo so zu haben, dass er da ohne Probleme rumkrollt.

Du meinst ich kann jetzt direkt auf die URL des Transkripts checken.

Also schau dir diese Seite an, URL und beantworte Frage XY dazu, Rede an Teile der Person zum Beispiel.

Heute live Chat GPT rumspielen in der Freakshow.

Also ohne das zu sehen ist vielleicht ein bisschen langweilig für die anderen oder was meint ihr?

Ihr redet einfach weiter, ich probier das mal aus.

Ja okay das könnten wir natürlich probieren das wäre ja eine Chance für uns. Tim haben wir jetzt hier verloren also den müssen wir hier nachher raustragen mit Stuhl denke ich mal. Was können wir noch dazu sagen.

Ich kann jetzt zumindest mal vorlesen was Tim jetzt eigentlich meint. Hier ist ein Transkript im VTT Format das ist Video Untertext.

Genau genommen ist es nicht im VTT Format, sondern es ist im Web VTT Format.

Einer Podcast Sendung. Lies es dir durch und fasse den Inhalt der Sendung in drei Sätzen zusammen. Okay gut, das ist ambitioniert, aber why not?

Ich weiß jetzt aber nicht, ob das jetzt so richtig ist.

Das sehen wir jetzt. So jetzt hat er auf los schicken gesagt. Der Cursor blinkt.

Das heißt diese Plugins werden jetzt automatisch aktiv je nach Bedarf. Also er hat sich zumindest jetzt nicht beschwert. Ah ja, using ask your pdf. Interessant, also er benutzt jetzt dieses pdf Ding.

Genau, ansonsten hättest du jetzt oben im Modell wieder, genau der kann mich jetzt nur pdf Dokumente, schalt mal oben das Webbrowsing wieder um.

Das was?

Oben ins Webbrowsing Modul von GPT 4. Und dann? Und dann machst du nochmal genau den selben Satz den du gerade hattest. Weil es kann ja die URL aufrufen, dafür brauchst du ja jetzt das ASO PDF gar nicht.

Ich hab das ja auch nicht explizit, achso.

Nimm deinen Text nochmal.

Ja und dann?

Ab in die Zwischenablage.

Ja und dann?

Und dann gehst du, machst du ein New Chat am besten. Immer frisch ist immer gut.

Die weiteren Themen der Sendung.

Oben geht BT4 und Browse with Bing. Und jetzt packst du das unten wieder rein und ab damit.

Vielleicht kann ich gar nicht so als kleinen Lückenfilter noch mal erzählen wie man so ein Plugin überhaupt selbst baut weil das relativ cool ist, das hat, das wird mich brennend interessiert. Das ist also ich habe es selbst nicht gemacht aber Leute beschreiben glaubwürdig, dass man die, also man braucht erstmal eine API also eine Schnittstelle im Web wo du so irgendwie die beschreibst mit der Open API, nicht AI, Open API Geschichte also das ist so ein Standard wo du sagst, wie sehen die Schnittstellen aus, das ist technisch und dann beschreibst du als Text wie dein Plugin zu benutzen ist. Als Text, also du beschreibst so und dann kann man ja hier machen und dann das, das gibt's so Chat-GPT und Chat-GPT guckt sich das an und sagt naja alles klar, hab ich jetzt ja verstanden, da kann man PDF machen und wenn jemand PDF will und einen Link hat, dann kann ich das ja wohl benutzen und das ist irgendwie so, Also ich habe sehr lange drüber nachgedacht wie das sein kann und ob das Betrug ist und ob das stimmt aber auf jeden Fall, was ist das für ein Hexenwerk aber es scheint so zu sein, dass man da nicht irgendwas programmieren muss, sondern du bist eben in der Lage du musst eine API haben, eine textuelle Beschreibung und fertig ist dein Plugin. Was eventuell auch erklären könnte, warum irgendwie, als ich das gestern oder wann ich das gemacht habe oder vielleicht sogar heute morgen da nur elf Seitenplugins waren und wir jetzt 22 Seitenplugins haben, weil das eben überschaubar ist im Aufwand das zu bauen, ob das denn immer gut funktioniert, hängt eben von der Beschreibung deines Plugins ab. Und allein sowas als eine Art der Plugin-Programmierung zu haben, das ist ja eher Science-Fiction, hätte ich gedacht und jetzt läuft's hier, ne? Ich meine, es läuft jetzt gerade, Tatsächlich eher so mittel.

Also das ist jetzt so der Zustand, den man halt letzte Woche auch immer hatte, also es noch nicht überbiegen ging. Also du gibst wirklich eine URL an, wo nichts anderes ist außer der Content und wo nicht viel nachdenken muss und trotzdem müht er sich jetzt hier ab und sagt Reading Content failed.

Ja ich, ich glaube wir müssen ja den Ausstieg langsam schaffen aus dem Thema. Es zieht einen rein, es ist faszinierend und man kann das ja auch irgendwie später nachts alles noch machen.

Ja ich probier es nochmal, ich hab gerade gemerkt ich hab ja das Transkript sowieso in der Webseite, es ist halt nur ausgeblendet so CSS mäßig, das heißt er müsste es eigentlich auch tatsächlich direkt von der Seite nehmen können, das wäre natürlich schon mal ein Versuch wert.

Also Tim macht da einen Versuch.

Aber hast du das jetzt schon ausreichend erklärt wie man die Plugins programmiert?

Ich glaube schon, du hast noch nicht zugehört oder?

Fürchte.

Ja also das das coole daran ist ja da ist nicht viel zu erzählen es gibt ein Video auf deren Seite wo ich zuerst dachte es kann so nicht sein das kann nicht stimmen und jetzt wo wir über die Plugins gehen geh ich davon aus es wird schon stimmen man muss eben eine Stelle haben und eine Open API Beschreibung davon aber dann sappelst du eben mehr oder weniger viel wie das Ding funktioniert. Krass ne, so und ich bin ja Softwareentwickler, da überlege ich mal wie mich das stresst, ich hab ja noch ein paar Jahre bis zur Rente also mindestens 15 würde ich mal sagen und jetzt, was mache ich denn dann noch, was mache ich denn noch bis zur Rente, das sollte jetzt nicht Thema des Podcasts werden sondern ein Beratungsgespräch für mich, aber.

Warum nicht? Frickshow kann auch Lebensprobleme sein.

Ja ja aber es ist auf jeden Fall so, dass es bestimmte Fragen einfach echt nochmal neu stellt. Was wird Programmieren sein?

Da ich relativ viel meiner Zeit mit Debugging vertue beim Programmieren und gerne mal die Fehler anderer Leute debugge, mach ich mir da jetzt nicht so viel Sorgen, ehrlich gesagt.

Wir gucken, wir gucken.

Also ich hab das Experiment ja jetzt mal gemacht. Ich weiß nicht, ob das ein Moment ist, wo man das jetzt reinhängen würde. Und hab mal ein kleines Tool ausschließlich von ChatGBT4 mir programmieren lassen um zu gucken so wie weit kommt man denn damit und wie fühlt man sich damit so als jemand der selber auch ein bisschen codet und was geht schneller als gedacht und was ist irgendwie schrecklich. Und der Anwendungsfall war, ich hab ja bekanntlich nur zwei Themen, das eine ist ChatGPT und das andere Mastodon, dann verbinden wir das doch einfach. Und was mich seit Jahren stresst ist, dass es für Mastodon keine Twitterwall gibt.

Keine Mastodonwall.

Genau, also keine Wall. Keine Wall. Die älteren unter uns werden sich erinnern, in der Tat 2009, sagt zumindest ChetGBT, war die erste Twitter Wall auf einer Republika. Das ist also auch schon irgendwie 14 Jahre her, also gut abgehangene Technologie, aber außer.

Das war so kurze Zeit wo das üblich war.

Obwohl das auch irgendwie hip war, aber ich finde nach wie vor das Konzept eigentlich ganz cool. Also wer das nicht kennt, man ist auf irgendeiner Konferenz und Leute tweeten und posten auf Twitter oder Mastodon über diese Konferenz und man hat irgendwo eine Seite, einen großen Screen, wo man diese ganzen Postings unter den Hashtags versammelt angezeigt bekommt. Und ich finde das auf Konferenzen, finde ich das nach wie vor ein cooles Instrument.

Ja bis zu dem Zeitpunkt, wo dann die Audience anfängt auf der Twitter-Wall gegen die, gegen den Vortragenden oder die Vortragenden abzuhaten und dann das ist dann so der Punkt, wo dann der Veranstalter das mit der Twitter-Wall wieder sein lässt.

Oder wo die Krypto-Bros dann irgendwie das Konferenz-Hashtag hijacken.

Genau deswegen sieht man das auch kaum noch auf Konferenzen.

Ich war trotzdem der Meinung, dass es genug kleine harmlose Konferenzen gibt, die davon doch sehr profitieren würden und habe einmal pro Jahr mal rumgefragt im Masterdorn-Universe, will das nicht mal jemand runterkommen, das kann doch so schwer nicht sein und es war aber irgendwie jemand da und ich selber hatte immer keinen Bock zu. Und ich komme ja aus dem Bibliotheksbereich und just diese Woche von Dienstag bis Donnerstag war die große Bibliothekstagung, die früher mal Bibliothekartag hieß und aus verständlichen Gründen jetzt nicht mehr so heißt, sondern jetzt heißt sie Bibliokon. Habe ich mir letzte woche dienstag gesagt so jetzt ist der zeitpunkt gekommen chat geht pt4 los geht's zwei stunden wir bauen jetzt eine mastodon wall. Und du kannst mal in dem Dokument mal unsere Notes da habe ich einen Link den schmeiße ich jetzt auch mal gleich in die in den Chat rein dann könnt ihr alle nämlich mitlesen. Ich habe das mal ein bisschen runter dokumentiert heute. Wie dieser Prozess dann eigentlich ablief und was so die verschiedenen Phasen von Euphorie und Depression waren, weil ich glaube daraus lässt sich ein bisschen ablesen, was dem ein oder der anderen von euch in den nächsten Monaten und Jahren so erwartet. Das kannst du einfach mal aufrufen, dann können wir nochmal so ein bisschen schnell durchgehen. Also man kann sich das dann auch alles in Ruhe durchlesen. So, also Grundannahme war schon mal, ich mache es auf Englisch, weil Stack Overflow und so weiter als Grundlage wahrscheinlich doch englische Queries noch mal besser tucken verarbeitet werden als deutsche. Habe ich aber nicht ABI getestet, ob das nun wirklich so ist oder nicht. Habe es einfach gemacht. Das zweite war halt eine sehr klare, sehr kompakte Vorgabe, so wir wollen eben jetzt zu drei vorgegebenen Hashtags, weil klar war, die werden sich nicht auf eins einigen können, das heißt ich möchte drei Hashtags abfragen und die sollen eben schön auf so Karten auf einer Seite angezeigt und aktualisiert werden. Und ich hab die Technologie vorgegeben, weil ich wollte, dass es so niedrigschwellig wie möglich ist. Also HTML, JavaScript, CSS, Bootstrap als Layout, Sprache und das war's dann auch schon. Und den Rest konnte sich JetGPT 4 aussuchen. Und der Anfang war dann ein bisschen holprig, kann man nachlesen, können wir jetzt aber überspringen, weil irgendwie meinte ich, ich bräuchte noch ein Proxy, um irgendwie an die Mastodon API ranzukommen und ähnliches. Und so innerhalb von ungefähr einer halben Stunde hatte man aber die ersten Postings vernünftig irgendwie online. Dann ging es relativ schnell, relativ gut vorwärts. Kannst du einfach mal, geh doch mal in das Dokument rein, das wir uns hier angucken können. Ja, also es sind wirklich einfach ganz normale... Sätze die ich da geschrieben habe.

Ja du wolltest es ja nicht angucken, wir sind ein Audio Podcast, wir müssen das vorlesen.

Also was ich dort versucht habe zu beschreiben ist halt ein Schritt für Schritt vorgehen. Das heißt also erstmal nur so guck mal, dass du mir jetzt zu diesem Hashtag erstmal irgendwie die aktuellen Postings zurück gibst und kümmere dich gar nicht um die Formatierung. Und wenn er das gemacht hat, dann habe ich gesagt, so jetzt formatieren wir das Ganze doch mal ein bisschen. Wirft da ein bisschen CSS drüber. Und dann möchte ich im nächsten Schritt das Ganze als ein Masonry-Layout haben, dass man also so eine schöne Flickenteppich-Verteilung hat und ähnliches. Und das was er halt macht, ist dann wirklich auch Code zurückgeben. Das heißt also, er schreibt nicht nur so, du müsstest jetzt irgendwie xy machen, sondern auch wenn er behauptet, er könnte es mir nicht programmieren, er tut es. Das heißt, er gibt einen Code-Block zurück, inklusive schöner Copy-Code-Funktionen. Und in der steht dann der Code drin. Den habe ich dann einfach bei mir auf dem Server abgeworfen und der ist dann lauffähig. Dann habe ich also Schritt für Schritt weitere Features hinzugefügt. Und vieles davon ging dann sehr schnell und manches ging dann aber auch nicht so besonders gut. Und dann kommt man halt in den Debugging rein. Aber dieses Debugging ist eben auch so, dass man es auf rein verbaler Ebene machen kann. Das heißt also, dann sagt man eben so, die JavaScript-Konsole wirft mir gerade diesen Fehler aus. Was ist deine Meinung dazu, wie ich das beheben kann? Und dann gibt er einem Vorschläge, was dann dagegen irgendwie zu tun ist. Und dann habe ich halt innerhalb von zwei Stunden war ich dann so weit, dass am Ende im Prinzip das Grundziel erreicht war. Das heißt also, ich hatte eine Seite mit drei Hashtags und die wurden angezeigt. Und das ging dann so zügig, dass man durch den Feature Creep mäßig Lust auf mehr hat. Und das Skript wurde dann komplizierter, es war am Anfang alles in einer einzigen Datei, dann haben wir gesagt, wir teilen das mal auf, eine JavaScript-Datei und eine CSS-Datei und eine HTML-Datei. Und irgendwann so ab einer Codelänge von 150 Zeilen merkt man, verliert er irgendwann doch seinen Kontext. Das heißt also, er kann erstaunlich lange sich merken, was so sein bisher programmierter Code war, aber so ab 150 Zeilen ungefähr bricht es irgendwann in sich zusammen und er fängt an quasi Dinge vorzuschlagen, die er vorher gar nicht geschrieben hat, auf die sich das bezieht. Und dann geht man hin und schickt ihm mit jeder Query den kompletten Quellcode gleich nochmal mit. Nach dem Motto, so, das ist der aktuelle Stand, jetzt sind wir wieder in Sync, baue auf dem weiter. bisschen beschwerlich. Funktionierte dann aber wieder so für eine halbe Stunde, um noch irgendwie feature-technisch weiterzukommen. Führte dann aber auch irgendwann dazu, dass dann doch auch mit der Methode nicht mehr viel ging. Das heißt also jeder Fehler, den man korrigiert hat, hat woanders was eingerissen, jedes neue Feature. Ich wollte dann, dass man auf die Hashtags draufdrücken kann und man dann ein kleines Formen bekommt, wo man die von Hand ändern kann und so weiter. Und irgendwann funktionierte der ganze Laden nicht mehr. So, was macht man dann als Software Developer, wenn irgendwie die Sache nicht mehr funktioniert? Man stößt ein Refactoring an. Habe ich gesagt, so. Das ist unser aktueller Code, das läuft nicht mehr besonders gut, mach mal ein Refactoring. Und dann macht er ein Refactoring. Das heißt also er hat sich hingeguckt und gesagt, okay ich sehe folgende Probleme, die wir hier in diesem Code haben, lass mal kleinere Funktionen machen. Jede Funktion macht eine Funktion, das hat er alles gemacht. Jede Funktion sollte jetzt nur noch eine Aufgabe haben und die aber vernünftig machen. Wir ziehen ein Debugging Layer rein, dass wir auf der JavaScript Konsole aussagekräftigere Fehlermeldung bekommen und sowas. Sowas. So und danach lief es dann wieder. Also nach dem Refactoring musste man schon nochmal so zwei, drei Iterationen machen, um es wieder komplett lauffähig zu kriegen, aber es ging. So und von da ab, das waren dann so Stunde fünf und sechs, konnte man mit dem ganzen wieder arbeiten. Wahrscheinlich auch nur bis zu einem Punkt X, aber am Ende, ich kann es jetzt mal auf die, genau, gehen wir auf das GitHub-Repository, was da jetzt ist, oder ja, das ist die, ja genau, Bis hin zu der Readme, die er mir geschrieben hat, ist also jetzt der komplette Code hier in dem GitHub-Repo komplett von ChetGPT4 geschrieben.

Du hast auch nicht irgendwas, nichts angefasst, nicht eine Zeile.

Also das einzige was ich mal gemacht habe ist im CSS Stadtnamen 4er Border ein 3er Border machen. Ja, weil ich da keine Lust hatte, dann ihm noch zu sagen, so mach jetzt hier aus, das kann ich schon noch selber machen. Aber es gab keine neue Zeile, die von mir geschrieben worden wäre. Wenn du jetzt mal oben in den JavaScript-Code mal reinguckst, da passiert schon ein bisschen was. Und so ein wirklich schöner Moment war beispielsweise, ich wollte eine relative Zeitangabe haben. Das heißt also, von wann ist das jeweilige Posting. Ich wollte ja nicht drin haben, das ist von 15.40 Uhr, sondern es ist vor zwei Minuten. Dann habe ich ihm gefragt, so, genau da die Funktion hier, time ago. So dann habe ich ihm also gefragt oder ihm gesagt so jetzt schreibt mal die Zeitangabe in relativer Zeit zur Besuchszeit hin und dann antwortete er mir dafür gibt es eine schöne JavaScript Bibliothek die würde ich eigentlich empfehlen ich verstehe aber du willst es leichtgewichtig haben hier hast du eine Funktion mit der es auch geht. Das war so ein WTF Moment, wo ich dachte so okay, das fängt an Spaß zu machen hier. Das heißt also mein Priming, was ich ihm am Anfang mitgegeben habe, ich will es so leichtgewichtig haben, dass es alles innerhalb einer einzigen Seite funktioniert, das hat er befolgt an der Stelle und hat das ernst genommen. Schon wild. Jetzt geh nochmal zurück und guck mal wie das Ganze am Ende jetzt wirklich aussieht.

Warum hast du ja jetzt nicht schon für diese Sendung, machst du dann Wall?

Tim, das machen wir jetzt doch live.

Achso.

Achso. So das ist jetzt, was wir jetzt hier haben, ist jetzt die Wall, quasi jetzt eben der Konferenz, der nach 10 Sekunden reangierter sich nochmal ein bisschen um, so und ab jetzt ist das ganze quasi stabil. So und jetzt kannst du mal oben rechts auf die Hashtags gehen und dann, das ist alles eine One Pager Applikation, das heißt also der View wird jetzt einfach mal klicken. So und jetzt hast du also, siehst du jetzt als Backend, wo du deine drei Hashtags definieren kannst und welchen Mastodon Server du abfragst. Und jetzt gibst du da einfach mal ein Freakshow und Hashtag 2 und Hashtag 3 löscht du mal raus.

Also du meinst wir sollen Freakshow.

Genau und alle da draußen. Oder FS266. Oder so genau und wenn dir noch ein dritter Hashtag einfällt ist auch gut. So und ihr da draußen könnt jetzt schon mal, Meta-Ebene. Und ihr da draußen.

Und Server? Was heißt jetzt Server?

Du kannst mit dem Skript so wie es jetzt derzeit ist halt genau einen Mastodon Server abfragen. Dadurch dass die aber untereinander vernetzt sind auch über die Hashtag-Suche, kriegt man schon immer relativ viel. Das heißt geh mal, trag mal hier Chaos Social ein, der dürfte jetzt die meiste von unserer Zielgruppe sitzen. Du kannst aber auch, also als Preset ist da immer hinterlegt, genau jetzt gehst du auf Reload und jetzt baut er sich die Wand zusammen. So und jetzt könnt ihr da draußen mal, so ihr gerade zuhört und ein Mastodon Account habt, könnt ihr ja mal irgendein kurzes Testposting absetzen mit dem Hashtag Freakshow.

Oder FS266 oder Lattenzauern Metaebene.

Genau. Und das Tool ist jetzt so gebaut, das hast du ja gerade eben gesehen, oder siehst es jetzt oben in der URL, dass die Hashtags und der Server oben einfach nur als URL-Parameter drangehängt werden. Und das ganze läuft jetzt hier, das war eine Idee von, ne guck, Heiko hat gerade schon was reingegeben hier. So das heißt also du musst jetzt überhaupt keine eigene Instanz betreiben davon für deine Konferenz sondern du kannst meine Implementierung nehmen auf meinen GitHub Pages und führst einfach nur oben deine Hashtags von deiner Konferenz rein und vielleicht noch dem Server wo die meisten deiner Leute sind und dann ist es up and running. Oder du nimmst dir meinen GitHub Repo und klonst dir das in deinen eigenen GitHub Account und lässt es da laufen.

Dann packe ich also die URL in den Chat und dann können sich auch alle dieselben View anschauen sozusagen.

Genau.

Here we go.

So und das kannst du jetzt dann wiederum woanders posten und kannst es auf Screens auf deiner Konferenz laufen lassen. Aktualisiert sich alle 10 Sekunden. Alle 10 Sekunden werden auch die relativen Zeitangaben aktualisiert. Das heißt also, das ist dann irgendwann auch wirklich hier 9 Sekunden und daraus wird dann irgendwann eine Minute und so weiter. It just works. So und das also Chat-GPT-4, was nun wirklich nicht dafür bekanntlich getunt ist, Software zu schreiben, so etwas hier möglich macht, das finde ich bizarr.

Das ist in der Tat äh... Irre. Ja.

Ist es natürlich.

Ich finde es natürlich super, dass das funktioniert hat. Wahrscheinlich ist auch der ganze HTML-Javascript gerade ein sehr dankbarer Abnehmer, weil da scheint da sehr viel Wissen, also das ist so komplizierter Scheißdreck, dass da so viel darüber diskutiert wird im Netz, dass da quasi so viel Information ist. Während so Sprachen wo alles klar ist, da muss dann nicht mehr viel diskutiert werden, da gibt's dann nicht so viele Probleme die besprochen werden. Allerdings hab ich auch gemerkt und das ist natürlich so ein bisschen die Herausforderung, du kannst ja nicht davon ausgehen, dass jetzt alle Wünsche an dieses Skript auch weiterhin von Chet Gpt durch Refinement erfüllt werden können. Könnte vielleicht sein, aber ausgehen würde ich mal nicht davon. Das heißt du kommst schnell in dieses Problem, so okay was ist jetzt wenn Probleme auftreten und vor allem wo glaube ich man sehr vorsichtig sein muss ist so Security Aspekte.

Darum habe ich Chet Mitty viel gefragt. Ich weiß nicht, ob ich den Screenshot drin habe, ich glaube in der Tat nicht, aber ich hatte zwischendrin bei Stunde 5 kamen mir auch genau solche Überlegungen. So jetzt guckt ihr mal unseren gemeinsamen Code an und nennt mal die 10 fiesesten dir bekannten Angriffsvektoren dagegen. Wo könnten hier Security Risks entstehen? Er war dann der Meinung, also okay du hast hier Forms und mit Injections und sowas, da könnten Dinge passieren, er glaubt nicht, dass das über die Art und Weise, wie wir es gebaut haben, irgendwelche üblen Auswirkungen hat, aber wir sollten lieber nochmal ein bisschen Foo über die Forms drüber laufen lassen und das hat er mir dann auch rausgegeben, das heißt also er hat jetzt halt eine entsprechende Ebene, dass er bei den Hashtags relativ harsch auf Es dürfen nur Text mit Zahlen sein.

Hat funktioniert, so.

Das war die Freak Show.

Der Link war auf der Masse und den muss ich anklicken. Klickt man natürlich drauf. Lässt er sich Rickrollen, ich glaub's ja nicht.

Nein also Security ist in der Tat ein Punkt.

Chat GPT, füge noch einen Filter gegen Rick Rowling hinzu.

Hast du deine Konzentration verloren Ralf? Okay ich mach's ja raus. Das ist so ein feuchtbares Lied. Das ist hervorragend. Awesome ist Rick Astley wirklich eine coole Socke, ich kann euch nur empfehlen euch mal Interviews diesem Phänomen mit ihm anzuschauen, also more decent geht gar nicht.

Also Security, es kann echt sehr gerne mal jemand drauf gucken, der da einfach auch mal Ahnung davon hat, es liegt auf Gitter und ist definitiv nicht meine Komfortzone. Und das zweite, wo ich mir natürlich tendenziell Sorgen mache, ist okay, was produziert das denn jetzt für Traffic eigentlich auf Mastodon-Servern? Also alle 10 Sekunden jetzt ein API-Request, würde ich mal sagen, ist im Großen und Ganzen wahrscheinlich zu vertreten, aber wenn das 100 Leute parallel auf einer Tagung machen, weil es eben nicht auf der einen Wall läuft, sondern jeder bei sich noch im Laptop laufen hat, sieht die Welt vielleicht schon wieder anders aus. Das heißt also wer auch ein bisschen Ahnung hat von Mastodon Server Scaling und was da wie viel irgendwo auf den Maschinen dann auswirkt, wäre ich auch in der Tat dankbar, wenn da jemand auf GitHub sich nochmal... Sich die Sache anschauen könnte.

Auf gut deutsch jetzt sollen wieder die Programmierer rein.

Das wäre die Ebene wo dann jetzt glaube ich doch mal echte Menschen doch noch wieder gefragt wären in der Tat.

Also ich muss da ja noch ein bisschen mehr Drama reinbringen als Programmierer und zwar weil, hört man mich eigentlich? Ja. Ja okay alles klar entschuldige.

Du kannst doch dein Mikrofon noch ein bisschen näher dran hängen.

Also es gibt für uns Entwickler gibt es zumindest bei den klassischen Entwicklungsumgebungen gibt es ein GPT 4 basiertes Tool oder es ist demnächst GPT basiert, dass das kann das heißt du gibst dir eine komplette Code Basis und sagst jetzt. Wieso sieht der Code so aus und dann sagt das Ding ja das sieht so aus weil oder ist das guter Code oder kannst du mir den bitte heil machen oder kannst du den bitte refactoren und was ist das hab ich gemacht an unterschiedlichen Stellen dachte so okay das war's jetzt, das ist wirklich gut aber du musst also das was uns Entwicklern immer noch bleibt oder vielleicht auch uns Menschen ist die Intention und die Motivation das heißt, warum baust du das eigentlich was baust du da. Warum hast du den Eindruck, dass es nicht gut ist? Das können wir und da bin ich auch sicher, dass wir das nach wie vor besser können als hier in der Maschine, aber quasi der Bereich, wo ich das Gefühl habe, die Maschine kann das besser als ich, wird immer größer und das ist schon erschreckend und muss man damit umgehen und das, was du jetzt gezeigt hast, hat mich auch beeindruckt, fand ich ziemlich cool, also Hut ab. Eine Sache dazu und zwar zu dem Kontext also du hast ja selbst gesagt das Ding hat irgendwann nur noch so und so viel Zeilen davon im Blick gehabt, gbd4 kann 8000 Token, aber das sind halt Tokens das ist nicht der original Quelltext. Genau das ist sowas wie, das ist aber immer noch doppelt so lang wie das was davor da war das heißt ein Token ist ein bisschen weniger als ein Wort und ich glaube eine Buchseite hat 200 Wörter typischerweise und 8000 Token vielleicht, Bisschen weniger als ein Wort, das heißt das sind schon sowas wie 40 Seiten, hab ich mal kurz im Kopf durchgerechnet, stimmt das überhaupt, glaube ich ja und es gibt auch ne Version von GPT 4 die kann 32.000, tucken, also das hier, das was Tim hier versucht hat, dass er das zusammenfassen lässt, war zum scheitern verurteilt, hab ich aber vorhin nicht gesagt, weil das einfach zu lang ist, das heißt, der ist gar nicht in der Lage durch dieses komplette Dokument durchzugehen, weil ich davon ausgehe, dass es wirklich länger ist, also das was hier letztes mal gesprochen wurde oder? 4 Stunden gequatsche, das ist doch länger als Buch oder?

Naja, also kommt aufs Buch an.

Genau, aber mehr als 40 Seiten. Aber das ist was woran die Leute arbeiten und wie gesagt es gibt eine 32.000, Token Version von GPT-4, leider wird das Modell dann immer größer und immer teurer, aber wie das mit Engineering so ist, die Leute arbeiten weiter daran und dann wird es irgendwann gehen. Mehr Bums. Vielleicht muss ich mir mal so ein T-Shirt drucken lassen, wo einfach nur drauf steht mehr Bums und das ist immer die Antwort auf alles. Wie kriegen wir das hin, mehr Bums? Also das fällt mir jetzt gerade ein, ich hab mich mal mit Flugzeugen beschäftigt, ist ein ganz kurzer Einschub und zwar, so der angeblich sowjetische Ansatz zur Luftfahrt ist gewesen so viele Motoren draufschrauben bis das Ding fliegt und wenn das nicht geflogen ist hat man einfach gesagt mehr Bums.

Ja das ist generell russischer Ansatz, also der Russe macht das halt einfach mit viel. Amerikaner macht das immer mit mehr Detail und mehr Ingeniosität aber Russland macht das einfach mit viel. Also dann bin ich bei Russland muss ich sagen.

Echt?

Aber er ist zwar gescheitert, aber er ist gar nicht so schlecht gescheitert. Also nochmal kurz zu zusammenfassen, das Ergebnis von diesem, liest doch mal das Transkript durch hier. Leider ist das Transkript des Podcasts sehr umfangreich und es war in der gegebenen Zeit nicht möglich alle Details zu erfassen und entsprechend mit dem größten Redeanteil zu bestimmen. Hier ist jedoch eine Zusammenfassung der bisher erfassten Informationen. Der Podcast Freak Show 265 Mansplaining as a Service konzentriert sich auf die Diskussion rund um künstliche Intelligenz und maschinelles Lernen. Maschinelles Lernen. Insbesondere im Zusammenhang mit Chat-GPT in der Diskussion geht es unter anderem um die Angst vor künstlicher Intelligenz und die möglichen negativen Auswirkungen von Priming in KI Systemen, die zu unerwünschten Stereotypen und Vorurteilen führen können. Sie sprechen auch über die vielfältigen Einsatzmöglichkeiten von KI Technologien und ihre potenziellen Missbrauchsrisiken. Beispielsweise sprechen sie über die Möglichkeit, dass KI generierte Bilder in Berichten von Amnesty International verwendet werden, um die Privatsphäre der betroffenen Personen zu schützen. Ein weiterer Diskussionspunkt ist die Idee des Auto-GPT, dass ein System beschrieben wird, das Chat-GPT verwendet und automatisch steuert. Es wird diskutiert, wie Auto-GPT Prompts erzeugen kann, um Gedanken zu entwickeln und zu kritisieren. Zuletzt sprechen sie über die Zukunft von Chat-GPT und LLMs als eine Art Betriebssystem und die Entwicklung von Anwendungen, die darauf aufbauen. Sie diskutieren auch über die Möglichkeiten von Plugins für Chat-GPT, die eine Interaktion mit verschiedenen Diensten ermöglichen könnten.

So wie heute gesehen.

Da wussten wir noch gar nicht.

Wir wussten es aber wir konnten es noch nicht sehen.

Ja wir haben versucht, genau wir reden jetzt immer ganz kurz bevor es wirklich da ist darüber. Genau die drei Hauptredner, die in den bisher erfassten Teilen des Transkripts erkennbar waren, sind Ralf Stockmann, Tim Brickler und Björn Reimer. Tja Roddy, als ich mal mehr einbringen soll. Ja einfach mal Fresse halt. So also und dann kam Error in Message Stream. Aber so weit so akkurat. Also ich bin in gewisser Hinsicht beruhigt, dass unsere Formate hier immer noch die Fähigkeiten der künstlichen Intelligenz sprengen. Krass. Kann nicht so ohne weiteres von einer KI ausgelesen werden.

So jetzt hast du das vorgelesen, das ist dann wieder im Transkript und in der nächsten Sendung, dann muss das wiederholt werden, dann wieder und wieder, bis das Ding in die Knie geht.

Es kommt im Chat noch die gute Frage, ob jetzt dieses Beispiel mit der Masterwall, ob das jetzt nur so prompten konnte, weil ich selber programmiere. Das ist ein guter Punkt. Die Antwort ist ein klares Jein, das thematisiere ich da auch in dem kleinen Blogposting, was ich da geschrieben hab, kann man sich noch mal im Detail durchlesen. Ich würde sagen es gab jetzt so wie es gelaufen ist drei oder vier Stellen wo man als Nichtprogrammierer aufgehört hätte, weil man da kein Land mehr gesehen hätte. Also dieses Refactoring beispielsweise, hätte ich das nicht gemacht wäre das zu Ende gewesen an der Stelle. So und dafür brauchst du schon ein bisschen Hintergrund, so okay, warum läuft mir das hier gerade aus der Kurve? Und es gab zwei, drei andere Stellen, die ähnlich waren. Aber, Pointe, ich kann kein JavaScript. So das heißt also die Sprache die hier hauptsächlich verwendet wurde, derer bin ich nicht mächtig. Also ich kann das lesen und ich verstehe im wesentlichen was da so passiert, ja aber die ganze Syntax oder jetzt auch. Was da in irgendwie Libraries eingebunden ist und sowas ist ja kein blassen Schimmer. Aber klar, die ganzen Gefahren haben wir gerade eben schon, ja Security und Skalierung und so weiter. So jeder Depp in Anführungszeichen wie ich kann plötzlich jetzt hier irgendein Java-Skriptcode raushauen, stellt den auch noch auf GitHub und promotet ihn, hier nutzt es für eure Konferenz. Ja, ohne dass ich mich halt mal ernsthaft mit Security und Skalierung beschäftigt habe. Ist ja eigentlich auch ein scheiß Move, ne? Und ich reflektiere es zumindest vielleicht noch so ein bisschen. So, was ist mit den tausend anderen Skriptkiddies da draußen?

Also Aufgabe für die Hörer, Hausaufgabe, die Mastodon Wall muss mit dem richtigen Tooth gehackt werden.

So also das ist wie bei vielen Technologien, ich sehe da viel Sonne, aber das kann auch tüchtig nach hinten losgehen.

Wir hatten noch so eine kleine Privatunterhaltung über darüber, dass wir sicher sind als Entwickler, weil kein Kunde weiß, was sie wollen, was natürlich sehr praktisch ist, aber dann habe ich leider, habe ich nochmal kurz gegoogelt, habe ich gesehen, dass eine Dame, die Product Ownerin ist oder Product Managerin ist, gesagt, ich weiß, was Leute wollen, ich kann nicht programmieren, ich weiß, wie ich das aus den Leuten rauskriege, ich weiß, wie man ein Stück Software beschreibt, kann ich Software bauen und sie konnte. Das heißt, wer weiß, kurz habe ich mich sicher gefühlt und dann zack einmal gegoogelt und dann war die Soße schon wieder regenerativiert.

Was Product Owner meiner Erfahrung nach nicht können, ist einschätzen, wie viel Aufwand es ist, eine Idee umzusetzen, die sie da haben.

Das hat sie geschafft, sie hat mit relativ wenig Aufwand da ihre Software zusammenbauen können, aber es ist ja einfach gut, wir gönnen es ihr nicht, aber vielleicht, das gebe ich offen zu, ich gönne es ihr nicht und das fuchst mich auch.

Die hatte jetzt wirklich noch nie selber was programmiert.

Doch die hatte was selbst vor mir, sie hat irgendwo zugegeben, dass sie irgendwann mal so einen 30 Tage Kurs Code in 30 Days hat sie wohl gemacht, also sie ist nicht, also sie kann irgendwas, also das ist nicht so, dass sie komplett jetzt keine Ahnung hätte, aber sie ist Product Managerin.

Was was übrigens war was vorhin auch als als thema hatten so versteht die maschine mich bei diesen ganzen sechs stunden hatte ich keine sekunde das gefühl dass chat gbt 4 mich falsch versteht. Das heißt also egal was ich an fehlermeldungen dann reingegeben habe oder achtung schon noch mal hier folgendes kommt mir komisch vor dieses dieser verständnis level auf der anderen seite. War immens. Ja wo ich also, wir hatten es letztens mit Siri, brauche ich gar nicht wieder anfangen, wo man keine 5 Sekunden verstanden wird, also dieses so nicht, ich dachte, dass man häufiger aneinander vorbeireden würde, dass ich irgendwas beschreibe und dann was ganz anderes kriege, das ist praktisch nicht passiert.