Tim Pritlove 0:58:11
Da bin ich ganz bei dir und das ist auch gerade bei mir eigentlich auch so das Ding.Bleiben wir doch vielleicht gleich mal bei dem Thema, weil ich ja jetzt hierauch quasi mir vorgenommen habe.Ja, was habe ich mir vorgenommen? Ich habe mir vorgenommen, hier Land und Leuteein bisschen kennenzulernen, ein bisschen Urlaub zu machen und ich habe mir,vorgenommen, viel zu programmieren.Also so mein Sport programmieren. Kennt ihr noch diese Aufkleber,die Leute da hinten so an die Autos dran machen?Mein Sport und dann Tennis oder sowas. Und dann So einen Aufkleber hätte ichauch gerne. Mein Sport und Laptop und Coding.Einfach so als Freizeitsport. Nicht als Beruf, sondern so als Sport.Und das finde ich tatsächlich in dem Zusammenhang wirklich sehr interessant.Da sollten wir vielleicht mal kurz auf Cursor zu sprechen kommen.Weil wie du auch, geht es mir auch. Und ich muss sagen, als du das erste Malankamst mit irgendwie, ich habe mir jetzt mal hier was zusammengebaut mit deinem Mastodon.Die Mastowall. Die Mastowall, so.Da war ich ja schon noch etwas skeptisch.Aber ich muss sagen, diese Skepsis habe ich mittlerweile komplett abgelegt undbehaupte das Gegenteil.Da sind wir einem...Einer Zeitenwende stehen wir gegenüber. Die findet jetzt gerade statt und zwar massiv.Und das ist genau das, was du gerade so beschrieben hast. Es ist auf einmaldiese, wie nennt man das,so eine Wand eingerissen worden zwischen Leuten, die quasi über Systeme kreativnachdenken, im Sinne von es müsste mal geben das und wäre es nicht toll,wenn wir dieses Tool hätten.Und den tatsächlichen Werkzeugen, die man benötigt, um so etwas auch umzusetzen,was ja in der Regel immer so ein bisschen Experten braucht, die dann aber vielleichtmit dieser Idee nicht so viel anfangen können oder die nicht so verstehen oderkeine Zeit haben oder zu teuer sind oder alles Mögliche.Und man stand dann immer so ein bisschen doof da. Jetzt kann man natürlich sagen,wieso streng dich doch ein bisschen an.Aber es ist halt so, man steckt ja oft mit seinem Kopf, mit seiner Tätigkeit,mit seinen Interessen, mit seiner Zeit in ganz anderen Kontexten und auch anderenLebenswelten und Erfahrungswelten.Aber genau da gebiert man ja dann diese Ideen und sagt so, man müsste das malautomatisieren, man müsste hier mal gucken, man müsste hier mal eine Auswertungmachen und so weiter und da bräuchte man ja eigentlich nur das und das.Das kann doch so schwer nicht sein.Und dann setzt man sich halt irgendwie ran und verbringt dann irgendwie erstmaldie ersten zwei Tage, in denen man auf irgendwelche komischen Syntax-Errorsschaut oder Konfigurationsdateien, einfach nur um sein Environment erstmal anden Start zu bekommen und dann bricht natürlich irgendwie die Zeit dann auch komplett weg.Und jetzt mit den AI-Tools,läuft das auf einmal ganz anders. Da gibt es diese Einstiegshürde mittlerweile fast gar nicht mehr.Also so ein Projekt anlegen und mal so grundsätzlich.Mittlerweile investiere ich einfach die Zeit in Nachdenken und schreibe danndas Konzept erstmal auf.Und wenn man dann irgendwie da diese Coding Agents draufwirft,dann wird es wirklich spannend.Also umso akkurater man beschreiben kann, was man eigentlich haben will, was es tun soll.Im Prinzip so ein White Paper, was früher mal keiner lesen wollte,das schreibt man da jetzt irgendwie rein und nimmt das sozusagen schon mal alsDiskussionsbasis und sagt so, hier, liest du das mal durch, das ist irgendwiedas, wie ich denke, wie das funktionieren sollte,jetzt helfen wir mal hier irgendwie Datenbank dafür aufzubauen und den ganzenanderen Kram zusammen zu bekommen und das funktioniert.Also das hat seine Grenzen und läuft man auch mal gegen eine Wand und da wirdauch ein bisschen zu viel durcheinander halluziniert, Aber das ist alles völlig egal.Also der Produktivitätsfortschritt ist real und ist so schnell und so massivund so krass, dass wenn man da mal jetzt ein bisschen Zeit investiert und sichquasi mit dieser Wesenslage,dieser Systeme ein bisschen beschäftigt und die Erfahrung mal jetzt ansammelt,um da überhaupt erstmal umzugehen,dann sind die Ergebnisse halt wirklich krass.Und Cursor, gut, das ist jetzt das, was ich halt viel verwendet habe und auchimmer noch verwende, mir kommt das irgendwie entgegen.Es gibt andere Systeme, die ja auch schon erwähnt wurden, wie Z oder natürlichhier Co-Pilot und so weiter. Das ist eigentlich ziemlich egal.Mittlerweile finden diese Systeme überall Anklang und so.Nur Cursor scheint mir irgendwie so das Beste zu sein, um mal so eben durchstartenzu können mit egal, was man will.Ja, und die Verbesserungen sind einfach täglich zu sehen.Und ich verlinke mal so einen Blog-Eintrag, der vielleicht jetzt Roddys Gedankenganz, ganz gut auch wiedergibt,weil das, sagen wir mal, für erfahrene Programmierer natürlich auch eine Gefahrdarstellt, so zu programmieren.Also während wir jetzt so, Ralf und ich, so oft nicht die Zeit hatten,jetzt viel kurz zu machen, weil wir uns irgendwie mit anderen Sachen beschäftigthaben, aber die ganze Zeit auf die Ideen gekommen sind für Systeme,die man mal so brauchen könnte,ist es natürlich jetzt für Programmierer, die so richtig im Thema sind,ihr System beherrschen, die Betriebssysteme beherrschen, die APIs kennen undsagen wir mal, auch wirklich so.Jedes Semikolon, was am falschen Platz ist, auch einfach sofort erkennen.Und wenn man dann mit AI-Tools arbeitet und sich da helfen lässt,dann läuft man natürlich Gefahr, diese Erfahrung, diese Hardcore Einschleifungund dieses krasse Training, was man ja im Prinzip hat, zu verlieren.Es ist so, als ob jetzt irgendwie ein 100-Meter-Sprinter irgendwie die ganzeZeit die Straßenbahn nimmt.Und da muss man natürlich aufpassen, dass man an der Stelle seine Fähigkeiten nicht verliert.Und dieser Blogpost hier von hier ist der Typ nochmal, weiß ich jetzt geradegar nicht, steht das hier irgendwo bestimmt.Auf jeden Fall beschreibt er, wie er halt irgendwie auch mit Cursor gearbeitethat und dann einfach schnell in so eine Situation reingekommen ist,wo er einfach dann nicht mehr verstanden hat, was der Code macht,nicht mehr diesen Lerneffekt, diesen Trainingseffekt hat und jetzt zwingt ersich halt regelmäßig dazu irgendwie so zumindest mal einen Tag die Woche dieTools nicht zu benutzen, sondernsich wirklich mal jede Fehlermeldung durchzulesen. Das ist super tempting.Du hast jetzt irgendein obskures Problem, irgendwas wird falsch berechnet,jetzt könntest du stundenlang da in diesen Code eintauchen, so hat man das normalerweise gemacht.Und jetzt gehst du einfach an den Körper und sagst so, ja, bau mal irgendwiejede dritte Zeile in ein Debug-Statement ein, schmeiß mal alle Variablen raus,dann läuft dieser Code einmal kurz nochmal durch, erzeugt irgendwie so ein fünfKilometer langes Text-File, dann pastest du das da wieder rein,ja, lies mal durch, sag mir mal was Falsches, so, oh ja, jetzt sehe ich schondas Problem, hier haben wir irgendwie ein Plus und kein Minus und deswegen funktioniertdas alles nicht und ich habe das jetzt mal korrigiert und dann so,ah ja, schön, dass wir darüber gesprochen haben, jetzt nehmen wir die ganzenDebug-Statements wieder raus und so,ja, okay, jetzt habt ihr alle wieder jetzt entfernt, jetzt alles wieder wievorher, aber jetzt berechnet er richtig, so, Turnaround-Zeit irgendwie 30 Sekunden.Und der Hasel läuft,aber es ist klar, dass man dann eben das verliert. Ich wiederum.Sehe es von der anderen Seite. Ich kriege dadurch dieses Training erst,weil ich halt immer wieder vor dieser Problematik stehe, so scheiß,was brauche ich jetzt hier für eine Architektur, was brauche ich jetzt hiereigentlich für Tools, was brauche ich für eine Library,wie setzt man denn das jetzt auf, wie muss denn meine Architektur sein,wie muss denn jetzt hier meine Module verteilen,brauche ich jetzt hier einen Supervisor oder nicht, all so eine Frage.Und jetzt habe ich die Möglichkeit, auch mal eben drei, vier,fünf verschiedene Ansätze auszuprobieren, um dann am Ende zu sehen,so, ah, okay, das ist jetzt wahrscheinlich der Winning Move.Und dann kann ich mir den Code danach anschauen und sagen, so,ah, okay, alles klar, so wird das jetzt hier gemacht. Also ich lerne dadurch,dass ich so die Möglichkeit habe, auszuprobieren.Ich schmeiße einfach ganz viel Farbe an die Wand und schaue,was am besten danach aussieht und kann dadurch halt auch einen Lerneffekt erzielen.Aber es ist natürlich eine Gefahr für Super-Experience-Programmierer,aber es erschließt das Programmieren einer Gruppe von Leuten,die vielleicht bisher bestenfalls Projektmanager gewesen sind.Und während die Projektmanager sonst viel Zeit damit verbracht haben,in irgendwelchen Meetings oder in irgendwelchen Whitepapers anderen Leuten zuerklären, was sie eigentlich haben wollen.Oder Projektmanager ist vielleicht gar nicht das richtige Wort.Wie nennt man sowas? Projektdesigner oder so? Systemdesigner?
Danke für den Nachruf Ralf.
Berliner:innen die David Lynchs Werk noch einmal auf der Leinwand erleben wollen, seinen die im Kino in den Hackeschen Höfen und im Filmrauschpalast Moabit angesetzten 35mm Screenings seiner Filme ans Herz gelegt. Läuft über die kommenden Monate. Für Tim gäbe es am 28.02. auch mal wieder Space Odyssee mit Overtüre von hervorragender Analogkopie.
LoRA ist eine parameter-effiziente Methode, ein bereits trainiertes Modell auf eine weitere Domäne anzupassen. Beim herkömmlichen „Fine-Tuning“ wird das ganze Modell auf neuen Daten weitertrainiert. Das ist bei LLMs aber mit erheblichen Kosten verbunden. Bei LoRA hingegen werden dem Modell einige wenige neue Schichten hinzugefügt, die nur eine sehr geringe Zahl an trainierbaren Parametern haben (low rank). So lassen sich LLMs (oder Modelle generell) mit vertretbarem Rechenaufwand an neue Daten anpassen. Außerdem sind diese neuen Schichten vom Modell trennbar, sodass man sie getrennt vom Grundmodell bereitstellen kann (wird daher auch als „Adapter“ bezeichnet).
Moin Tim & Gang. Zur Programierung per KI:
Ich mag ja deine KI-Bilder – auch wenn ich seit gut 42 Jahren Fotos mache (und auch gerne The Gimp nutze (einige so: lol)), aaaber: ein Vortrag auf dem 38c3, welcher sich (auch) mit dem Stromverbrauch beschäftigt – ich habe Diesen leider nicht wieder gefunden, macht mich auch stutzig. Wenn ich das richtig im Kopf habe sollen da bald 25% des Strombedarfs (Weltweit) auf KI-Systeme gehen!? Vielleicht gibt es zu viele Beiträge zu AI / KI?
Zudem habe ich das älteste Handwerk erlernt – welches eigentlich so gut wie tot ist – und da sehe ich den „Fuchs im Feuer“.
Kein Strom = kein Handwerk? Ich meine damit: wenn der KI-Anbieter in 10 Jahren seinen Service nicht mehr anbietet, sich Alle auf KI (Promts) verlassen, kein Mensch mehr Programieren kann?
Naajaa: https://media.ccc.de/v/38c3-mal-was-mit-holz#t=2617 ;)
Kleiner Spass iss auch mal. Aber, Leute – geht wählen! Ein Song dazu.
https://www.youtube.com/watch?v=weC_5mZD0Vs
Das DeepSeek 14B Modell, das Ralf auf seinem M2 Pro 16GB lokal ausprobiert hat, war vermutlich auf 4 Bit quantisiert (von ursprünglich 16 Bit). Meiner Erfahrung nach nimmt die Performance von LLMs bei 4 Bit stark ab, wobei auf 8 Bit quantisierte Modelle noch recht gut laufen.
An Tim: Die 14B (14 Milliarden) beziehen sich nicht auf „Tokens“, sondern ist die Anzahl der trainierbaren Parameter.
https://de.wikipedia.org/wiki/David_Lynch#Engagement_f%C3%BCr_Transzendentale_Meditation
Ich empfehle hierzu die Doku „David wants to fly“
Die Doku „David wants to fly“ ist zu dem Thema recht empfehlenswert.
Günstige Geiger Müller Zähler gibt es schon länger z.B. GMC-500.
Hängt bei mir am Raspberry Pi via USB und misst ständig.
Zum Thema David Lynch-Verehrung empfehle ich die Doku „David wants to Fly“ (https://de.m.wikipedia.org/wiki/David_Wants_to_Fly). Man sollte Werk und Autor halt immer trennen.
Unsere heutigen Programmiersprachen sind dafür gedacht, von Menschen verwendet zu werden. Dass eine AI (i.e. ein Computer) Code erzeugt, der dafür gedacht ist, dass ein Mensch einem Computer verständlich machen kann, was dieser tun soll, ist schon etwas komisch und ineffizient.
Das ergibt sich halt aus den aktuellen Umständen (vorhandene Trainingsdaten, Menschen müssen und wollen kontrollieren, was die AI da macht, etc.). Aber eigentlich würde ich doch erwarten, dass eine AI zukünftig direkt Software erzeugen kann, die die Zwischenschicht „Programmiersprache“, die nur für den Menschen wichtig ist, gar nicht braucht.
Danke für die interessante und unterhaltsame Sendung. Bei dem kurzen Gespräch über MCP ist mir etwas eingefallen. Es gab vor einem knappen Jahr ein Paper zu einer neuen RAG-Methode, die sich Graph RAG nennt (https://arxiv.org/abs/2404.16130). Dabei wird ein LLM benutzt, um einen Wissensgraph aus unstrukturierten Dokumenten zu erstellen. Hinterher werden auch wieder mit einem LLM Abfragen getätigt. LlamaIndex beschreibt auch eine sog. „Knowledge Graph Query Engine“ (https://docs.llamaindex.ai/en/stable/examples/query_engine/knowledge_graph_query_engine/). Es gibt also wohl schon einige Frameworks, um mit LLMs Informationen aus Graphen und entsprechenden Datenbanken zu extrahieren. Ob und wie sich das von MCP unterscheidet, kann ich nicht sagen, weil ich auch gerade noch dabei bin, mich da einzarbeiten. Ich finde den Ansatz aber sehr spannend, auch wenn er vielleicht eher für andere Anwendungsfälle als Bibliotheksdatenbanken geeignet ist, in denen Daten erstmal aus unstrukturierter in strukturierte Form gebracht werden müssen.
Ich glaube, dass bei Ralph wohl ein Missverständnis vorliegt was Codeberg ist und was das für eine Markdown Liste ist.
Codeberg ist Projekt von der Codeberg e.V. und stellt eine Alternative für GitHub ([Forgejo](https://forgejo.org)) und andere Projekte (wie zum Beispiel [Weblate](https://weblate.org/en/) für Übersetzungen), die grob zum Thema Software Entwicklung gehören, bereit. Siehe auch: https://docs.codeberg.org/getting-started/what-is-codeberg/
Das Repo was du da verlinkt hast ist von https://codeberg.org/cknoll ins Leben gerufen worden und hat erstmal gar nichts mit Codeberg zu tun, außer, dass es halt zufällig bei denen gehostet wird.
Danke @Ralf, Danke für diesen Nachruf auf David Lynch und für deine Filmauswahl! Das entspricht EXAKT den Pfad, den ich auch mit David Lnych gegangen bin: David Lynch hat mit „Dune“ meine Filmliebe konditioniert wie der erste Sex: faszinierend und verstörend. Ich war 13 und habe meiner Mutter in den Ohren gelegen, endlich einen Science-Fiction-Film im Kino sehen zu dürfen. Der 3. Teil von Star Wars blieb mir verwehrt, weil ich noch keine 12 war. Aber dann durfte ich in Dune und alles, was ich über Science Fiction dachte, wie es sich anfühlt, hat dieser Film über den Haufen geworfen. Ich weiß noch, wie die Wände im Kino aussahen, weil ich öfters wegen Verwirrung und Verstörung den Blick von der Leinwand abwenden musste. Mit „Blue Velvet“ und Frank bin ich in die Abgründe gestiegen und war lange in Isabella Rossellini verliebt. Mein erstes Serienerlebnis mit „Twin Peaks“ wurde in den letzten vier Jahrzehnten selten übertroffen. „Lost Highway“ sehe ich auch als einen Höhepunkt im künstlerischen Schaffen von David Lynch, in dem er sich Freiräume in der Kunstform erarbeitet hat wie kein anderer. Und das hat er mit der 3. Staffel von Twin Peaks noch einmal unter Beweis gestellt. Es gibt nichts Vergleichbares in dem Bereich, was ähnlich frei und Mindblowing und verstörend ist. Ganz großes Kino, ganz große Kunst!
Ich muss sagen, dass ich beim Abgesagt auf Deutschland lachen musste. Erst wird Stable Diffusion, das zu wesentlichen Teilen an der LMU München entwickelt wurde, gelobt und gepriesen und ne halbe Stunde später heißt es, dass in Deutschland nichts ginge und da keine Forschungsstrukturen und so sein.
Mistral wurde auch komplett ausgeblendet beim rant auf das schwächliche Europa.