Tim Pritlove 0:58:11
Da bin ich ganz bei dir und das ist auch gerade bei mir eigentlich auch so das Ding.Bleiben wir doch vielleicht gleich mal bei dem Thema, weil ich ja jetzt hierauch quasi mir vorgenommen habe.Ja, was habe ich mir vorgenommen? Ich habe mir vorgenommen, hier Land und Leuteein bisschen kennenzulernen, ein bisschen Urlaub zu machen und ich habe mir,vorgenommen, viel zu programmieren.Also so mein Sport programmieren. Kennt ihr noch diese Aufkleber,die Leute da hinten so an die Autos dran machen?Mein Sport und dann Tennis oder sowas. Und dann So einen Aufkleber hätte ichauch gerne. Mein Sport und Laptop und Coding.Einfach so als Freizeitsport. Nicht als Beruf, sondern so als Sport.Und das finde ich tatsächlich in dem Zusammenhang wirklich sehr interessant.Da sollten wir vielleicht mal kurz auf Cursor zu sprechen kommen.Weil wie du auch, geht es mir auch. Und ich muss sagen, als du das erste Malankamst mit irgendwie, ich habe mir jetzt mal hier was zusammengebaut mit deinem Mastodon.Die Mastowall. Die Mastowall, so.Da war ich ja schon noch etwas skeptisch.Aber ich muss sagen, diese Skepsis habe ich mittlerweile komplett abgelegt undbehaupte das Gegenteil.Da sind wir einem...Einer Zeitenwende stehen wir gegenüber. Die findet jetzt gerade statt und zwar massiv.Und das ist genau das, was du gerade so beschrieben hast. Es ist auf einmaldiese, wie nennt man das,so eine Wand eingerissen worden zwischen Leuten, die quasi über Systeme kreativnachdenken, im Sinne von es müsste mal geben das und wäre es nicht toll,wenn wir dieses Tool hätten.Und den tatsächlichen Werkzeugen, die man benötigt, um so etwas auch umzusetzen,was ja in der Regel immer so ein bisschen Experten braucht, die dann aber vielleichtmit dieser Idee nicht so viel anfangen können oder die nicht so verstehen oderkeine Zeit haben oder zu teuer sind oder alles Mögliche.Und man stand dann immer so ein bisschen doof da. Jetzt kann man natürlich sagen,wieso streng dich doch ein bisschen an.Aber es ist halt so, man steckt ja oft mit seinem Kopf, mit seiner Tätigkeit,mit seinen Interessen, mit seiner Zeit in ganz anderen Kontexten und auch anderenLebenswelten und Erfahrungswelten.Aber genau da gebiert man ja dann diese Ideen und sagt so, man müsste das malautomatisieren, man müsste hier mal gucken, man müsste hier mal eine Auswertungmachen und so weiter und da bräuchte man ja eigentlich nur das und das.Das kann doch so schwer nicht sein.Und dann setzt man sich halt irgendwie ran und verbringt dann irgendwie erstmaldie ersten zwei Tage, in denen man auf irgendwelche komischen Syntax-Errorsschaut oder Konfigurationsdateien, einfach nur um sein Environment erstmal anden Start zu bekommen und dann bricht natürlich irgendwie die Zeit dann auch komplett weg.Und jetzt mit den AI-Tools,läuft das auf einmal ganz anders. Da gibt es diese Einstiegshürde mittlerweile fast gar nicht mehr.Also so ein Projekt anlegen und mal so grundsätzlich.Mittlerweile investiere ich einfach die Zeit in Nachdenken und schreibe danndas Konzept erstmal auf.Und wenn man dann irgendwie da diese Coding Agents draufwirft,dann wird es wirklich spannend.Also umso akkurater man beschreiben kann, was man eigentlich haben will, was es tun soll.Im Prinzip so ein White Paper, was früher mal keiner lesen wollte,das schreibt man da jetzt irgendwie rein und nimmt das sozusagen schon mal alsDiskussionsbasis und sagt so, hier, liest du das mal durch, das ist irgendwiedas, wie ich denke, wie das funktionieren sollte,jetzt helfen wir mal hier irgendwie Datenbank dafür aufzubauen und den ganzenanderen Kram zusammen zu bekommen und das funktioniert.Also das hat seine Grenzen und läuft man auch mal gegen eine Wand und da wirdauch ein bisschen zu viel durcheinander halluziniert, Aber das ist alles völlig egal.Also der Produktivitätsfortschritt ist real und ist so schnell und so massivund so krass, dass wenn man da mal jetzt ein bisschen Zeit investiert und sichquasi mit dieser Wesenslage,dieser Systeme ein bisschen beschäftigt und die Erfahrung mal jetzt ansammelt,um da überhaupt erstmal umzugehen,dann sind die Ergebnisse halt wirklich krass.Und Cursor, gut, das ist jetzt das, was ich halt viel verwendet habe und auchimmer noch verwende, mir kommt das irgendwie entgegen.Es gibt andere Systeme, die ja auch schon erwähnt wurden, wie Z oder natürlichhier Co-Pilot und so weiter. Das ist eigentlich ziemlich egal.Mittlerweile finden diese Systeme überall Anklang und so.Nur Cursor scheint mir irgendwie so das Beste zu sein, um mal so eben durchstartenzu können mit egal, was man will.Ja, und die Verbesserungen sind einfach täglich zu sehen.Und ich verlinke mal so einen Blog-Eintrag, der vielleicht jetzt Roddys Gedankenganz, ganz gut auch wiedergibt,weil das, sagen wir mal, für erfahrene Programmierer natürlich auch eine Gefahrdarstellt, so zu programmieren.Also während wir jetzt so, Ralf und ich, so oft nicht die Zeit hatten,jetzt viel kurz zu machen, weil wir uns irgendwie mit anderen Sachen beschäftigthaben, aber die ganze Zeit auf die Ideen gekommen sind für Systeme,die man mal so brauchen könnte,ist es natürlich jetzt für Programmierer, die so richtig im Thema sind,ihr System beherrschen, die Betriebssysteme beherrschen, die APIs kennen undsagen wir mal, auch wirklich so.Jedes Semikolon, was am falschen Platz ist, auch einfach sofort erkennen.Und wenn man dann mit AI-Tools arbeitet und sich da helfen lässt,dann läuft man natürlich Gefahr, diese Erfahrung, diese Hardcore Einschleifungund dieses krasse Training, was man ja im Prinzip hat, zu verlieren.Es ist so, als ob jetzt irgendwie ein 100-Meter-Sprinter irgendwie die ganzeZeit die Straßenbahn nimmt.Und da muss man natürlich aufpassen, dass man an der Stelle seine Fähigkeiten nicht verliert.Und dieser Blogpost hier von hier ist der Typ nochmal, weiß ich jetzt geradegar nicht, steht das hier irgendwo bestimmt.Auf jeden Fall beschreibt er, wie er halt irgendwie auch mit Cursor gearbeitethat und dann einfach schnell in so eine Situation reingekommen ist,wo er einfach dann nicht mehr verstanden hat, was der Code macht,nicht mehr diesen Lerneffekt, diesen Trainingseffekt hat und jetzt zwingt ersich halt regelmäßig dazu irgendwie so zumindest mal einen Tag die Woche dieTools nicht zu benutzen, sondernsich wirklich mal jede Fehlermeldung durchzulesen. Das ist super tempting.Du hast jetzt irgendein obskures Problem, irgendwas wird falsch berechnet,jetzt könntest du stundenlang da in diesen Code eintauchen, so hat man das normalerweise gemacht.Und jetzt gehst du einfach an den Körper und sagst so, ja, bau mal irgendwiejede dritte Zeile in ein Debug-Statement ein, schmeiß mal alle Variablen raus,dann läuft dieser Code einmal kurz nochmal durch, erzeugt irgendwie so ein fünfKilometer langes Text-File, dann pastest du das da wieder rein,ja, lies mal durch, sag mir mal was Falsches, so, oh ja, jetzt sehe ich schondas Problem, hier haben wir irgendwie ein Plus und kein Minus und deswegen funktioniertdas alles nicht und ich habe das jetzt mal korrigiert und dann so,ah ja, schön, dass wir darüber gesprochen haben, jetzt nehmen wir die ganzenDebug-Statements wieder raus und so,ja, okay, jetzt habt ihr alle wieder jetzt entfernt, jetzt alles wieder wievorher, aber jetzt berechnet er richtig, so, Turnaround-Zeit irgendwie 30 Sekunden.Und der Hasel läuft,aber es ist klar, dass man dann eben das verliert. Ich wiederum.Sehe es von der anderen Seite. Ich kriege dadurch dieses Training erst,weil ich halt immer wieder vor dieser Problematik stehe, so scheiß,was brauche ich jetzt hier für eine Architektur, was brauche ich jetzt hiereigentlich für Tools, was brauche ich für eine Library,wie setzt man denn das jetzt auf, wie muss denn meine Architektur sein,wie muss denn jetzt hier meine Module verteilen,brauche ich jetzt hier einen Supervisor oder nicht, all so eine Frage.Und jetzt habe ich die Möglichkeit, auch mal eben drei, vier,fünf verschiedene Ansätze auszuprobieren, um dann am Ende zu sehen,so, ah, okay, das ist jetzt wahrscheinlich der Winning Move.Und dann kann ich mir den Code danach anschauen und sagen, so,ah, okay, alles klar, so wird das jetzt hier gemacht. Also ich lerne dadurch,dass ich so die Möglichkeit habe, auszuprobieren.Ich schmeiße einfach ganz viel Farbe an die Wand und schaue,was am besten danach aussieht und kann dadurch halt auch einen Lerneffekt erzielen.Aber es ist natürlich eine Gefahr für Super-Experience-Programmierer,aber es erschließt das Programmieren einer Gruppe von Leuten,die vielleicht bisher bestenfalls Projektmanager gewesen sind.Und während die Projektmanager sonst viel Zeit damit verbracht haben,in irgendwelchen Meetings oder in irgendwelchen Whitepapers anderen Leuten zuerklären, was sie eigentlich haben wollen.Oder Projektmanager ist vielleicht gar nicht das richtige Wort.Wie nennt man sowas? Projektdesigner oder so? Systemdesigner?
Danke für den Nachruf Ralf.
Berliner:innen die David Lynchs Werk noch einmal auf der Leinwand erleben wollen, seinen die im Kino in den Hackeschen Höfen und im Filmrauschpalast Moabit angesetzten 35mm Screenings seiner Filme ans Herz gelegt. Läuft über die kommenden Monate. Für Tim gäbe es am 28.02. auch mal wieder Space Odyssee mit Overtüre von hervorragender Analogkopie.
LoRA ist eine parameter-effiziente Methode, ein bereits trainiertes Modell auf eine weitere Domäne anzupassen. Beim herkömmlichen „Fine-Tuning“ wird das ganze Modell auf neuen Daten weitertrainiert. Das ist bei LLMs aber mit erheblichen Kosten verbunden. Bei LoRA hingegen werden dem Modell einige wenige neue Schichten hinzugefügt, die nur eine sehr geringe Zahl an trainierbaren Parametern haben (low rank). So lassen sich LLMs (oder Modelle generell) mit vertretbarem Rechenaufwand an neue Daten anpassen. Außerdem sind diese neuen Schichten vom Modell trennbar, sodass man sie getrennt vom Grundmodell bereitstellen kann (wird daher auch als „Adapter“ bezeichnet).