Folge 105: Von Rohdaten zu Erkenntnis

00:00:13: Herzlich willkommen in wohl innovativsten Schuppen zu unserer Podcast Embedded Vision aus der Gartenhütte.

00:00:18: Ja, heute wollten wir uns mal den Thema annehmen von Rohdaten zur Erkenntnis quasi also wie aus Sehen verstehen wird wenn man deswegen abstrahiert.

00:00:28: Aber zunächst möchte ich natürlich meinen Co-Hos begrüßen.

00:00:30: Hallo Manuel!

00:00:31: Hallo Stefan, schön auf die Woche wieder dabei zu sein.

00:00:33: Ja, schön mit dir über dieses Thema quatschen zu können.

00:00:36: in den letzten Folgen haben wir ja ganz viel oder über Demonstraten gesprochen, Prototyping Sprachen, über das Thema gesprochen was eigentlich vielleicht auch im Frontend passieren kann.

00:00:46: aber jetzt wollen wir eigentlich ein bisschen dann weiter gucken oder?

00:00:50: Was man wirklich vielleicht aus den Rohdaten Ja rauslesen kann, wir haben ja schon öfter auch über Bildqualität gesprochen.

00:00:57: Aber ich glaube heute wollte man auch mal ein bisschen da im kleinen Schlenker machen oder... ...Bildqualität, ISP was das so wichtig ist um dann wirklich ja irgendwann aus den Daten was analysieren zu können oder was detektieren zu können egal ob es dann die KI ist oder klassische Bildargument.

00:01:15: Genau, du bist jetzt ja schon quasi am Ende der Aufbereitung angekommen bei der KI.

00:01:20: Also aus den Rohdaten wie so schön ist die Rohdate müssen ein Stück weit erst mal angeschaut werden, analysiert werden ob sie soweit passen denn was am ende in den Rotarten nicht enthalten ist an Informationen wird mir nichts mehr danach auch wieder herstellen können im guten Sinne Und deswegen hatten wir das letzte Mal ein bisschen darüber gesprochen, was bedeutet das alles?

00:01:42: Sensorfront bis zu den Rotaten.

00:01:44: Jetzt nehme ich die Rotaten und muss damit etwas tun um dann danach eine KI oder einen anderen Bildverarbeitungsalgorithmus füttern zu können.

00:01:54: Die Algorithmen, egal ob jetzt Neutronale Netze oder was anderes sind in der Regel immer so aufgebaut dass sie quasi aufaufbereitete Daten... etwas erkennen.

00:02:07: und das heißt dazwischen ist eine gap die sogenannte isp.

00:02:10: Ist es dann wieder zwischen sitzt, die aus diesen so daten dann irgendwelche farbbilder dann auch macht?

00:02:16: Und die muss ich da natürlich passend konfigurieren und dass Es natürlich ein thema das auch gar nicht so ohne ist.

00:02:23: denn ich kann wie bei vielen anderen sachen erst mal eine datenblattanalyse machen sagen okay brauche ich einen ton webbing ja brauch ich in die ballen Genau.

00:02:33: Und dann geht es aber in die Details rein, was bedeutet das denn alles?

00:02:36: Was bedeutet das für meinen Sensor?

00:02:37: Für Death Front und dafür dass ich mich entschieden habe... ...für meine Rohdaten, die am Ende vom Tag auch da sind.

00:02:43: Welche Algorithmen brauche ich dabei also zum Beispiel...?

00:02:47: Ich hab jetzt mein Sensor in der letzten Woche mal ein bisschen tiefer gelegt, habe geschaut wie ist die Dynamik, passt es in meinen Newcase rein, passen die Coinercase ist quasi nichts überbelichtet

00:02:58: jemals?!

00:02:59: dann brauche ich keine AEG-Steuerung, also Exposure und Gain Control.

00:03:04: Merke ich es gibt Fälle wo selbst mit dem HTS Sensor sind Dinge überblichtet... Dann brauch' ich das unbedingt!

00:03:11: Und so muss ich mich nach und nach durchhangeln und schauen was brauche.

00:03:18: Was hab ich denn an Pixel tiefer?

00:03:20: Also wie breit muss denn mein Bus sein, an Daten das mir das ganze durch die Pipeline durchjagt.

00:03:25: Das sind alles so Sachen, die muss man sich einmal anschauen.

00:03:28: wenn ich in der GPU bin, fetten Rechenhabende Riesen-GPU dann ist mir die Brustbreite mehr oder weniger egal.

00:03:33: also in Anführungsrichtung aber da kann ich ordentlich mehr reinstecken als der Sensor mir liefern kann.

00:03:39: Bin jetzt aber im Edge Device und das sind einfach unsere Kunden.

00:03:43: Dann muss ich schauen passt denn diese Brust Breite auch zu dem was der Senser mir liefert?

00:03:47: Genau, also manchmal dimensionieren wir natürlich ISP.

00:03:51: Wie du sagst dann vom Scratch?

00:03:52: Manchmal nehmen wir natürlich auch ISPs die dann fest vertratet sind konfigurierbar sind oder wie auch immer da muss man sie natürlich auch analysieren.

00:04:00: passen die denn wirklich?

00:04:01: haben die die erforderlichen Features der vorderlichem Busbreiten die Datenraten?

00:04:06: auch da entdecken wir immer noch Themen wo man dann sehen Ocha Balla wenn jetzt genau den Modus fährt werden wir an dem Datenbus hier Datentransfer in den Speicher rein oder wie auch immer ein ganz massives Bottleneck haben, wo man dann sieht okay laut Herstellerangaben ist schon alles möglich.

00:04:25: Aber ich will ja jetzt auch alles verwenden und gleichzeitig habe ich zu wenig Speicher und das werde ich nicht einfach lösen.

00:04:35: die eine Dimension, dann kann es ja aber auch sein dass ich vielleicht sehe naja ich habe hier irgendwelche Schattierungen oder Abschattungen oder wie auch immer.

00:04:44: Ich muss vielleicht brauche eine Lensshading correct oder ich brauche andere Themen im Bereich Kalibrierung, ne?

00:04:50: Irgendeine geometrische Entzerrung oder wie auf immer weil wie du gesagt hast ich vielleicht eine KI verwenden will die auf ein ganz normales Bild und nicht Bild, was quasi durch einen Fischaugenobjektiv aufgenommen wurde, analysiert und da gibt es ja auch verschiedene Aspekte die man hat.

00:05:10: berücksichtigen muss, was Kaliberierung angeht.

00:05:14: Was natürlich auch so den Pipelineaufbau angeht also dieses ganze Pre-Processing diese ganze ISP Thematik Regelschleifen oder wie auch immer es gibt.

00:05:25: natürlich muss man auch wirklich fair sein verschiedene Sachen die haben keinen Einfluss auf eine KI.

00:05:31: Die kann ich weglassen, weil ich mittlerweile auch KIs sehr flexibel auf Bilder trainieren kann.

00:05:37: Wo ein Mensch oder wenn man sich die Bilder anschauen würde und nur ja das ist jetzt aber hier nicht besonders schön.

00:05:42: Das Grün ist falsch, die Farbechttheite geht komplett flöten Aber ich kann natürlich eine KI schon darauf anleihen.

00:05:49: Es gibt natürlich aber auch Themen wo es einfach erforderlich ist irgendwie im Vorfeld mehr Richtung Kalibrierung vielleicht auch zu investieren Irgendwie meine Pipeline Ja, wie du schon sagst oder mir da mehr Gedanken zu machen.

00:06:04: Wie ist die aufgebaut?

00:06:05: Welche Punkte brauche ich insgesamt?

00:06:08: Wie will ich das aufbereiten?

00:06:10: Habe ich vielleicht sowieso nicht nur den Maschinenwischenpfad sondern einen Human-Wischen Pfad weil ich irgendwo ein Bild, eine Börderview oder was auch immer sowieso darstellen will.

00:06:20: also da gibt es ja ganz viel unterschiedlichste Themen und ich sage mal deswegen braucht man auf der einen Seite, haben wir in den letzten Folgen ja schon bequatscht zum einen natürlichen guten Prototyp.

00:06:33: Der das alles auch mindestens antiesert oder anspricht und dann natürlich bei uns geht es ja heute vor allem auch wegen drum in die vielleicht schon Serie zu kommen oder zumindest die Überlegungen zu machen was brauche ich denn da alles dafür?

00:06:48: Was muss ich mit den Rotdaten machen um sie wirklich nach KI übergeben zu können, um dann wirklich Dinge analysieren zu können.

00:06:57: Wobei das auch nicht immer nur eine KI sein muss.

00:06:59: Das kann auch ganz klassische Bildalgorithmen sein.

00:07:02: Da hat man ja auch schon mal drüber gesprochen dass es da auch genügend Anwendungsfälle gibt wo einfach eine klassische Algorithmus immer noch die Nase vorn hat.

00:07:12: aber da gibt's eben verschiedenste Themen um wirklich aus diesem Punkt sehen und verstehen zu machen.

00:07:22: und da haben wir natürlich auch mit Xyve so ein Werkzeug in unserem Werkzeugkasten quasi mit drin, mit dem er genau solche Sachen sehr schnell und einfach machen kann.

00:07:32: Genau an der Stelle, wie du schon sagst, dann nutzen wir das eben... Du hast jetzt auch schon die Brücke zur Prototypenfolge geschlagen also wer die verpasst hat gerne nochmal nachhören was wir da besprochen hatten.

00:07:43: aber im Prinzip ist es genauso dass wie du sagst in Xyves bauen wir das alles, modellieren wird es alles.

00:07:49: Haben da quasi so ein Digital Twin mit optischen Bezug an der Stelle und deswegen kann man dann am Ende vom Tag auch sagen okay ich weiß genau welche Algorithmen ich brauche von der Funktionalität.

00:08:01: jetzt schaue ich mir meine ISP in dem SOC an.

00:08:04: funktioniert das auch?

00:08:05: und dann weiß ich nämlich auch welche Datenrate habe ich zur Verfügung?

00:08:09: was muss alles drin sein?

00:08:11: Genau wie du sagst im Prinzip was muss sich alles tun um dahin zu kommen, dass ein Alkoholismus wer auch immer da hinter ist das ganze zu verstehen.

00:08:20: Und bestenfalls kann ich natürlich dann für einen SOC egal mal für welchen Hersteller man sich entscheidet vielleicht auch aus des ja schon angesprochen die Konfiguration ableiten aus meinem Scythe System, dass ich dann genau weiß okay ich brauche wirklich neunzig Prozent der ISP-Blöcke die da drin sind, die werden so konfiguriert.

00:08:37: Ich nutze irgendeinen Temporal Denoise, ich nutze eine Entzerrung und ich mache dies und das einen guten Start für meine Serienentwicklung, kann vielleicht auch schon ins Datensammeln gehen wenn ich eine KI habe.

00:08:51: Weil ich sage okay die Bilder die jetzt aus meinem Gseifsystem rauskommen werden dementsprechend was mein SOC dann später auch prozessiert.

00:08:58: Ich

00:08:59: gehe jetzt schon mal in die Datensamlungsstrategie oder in dieses Teilprojekt rein fang schon an Bilder zu anotieren kann vielleicht schon erste Iterationen machen ... um da einfach nicht alles nur sequenziell machen zu können, sondern jetzt einfach auch schon verschiedenste Tracks parallel zu starten.

00:09:17: Dass ich quasi die KI-Jungs dann auch schon mal los schicken kann!

00:09:21: Und damit kann ich ja mein ganzes Projekt quasi verkürzen an verschiedenen Beziehungsweise wenn ich es in der gleichen Länge lasse... ...einfach einen gewissen Puffer noch haben.

00:09:29: Risiko, Reduzierung.

00:09:31: und genau so wie du sagst, haben wir das in der Vergangenheit schon ein paar Mal exerziert

00:09:35: um natürlich dann in eine Serie zu kommen.

00:09:38: und auch wenn man jetzt da so ein gutes System hat, gute Sachen beleuchtet.

00:09:44: ja verschiedenste Gedanken gemacht hat, steht natürlich jetzt die eigentliche Serienentwicklung noch bevor.

00:09:50: Genau aber das klingt wie ein Thema dass wir in einer weiteren Folge besprechen können denn wenn ich jetzt wieder auf die Uhr schaue dann sehe ich dass wir am Ende der heutigen Folge angekommen sind.

00:10:01: Die email podcast at selectlex.de gibt es auch diese Woche wieder.

00:10:05: da kann sich gerne jeder hinwenden Fragen Anregungen schreiben und wir gehen natürlich in einen der nächsten Folgen sehr gern darauf ein.

00:10:13: wünsche mal wieder eine schöne Zeit, ne schöne Woche bis zum nächsten Mal.

00:10:16: Tschüss und ciao!