Folge 104: Frontend und Rohdaten

00:00:13: Herzlich willkommen in wohl innovativsten Schuppen zu unserem Podcast Embedded Vision aus der Gartenhütte.

00:00:18: Heute wollen wir uns mal den Thema annähern, allgemein Frontend, Rohdaten... Aber zunächst möchte natürlich meinen Co-Hos begrüßen.

00:00:26: Hallo Manuel!

00:00:27: Hallo Stefan schön auf die Woche wieder dabei zu sein.

00:00:30: Ja Wir haben ja in den letzten Folgen bisschen über diese ganze Thematik Demonstrator Prototyping philosophiert.

00:00:37: ein bisschen sind dann auch darauf gekommen, dass die Probleme eigentlich teilweise nicht nur... im Steuergerät oder in der Thematik oder im SOC passieren, wo man dann vielleicht auch mit Software die Dinge lösen kann.

00:00:50: Mit einer KI, wie auch immer.

00:00:53: Sondern dass sie natürlich einfach auch schon vor der Schnittstelle irgendwo passieren können.

00:00:57: was vielleicht die richtige Auswahl vom Sensor von der Optik, vom ganzen Setup angeht, von den Übertragungsschnittstellen und von den Datenraten usw.

00:01:08: Da wollte man ein bisschen heute drüber quatschen.

00:01:10: Genau!

00:01:11: Der steht ja am Anfang eines Projektes erst eine Weine-Datenblatt-Analyse.

00:01:14: Da schaut sich jeder mal an so, mit welchem Sensor, mit welche Optik könnte ich denn mein Problem, meinem Projekt, meinen Produkt dann designen?

00:01:23: und dann ist oft der nächste Schritt dass ich sage okay und jetzt hole ich mir mal einen Evalboard von einem Sensorhersteller mit einer gewissen Optik drauf Da kann man erst Erkenntnisse kriegen.

00:01:36: Man kriegt auch ganz oft, also eigentlich immer die Sensorhersteller, die liefern auch eine Willverarbeitung mit.

00:01:42: Aber wir wollen uns ja heute mal ein bisschen darauf fokussieren was wirklich diese Frontend angeht.

00:01:46: Also jetzt mal quasi diese ISP, die da auch mitkommt, mal ausgeklammert.

00:01:51: Also habe ich quasi einen E-Wahlboard wo ich quasi den Sensor hab und ich kriege eine Konfiguration vom Sensor Hersteller.

00:01:58: damit kann erstmal glücklich sein.

00:02:00: Jetzt ist aber der nächste Schritt.

00:02:02: wenn ich jetzt in mein Feld gehe, in meinen Use Case und dort möchte ich das Ganze mal durchtesten.

00:02:09: Dann ist es oft so diese Sensoren egal von welchen Hersteller die haben hunderte und tausende Register können quasi sehr individuell konfiguriert werden Und es ist nicht so dass es ein bisschen anders ist sondern wirklich sehr gravierende Änderungen haben kann Egal ob das jetzt ganz easy Pixel Tiefe ist wie viel Daten dahinter steckt.

00:02:30: Es kann aber auch wirklich ganz massiv Änderungen haben, wie der ganze Sensor performt.

00:02:35: Und da fängt es an!

00:02:37: Jetzt habe ich quasi einen E-Wahlboard von Sensorstelle A und B da liegen... ...und jetzt soll ich die vergleichen.

00:02:42: Die haben komplett unterschiedliche Konfigurationen.

00:02:45: Okay, aber wie mache ich denn da weiter?

00:02:48: Wie bringe ich das Ganze zusammen?

00:02:51: Da ist es dann hilfreich wenn man eine Plattform hat wo man das ein bisschen vereint.... verschiedene Sensorkonfigurationen miteinander vergleicht.

00:03:00: Denn es ist am ende doch so, dass diese Sensorkonfiguration selbst wenn ich denselben Sensor mehrfach habe und verschiedene Konfiguratione darauf spiel das er wirklich auch große Unterschiede in der Bildqualität haben werde... ...und das ganze mal durchzuspielen ist ein Stück Arbeit!

00:03:19: Das ist denke ich jeden klar aber es lohnt sich am Ende auch.

00:03:22: also Beispiel mal wird es aus Nähkästen gesprochen.

00:03:26: Wir haben quasi von Kunden eine Kamera bekommen, eine Konfiguration bekommen und bringt mal an Start.

00:03:32: dann haben wir das an Start gebracht.

00:03:33: also das schaut aber jetzt nicht so aus wie wir das normalerweise gewohnt sind von dem Sensorhersteller.

00:03:39: Und da haben wir mit den Kunden gesprochen gesagt ja die Konfiguration ist dir irgendwie für euch speziell gemacht oder was steckt dahinter?

00:03:44: Nein, nein die haben wir einfach irgendwie mal bekommen und auch nicht vom Sensorhersteller so irgendwo her.

00:03:50: ist die gekommen, konnte keiner uns direkt sagen.

00:03:52: Und dann sind wir im Gespräch mit dem Sensor Hersteller gegangen und haben gesagt ja Mensch wie haben da die und die Kamera das Objektiv?

00:03:58: Den Use Case?

00:03:59: können wir uns dann ein bisschen unterstützen.

00:04:01: Dann haben wir gesagt Ja klar kein Thema und es ist erst Schöne.

00:04:03: Die Solectix, wir haben ja so viele kamerabasierte Projekte dass wir auch mit allen Kameraherstellen ein gutes Verhältnis haben, einen kurzen Draht haben.

00:04:11: Da haben sie uns eine ordentliche Sensorkonfiguration zur Verfügung gestellt ... die vom Kunden als, naja, ist so toll.

00:04:20: Ist es nicht quasi schon versufen war?

00:04:23: Mit einer neuen Sensor-Config war auf einmal so... Oh ja, so schlecht ist hier gar nichts!

00:04:27: Und das sind so ein bisschen die Punkte, die man rausarbeiten muss und an der Stelle braucht man einfach auch einen flexiblen System würde ich sagen, wo wir darauf aufsetzen können.

00:04:37: Genau also ich sage mal Es geht natürlich drum wie du sagst teilweise auch Sensoren irgendwie objektiv miteinander vergleichen zu können.

00:04:45: Da ist es wichtig, dass man eigentlich jeden Sensor in seinem Normalzustand bringt, das man nicht wirklich Äpfel mitbrennen.

00:04:52: vergleicht und dass man natürlich in so einer Phase auch herausarbeiten kann, wie performen dann eigentlich Sensoren wenn es wirklich in die Kroner-Cases reingeht.

00:05:01: Also wenn sie dann völlig überbelichtet sind reagieren die normal?

00:05:04: oder gibt's da irgendwelche Artefakte?

00:05:06: Oder wie kann ich die wirklich für absolute Lowlight-Szenarien tunen?

00:05:12: oder was bringe ich daraus um da wirklich einen guten Vergleich haben zu können mit den passenden Objektiven, die eben dazu gehören dass ich wirklich dieses komplette Setup auch im ...geriff habe also dass ich wirklich weiß was ich tu.

00:05:29: da hilft mir eben nichts wenn ich irgendwann sensor an irgendeine... ...Blackbox-Kiste anschließt wie du sagst und vielleicht auch gar nicht weiß welche Sensorkonfiguration werden jetzt da grad rüber gespiegelt

00:05:39: oder

00:05:39: geschrieben.

00:05:40: Oder ist das schon viel getuned worden?

00:05:43: Das Bild, was vermeintlich schlecht ist hat dessen Hintergrund.

00:05:46: will man das genau in der Situation vielleicht extra so haben.

00:05:50: Wenn ich aber so die letzten Jahre zurückschaue, dann hatten wir ja auch die Fälle wo man eigentlich teilweise eine Sensor-Konfiguration hatte.

00:05:57: Wo man sagt ne also damit wird man die meisten Themen wirklich erschlagen, damit gehen wir ins Feld und so weiter.

00:06:04: Auf einmal hat man festgestellt Mensch wir haben Frame Drops im kompletten System.

00:06:08: Also da passt irgendwas nicht.

00:06:10: Das war wirklich visuell erkennbar bis wir an dahin kommen sind.

00:06:14: Wo wir dann gesehen haben naja für die Konfiguration jetzt da gewählt wurde, hat die Schnittstelle.

00:06:22: Also quasi das war so eine typische GMSL-basierte Satis Verbindung einfach vielleicht insgesamt.

00:06:30: die Brutodatenrate war okay aber eben die Peakdatenrate nicht.

00:06:34: und das sind natürlich auch Themen die man oftmals bei einer Datenplatte Recherche so gar nicht direkt mit bekommt, weil einmal kann es natürlich die Schnittstelle sein.

00:06:44: Das kann natürlich am Prozessor auch das CSI Interface sein oder die interne Verarbeitungsleistung dass man da irgendwelche Limits hat und da gibt's natürlich auch nicht nur den einen Übertragungsstandard.

00:06:57: also natürlich manchmal die Frage manchmal muss man dann aus Weil man, weil es Constrains gibt mit einer Bidrate, mit einer Übertragung lieben.

00:07:06: Weil man die nicht ändern kann oder wenn man natürlich ein neues System konzipiert das man sich wirklich aussuchen kann.

00:07:11: Nämlich in GMSL-Link, nämlich in FPD-Link nimm ich ASA Motion Link was auch immer je nachdem welche Länge ich brauche, welche Peakdaten erraten Ich brauch und das ist natürlich auch wichtig.

00:07:21: wir haben in den letzten Folgen drüber gesprochen Was ist eigentlich ein Prototyp-System?

00:07:27: So ein System aus und das ist natürlich auch enorm wichtig, hier ein bisschen mit spielen zu können aber auch dann entscheiden zu können welche Schnittstelle ist hier wichtig.

00:07:35: So ist es!

00:07:36: Und dann sollte ich natürlich meine ganzen Rotarten aufnehmen.

00:07:40: Das heißt wirklich alles was über den Link kommt genau die Sachen die du gerade gesagt hast.

00:07:45: gibt's irgendwelche Probleme auf der Schnittsstelle helfe mir natürlich erst mal nix wenn ich nur die roh daten vom bild habe sondern quasi was dann hilft sind quasi die kompletten roh daten über die schnitzstelle als solches.

00:07:57: das heißt ich hab meine csi hätte ich habe eine empfehle data line auch mit aufgenommen.

00:08:02: also das ist solche sachen, die man schnell vergisst vielleicht nicht böse gemeint so einfach im täglichem doing fällt es dann hinten runter aber die essentiell sind, wenn es dann darum geht das ganze dann auch weiterzuführen.

00:08:15: Wir haben ja gesagt wir wollen heute die ISP mal aus dem Vorlassen

00:08:18: bis

00:08:19: zu den Rohdaten... ...die ich vor meinem Sensor habe.

00:08:22: Ein Objektiv-Sensor Übertragungsstrecke und jetzt ist sie in der ECU Und da brauche ich ein flexibles System.

00:08:29: oder sollte ich ein Flexiblesystem haben dass mir genau die Sachen wie du sagst unterschiedliche Interfaces, unterschiedliche Sensorkonfigurationen und dann aber auch ein Werkzeug das mir sagt habe ich alles, sind alle Daten da?

00:08:41: Sind die Daten alle korrekt?

00:08:43: Habe ich nicht nur meine Bilder sondern alles um die Bilder außen rum auch noch da.

00:08:48: Genau

00:08:49: und da haben wir natürlich mit unserer Profrem eine schöne Experimentierplattform weil sie genau das macht.

00:08:55: Die nimmt alle Daten auf.

00:08:57: über die Schnittstelle kommen also die Bilddaten die Metadaten auch irgendwelche Fehler kurz wirklich alles was ich brauche und ich kann gleichzeitig sämtliche Schnittstellen testen.

00:09:09: Ich kann da wirklich durchtauschen, ich kann da verschiedenste Erfahrungen sammeln und kann es so verstehen.

00:09:16: manchmal ist das gar nicht unbedingt so ein Produkt sondern einfach auch ein Enabler oder für so einen Prototypen System Dinge erfahren zu können, analysieren zu können.

00:09:27: Also es ist viel mehr als ein reiner Frame-Grabber.

00:09:30: Das ist wirklich für uns bei ganz vielen Projekten so ein elementarer Baustein.

00:09:34: aber wie du sagst ein anderes Thema natürlich elementar.

00:09:37: wir wollten ausklammern oder quasi so wie wichtig dann die Rohdaten sind zur Überleitung was man da draus analysieren kann wenn's eben darum geht daraus erste Erkenntnisse zu machen die ISP zu dimensionieren und das ein ganz großes Feld.

00:09:54: Aber ich würde sagen auch dieses große Feld, das wird mir in einer anderen Podcast-Folge beackern!

00:10:00: In dem Sinne dann wenn ich auf die Uhr schaue, dann sind wir wieder am Ende unserer heutigen Folge angekommen.

00:10:05: wie immer am Ende jeder Folge der Hinweis an alle Zuhörerinnen und Zuhöhrer.

00:10:09: die E-Mail Podcast at selectrex.de gibt's auch diese Woche, da kann man sich sehr gerne hinwenden, gerne Fragen, Anregungen hinschreiben und wir gehen natürlich in einen der nächsten Folgen sehr gern darauf ein!

00:10:21: Und

00:10:21: ansonsten wünsch mal wieder ne schöne Zeit, ne schöne Woche bis zum nächsten Mal, tschüss und

00:10:24: ciao.