Visual tracking and trajectory optimization for dielectrophoretic manipulation

Tato práce se zabývá dvěma stěžejními tématy související s mikromanipulací pomocí dielektroforézy (DEP): vizuálním sledování objektů v reálném čase a časovou optimalizací trajektorií. Vizuální sledování objektů je kritickou součástí systému manipulace, jelikož potřebujeme znát polohu manipulovaného objektu pro zpětnovazební řízení. Pro tuto úlohu byly použity dvě známé metody z oboru zpracování obrazu v kombinaci s jednoduchým sledovacím algoritmem. Tyto metody se ukázaly jako nedostačující, a proto byl využit sledovací algoritmus založený na konvolučních neuronových sítích. Původní sledovací algoritmus byl upraven na základně zjednodušujících podmínek tak, aby dokázal sledovat až čtyři objekty ve 30 snímcích za sekundu. Úloha optimalizace trajektoríí je v našem případě specifická tím, že maximální dosažitelná DEP síla pro manipulaci je závislá na poloze, což děla tuto úlohu těžce řešitelnou. Na základě dynamického modelu pro kulové částice je navrženo zjednodušené řešení, které spočívá v předpočítání maximálních dosažitelných sil v manipulačním poli. Na tomto poli lze poté vygenerovat optimální trajektorii pomocí algoritmu pro hledání optimálních cest v grafu. Všechny metody v této práci byly experimentálně ověřeny na reálném zařízení pro mikromanipulaci.This thesis deals with two crucial problems in the task of feedback dielectrophoretic (DEP) micromanipulation: real-time visual tracking and trajectory optimization. Real-time visual tracking of manipulated objects is of pivotal importance as the feedback control system must know the positions of manipulated objects. Two basic image processing methods with a simple tracking algorithm are proposed and tested. These turn out to be insufficient, and thus a state-of-the-art tracker based on convolutional neural networks is employed and experimentally verified. The tracker is modified so that it can track up to 4 objects in 30 frames per second. Trajectory optimization for DEP manipulation is specific in having position-dependent limits for the maximum achievable DEP forces, which makes the trajectory optimization particularly tricky. Based on the dynamic model of a spherical particle, a simplified solution consisting of a pre-computed map of maximum achievable forces and an optimal path-finding algorithm is proposed and verified by conducted experiments