Voir la source de Scan3D

à l'occasion de la [http://academy.cba.mit.edu/classes/scanning_printing/index.html fabacademy] j'ai réalisé  divers tests de scan 3D avec différentes techniques

==Photogramétrie==

Cette technique issue de la photographie aérienne permet de déduire une forme 3D de plusieurs vues 2D d'un objet prises sous différents angles.

elle peut être précise et est assez pratique de par le fait qu'elle utilise un simple appareil photo comme capteur. elle est aussi de ce fait adaptable à de différentes échelles d'objets. Par contre elle est difficile à mettre en oeuvre car les calculs mathématiques sont compliqués.


Une version commerciale de cette technique est disponible en ligne depuis peu avec 123Dcatch d'autodesk. Mais il existe des solution libres.

===openMVG===

librairies de reconstruction par homographie (plusieures prises de vues)

Cette librairie se veut simple...mais j'ai réussi à la compiler et à jouer les exemples, je n'ai pas compris comment m'en servir...


===MicMac===

http://logiciels.ign.fr/?Micmac

Développé à l'IGN, ce logiciel a l'air très performant (j'ai testé l'exemple bouddha) mais compliqué d'abord aussi

[http://blog.serveurperso.ath.cx/wordpress/?p=134 un article en français] sur le sujet

[http://forum-micmac.forumprod.com/how-to-takes-photos-for-micmac-tutorial-t174.html tutoriel en anglais]


====Compilation de MicMac====

path2repertoire : repertoire d'installation du bidule


cd path2repertoire

hg clone https://culture3d:culture3d@geoportail.forge.ign.fr/hg/culture3d micmac-hg

cd micmac-hg

mkdir bin

mkdir build

cd build

cmake ../ -DWITH_INTERFACE=1

make -j2

make install PREFIX=path2repertoire/micmac-hg/bin

notes :

- hg sous fedora est dans le paquet mercurial

- l'option -DWITH_INTERFACE=1 permet d'activer la compilation de l'interface graphique

- l'option -j2 compilation pour un cpu double cœur

- l'option install PREFIX=path2repertoire/micmac-hg/bin fait l'installation dans le répertoire  path2repertoire/micmac-hg/bin

====bouddha====

c'est le fichier exemple fourni sur le site de l'ign: 

[[image:bouddha.jpg|400px]]

Ceci est une des 30 images des données de départ

[[image:boudha.meshlab.png|400px]]

le nuage de points dans meshlab

Ceci m'a permis de tester la reconstruction dans meshlab, avec le filtre "surface reconstruction poisson"

[[image:Bouddha.render.png|400px]]

Le rendu est très satisfaisant mais,
même si j'ai réussi à le mettre en oeuvre, j'ai eu du mal à comprendre les réglages à réaliser.

à creuser...

====interface graphique====
j'ai trouvé une interface graphique : http://www.micmac.ign.fr/svn/micmac_data/trunk/DocInterface/

mais le fichier compilé contient un bug...

===VisualSFM===

http://ccwu.me/vsfm/ 

plus facile apparement

un tutoriel là : http://combiencaporte.blogspot.fr/2012/07/la-photogrammetrie-visualsfm-et-meshlab.html

j'ai testé mais pas trouvé concluant

==meshlab==

Meshlab est un logiciel de traitement et reconstruction de maillage. il est très utile pour filtrer les résultats d'un scan


===ouvrir des .ply en ascii 1.0===

dans ma version de meshlab (dans les paquets de ubuntu 12.04) meslab n'arrive pas à ouvrir des fichiers .ply en ascii 1.0, à cause d'un problème de localisation (language) http://sourceforge.net/p/meshlab/bugs/162/

la solution est de l'ouvrir avec l'option :

 $ LC_ALL=C meshlab


===ressources pour meshlab===

deux ou trois liens qui expliquent les rudiments de la reconstruction de maillage

http://meshlabstuff.blogspot.fr/2009/09/meshing-point-clouds.html


==expérience avec la Lumière structurée==

Cette technique offre plusieurs avantages :

* dispositif de capture simple (caméra+projecteur)
* changement d'échelle possible
* simplicité du traitement



J'avais déjà découvert cette technique en visitant l'institut [http://www.pprime.fr/?q=fr/la-photomecanique P Prime] à poitiers, qui l'utilise pour mesurer les déformations des matériaux.

J'ai téléchargé et exploré le [http://academy.cba.mit.edu/classes/scanning_printing/light/index.html programme de Neil], pour voir jusqu'où je pouvais aller.

C'est donc un programme en cours de construction que j'ai exploré. 

Comme j'étais chez moi sans les outils pour réaliser une capture, j'ai commencé par me focaliser sur le traitement du fichier de capture pour obtenir un fichier stl.

===process de traitement===

Habitué à traité les images, j'ai trouvé simple de traiter l'essentiel des données sous cette forme, avant la transformation en stl.

Les fichiers de départ sont le "diffs.png" et une image recomposée d'un scan d la zone vide.

[[image:3Dscan.structuredLight.Process.png|1200px]]

Les traitements ont été réalisés dans gimp, mais certains pourraient être automatisés, notamment à l'aide de la librairie opencv (déjà utilisée dasn le programme de Neil).

Pour le passage du png en stl, j'ai utilisé le programme '''png_stl'''

la dernière étape (visible sur l'image) a consisté à appliquer un modifieur "smooth" sous blender.

Le résultat n'est pas si mal, mème si la régularité de la surface laisse encore à désirer.

===Prise de vue===

Revenu à l'atelier, j'ai installé un dispositif pour réaliser une prise de vue expérimentale.

* un videoprojecteur
* une webcam HD (logitech hd1080)


[[image:Structuredlight.All_color.png|400px]]


après quelques réglages, notament le réglage manuel de la caméra via guvcview, j'ai obtenu les images suivantes :

la théière :
 ./coord teapot/teapot.png 0 /dev/video2


[[image:structuredlight.Teapot.png|400px]]

le fond vide :
 ./coord teapot/empty.png 0 /dev/video2

[[image:structuredlight.Empty.png|400px]]

j'ai mélangé ces images : soustraction puis addition de teapot en "éclaircir seulement", puis re-soustraction du fond vide :

[[image:Structuredlight.Teapot.sub.jpg|400px]]

enfin, quelques retouches manuelles :

[[image:structuredlight.Teapot.clean.png|400px]]

le fichier est alors converti en stl avec la commande 
 ./png_stl teapot/teapot.clean.png teapot/teapot.stl 5

[[image:structuredlight.Teapot.stl.render.png|400px]]

Dans blender j'ai rajouté un modifieur "smooth" à 1.8 et 5 passes.


Dans meshlab : 

 Filters > Smooth... > Laplacian smooth =10

puis 

 Filters > Remeshing, simplification and construction > Quadratic Edge Collapse Detection

paramètres :
30% de reduction
quality : 0.7
optimal position of simplified vertices = 1
post-simplification cleaning

https://www.inkling.com/read/making-things-see-borenstein-1e/chapter-5/reduce-polygons-in-meshlab

le résultat est encourageant. il faudrait améliorer les conditions de prise de vue  :
* noir complet lors de la prise de vue

et effectivement la parallaxe est génante.

==kinect==

Le capteur kinect est adapté pour scanner des formes à échelle humaine.

J'ai utilisé openkinect (freenect) avec l'utilitaire fakenect record, qui produit des capture brutes sous forme d'image png.


Les scans bruts sont très bruités et avec des trous liés aux zones d'ombres de la projection infrarouge.

[[image:D-1393711530.532692-2359237902.png|400px]]

Pour améliorer le rendu, j'ai empilé des scans en "assombrir seulement" avec gimp.

après quelques retouches manuelles j'ai obtenu un fichier à peut près propre

[[image:kinect.Composite.png|400px]]

après une transformation en stl avec l'utilitaire de Neil (png_stl) j'ai obtenu un fichier 3D exploitable

[[image:Kienct.render.png|400px]]

Dans blender, j'ai ajouté ici aussi un filtre "smooth" et "solidify", pour exporter un fichier stl imprimable.

(il est vrai que ça aurai été mieux si j'avais été chez le coiffeur)

Mon égo n'est pas assez développé pour que j'imprime mon effigie, mais j'ai validé que ce fichier est imprimable

[[image:Kinect.printable.png|400px]]

[[Catégorie:FabAcademy]]


===autres pistes et ressources===
http://pointclouds.org/
#	SQL	Time	Call
1	BEGIN	0.0930ms	DatabaseBase::query (WikiPage::pageData)
2	SELECT page_id,page_namespace,page_title,page_restrictions,page_is_redirect,page_is_new,page_random,page_touched,page_links_updated,page_latest,page_len,page_content_model FROM `mw_page` WHERE page_namespace = '0' AND page_title = 'Scan3D' LIMIT 1	0.2489ms	WikiPage::pageData
3	SELECT pr_type,pr_expiry,pr_level,pr_cascade FROM `mw_page_restrictions` WHERE pr_page = '1100'	0.1631ms	Title::loadRestrictions
4	SELECT rev_id,rev_page,rev_text_id,rev_timestamp,rev_comment,rev_user_text,rev_user,rev_minor_edit,rev_deleted,rev_len,rev_parent_id,rev_sha1,rev_content_format,rev_content_model,page_namespace,page_title,page_id,page_latest,page_is_redirect,page_len,user_name FROM `mw_revision` INNER JOIN `mw_page` ON ((page_id = rev_page)) LEFT JOIN `mw_user` ON ((rev_user != 0) AND (user_id = rev_user)) WHERE page_id = '1100' AND rev_id = '14278' LIMIT 1	0.2570ms	Revision::fetchFromConds
5	SELECT pr_page,page_namespace,page_title,pr_expiry,pr_type,pr_level FROM `mw_templatelinks`,`mw_page_restrictions`,`mw_page` WHERE tl_namespace = '0' AND tl_title = 'Scan3D' AND (tl_from=pr_page) AND pr_cascade = '1' AND (page_id=pr_page)	0.3071ms	Title::getCascadeProtectionSources
6	SELECT ipb_id,ipb_address,ipb_by,ipb_by_text,ipb_reason,ipb_timestamp,ipb_auto,ipb_anon_only,ipb_create_account,ipb_enable_autoblock,ipb_expiry,ipb_deleted,ipb_block_email,ipb_allow_usertalk,ipb_parent_block_id FROM `mw_ipblocks` WHERE ipb_address IN ('18.118.145.9','18.118.145.9') OR ((ipb_range_start LIKE '1276%' ) AND (ipb_range_start <= '12769109') AND (ipb_range_end >= '12769109'))	0.3428ms	Block::newLoad
7	SELECT old_text,old_flags FROM `mw_text` WHERE old_id = '13960' LIMIT 1	0.2010ms	Revision::loadText
8	SELECT tl_namespace,tl_title,page_id,page_namespace,page_title,page_restrictions,page_is_redirect,page_is_new,page_random,page_touched,page_links_updated,page_latest,page_len,page_content_model FROM `mw_templatelinks` LEFT JOIN `mw_page` ON ((page_namespace=tl_namespace) AND (page_title=tl_title)) WHERE tl_from = '1100'	0.3281ms	Title::getLinksFrom
9	SELECT user_ip FROM `mw_user_newtalk` WHERE user_ip = '18.118.145.9' LIMIT 1	0.2201ms	User::checkNewtalk
10	SELECT page_id,page_len,page_is_redirect,page_latest,page_content_model FROM `mw_page` WHERE page_namespace = '1' AND page_title = 'Scan3D' LIMIT 1	0.2460ms	LinkCache::addLinkObj
11	SELECT pp_value FROM `mw_page_props` WHERE pp_page = '1100' AND pp_propname = 'SFDefaultForm'	0.1600ms	DatabaseBase::select
12	SELECT smw_id,smw_sortkey FROM `mw_smw_object_ids` WHERE smw_title = 'Scan3D' AND smw_namespace = '0' AND smw_iw = '' AND smw_subobject = '' LIMIT 1	0.2429ms	SMWSql3SmwIds::getDatabaseIdAndSort
13	SELECT p.smw_title as prop,o_id AS id0,o0.smw_title AS v0,o0.smw_namespace AS v1,o0.smw_iw AS v2,o0.smw_sortkey AS v3,o0.smw_subobject AS v4 FROM `mw_smw_di_wikipage` INNER JOIN `mw_smw_object_ids` AS p ON p_id=p.smw_id INNER JOIN `mw_smw_object_ids` AS o0 ON o_id=o0.smw_id WHERE s_id='1118'	0.2429ms	SMWSQLStore3Readers::fetchSemanticData
14	SELECT DISTINCT cl_to FROM `mw_categorylinks` WHERE cl_from = '1100'	0.1831ms	SFValuesUtils::getCategoriesForPage
15	SELECT page_id,page_len,page_is_redirect,page_latest,page_content_model FROM `mw_page` WHERE page_namespace = '14' AND page_title = 'FabAcademy' LIMIT 1	0.1171ms	LinkCache::addLinkObj
16	SELECT pp_value FROM `mw_page_props` WHERE pp_page = '1098' AND pp_propname = 'SFDefaultForm'	0.1209ms	DatabaseBase::select
17	SELECT smw_id,smw_sortkey FROM `mw_smw_object_ids` WHERE smw_title = 'FabAcademy' AND smw_namespace = '14' AND smw_iw = '' AND smw_subobject = '' LIMIT 1	0.1609ms	SMWSql3SmwIds::getDatabaseIdAndSort
18	SELECT p.smw_title as prop,o_id AS id0,o0.smw_title AS v0,o0.smw_namespace AS v1,o0.smw_iw AS v2,o0.smw_sortkey AS v3,o0.smw_subobject AS v4 FROM `mw_smw_di_wikipage` INNER JOIN `mw_smw_object_ids` AS p ON p_id=p.smw_id INNER JOIN `mw_smw_object_ids` AS o0 ON o_id=o0.smw_id WHERE s_id='541'	0.1950ms	SMWSQLStore3Readers::fetchSemanticData
19	SELECT page_id,page_len,page_is_redirect,page_latest,page_content_model FROM `mw_page` WHERE page_namespace = '4' AND page_title = 'Principal' LIMIT 1	0.1900ms	LinkCache::addLinkObj
20	SELECT pp_value FROM `mw_page_props` WHERE pp_page = '0' AND pp_propname = 'SFDefaultForm'	0.1330ms	DatabaseBase::select
21	SELECT smw_id,smw_sortkey FROM `mw_smw_object_ids` WHERE smw_title = 'Principal' AND smw_namespace = '4' AND smw_iw = '' AND smw_subobject = '' LIMIT 1	0.1650ms	SMWSql3SmwIds::getDatabaseIdAndSort
22	SELECT o_id FROM `mw_smw_fpt_redi` WHERE s_title = 'Principal' AND s_namespace = '4' LIMIT 1	0.1211ms	SMW\SQLStore\RedirectInfoStore::select
23	SELECT page_namespace,page_title,page_touched,rev_len,rev_sha1 FROM `mw_page` INNER JOIN `mw_revision` ON ((page_latest=rev_id)) WHERE (page_namespace = '8' AND page_title IN ('Common.js','Vectorfablabo.js','Common.css','Vectorfablabo.css','Print.css') )	0.3610ms	ResourceLoaderWikiModule::getTitleInfo
24	SELECT page_namespace,page_title,page_touched,rev_len,rev_sha1 FROM `mw_page` INNER JOIN `mw_revision` ON ((page_latest=rev_id)) WHERE (page_namespace = '8' AND page_title = 'Noscript.css')	0.1960ms	ResourceLoaderWikiModule::getTitleInfo
Key	Value
PRAGMA	no-cache
CACHE-CONTROL	no-cache
SEC-CH-UA	"HeadlessChrome";v="129", "Not=A?Brand";v="8", "Chromium";v="129"
SEC-CH-UA-MOBILE	?0
SEC-CH-UA-PLATFORM	"Windows"
UPGRADE-INSECURE-REQUESTS	1
USER-AGENT	Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
ACCEPT	text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.7
SEC-FETCH-SITE	none
SEC-FETCH-MODE	navigate
SEC-FETCH-USER	?1
SEC-FETCH-DEST	document
ACCEPT-ENCODING	gzip, deflate, br, zstd
PRIORITY	u=0, i
HOST	archive.fablabo.net