，復(fù)制您所看到的東西，這就是魔術(shù) 還是齊天大圣的魔力？ 沒(méi)有一個(gè) 這是AR的魔力。

看到的內(nèi)容是什么？ 是魔術(shù)還是猴子王的魔術(shù)？ 沒(méi)有一個(gè) 這是AR的魔力。

如何將項(xiàng)目的圖像導(dǎo)入Photoshop？ 首先，您需要拍照，然后通過(guò)網(wǎng)絡(luò)或存儲(chǔ)卡將其傳輸?shù)接?jì)算機(jī)，然后將其導(dǎo)入Photoshop界面。 那么這些過(guò)程可以一步一步完成嗎？ 現(xiàn)在

，AR可以做到。

在名為ar cut＆paste的工具中，用戶只需要在手機(jī)上預(yù)安裝該工具，然后對(duì)目標(biāo)對(duì)象進(jìn)行拍攝，然后將圖像復(fù)制并粘貼到Photoshop中，這有點(diǎn)“空間分離” 。 首先看一下

的效果：

盆栽。

服裝的全文。

書。

如上圖所示，無(wú)論是盆栽，衣服還是書籍，都可以復(fù)制，單擊進(jìn)入Photoshop便成為圖像材料，這是圖形設(shè)計(jì)師的福音。 根據(jù)

，目前，工具的切割延遲約為2.5秒，粘貼延遲約為4秒。 該過(guò)程可以進(jìn)一步加速。 此外，作者還預(yù)測(cè)下周將發(fā)布另一個(gè)AI + UX原型！

項(xiàng)目介紹

ar剪切和粘貼工具是Ar + ml原型，您可以使用該工具復(fù)制周圍環(huán)境中的固定對(duì)象并將其粘貼到圖像編輯軟件（Photoshop）中。 應(yīng)該注意的是，該工具僅適用于Adobe Photoshop軟件，將來(lái)可能支持處理不同的輸出。

項(xiàng)目地址：https://github.com/cyrildiagne/ar-cutpaste

原型具有三個(gè)獨(dú)立的模塊，即移動(dòng)應(yīng)用程序，本地服務(wù)器，目標(biāo)檢測(cè)和后臺(tái)刪除服務(wù)。 首先，用戶需要在手機(jī)上預(yù)先安裝剪切和粘貼功能。 其次，作為app和Photoshop之間的接口，用戶需要預(yù)先配置本地服務(wù)器。 最后，由外部服務(wù)（使用basnet技術(shù)）執(zhí)行重要的目標(biāo)檢測(cè)和背景消除。 用戶需要使用自己的Photoshop遠(yuǎn)程連接密碼替換以下代碼中的123456。

技術(shù)細(xì)節(jié)

該工具使用basnet（Qin等人，CVPR 2019）執(zhí)行重要的目標(biāo)檢測(cè)和背景去除。

然后使用opencv sift找出手機(jī)瞄準(zhǔn)計(jì)算機(jī)屏幕的位置。 只需一張手機(jī)照片和屏幕截圖即可獲得準(zhǔn)確的x，y屏幕坐標(biāo)系。

重要目標(biāo)檢測(cè)和背景清除

項(xiàng)目作者使用basnet進(jìn)行重要目標(biāo)檢測(cè)和背景清除。

basnet來(lái)自CVPR 2019論文“ basnet：邊界感知顯著對(duì)象檢測(cè)”，它涉及邊界的重要性檢測(cè)。 它的主要?jiǎng)?chuàng)新在于損失函數(shù)的設(shè)計(jì)，該函數(shù)使用了交叉熵，結(jié)構(gòu)相似性損失和IOU損失的混合損失，因此網(wǎng)絡(luò)更加關(guān)注邊界質(zhì)量，而不是區(qū)域精度。 它可以在單個(gè)GPU上運(yùn)行25 FPS，并在六個(gè)公共數(shù)據(jù)集上實(shí)現(xiàn)SOTA效果。 下圖顯示了

basnet的體系結(jié)構(gòu)：為了方便

，項(xiàng)目作者制作了一個(gè)basnet HTTP服務(wù)包裝器。

GitHub地址：https：//github.com/cyrilliagne/basnet-http

定位

sift（尺度不變特征變換，尺度不變特征變換）是一種關(guān)鍵點(diǎn)檢測(cè)算法，SIFT算法檢測(cè)到的關(guān)鍵點(diǎn)是 通常對(duì)于光線，視角等的變化相當(dāng)穩(wěn)定，甚至對(duì)視線遮擋幾乎沒(méi)有影響。 SIFT算法的另一個(gè)優(yōu)點(diǎn)是它非�？觳⑶铱梢曰�本滿足實(shí)時(shí)操作的要求。

sift算法示例。 來(lái)源：Wikipedia URL：https://zh.wikipedia.org/wiki/scale-invariant'feature'transform

該工具使用opencv篩查法來(lái)確定手機(jī)在計(jì)算機(jī)屏幕上的目標(biāo)位置。

項(xiàng)目作者將其封裝到一個(gè)小的Python包中。 參見：

GitHub地址：https://github.com/cyrildiagne/screenpoint

作者簡(jiǎn)介

該工具的發(fā)明者Cyril diagne現(xiàn)在居住在法國(guó)巴黎，集成了藝術(shù)家，設(shè)計(jì)師和程序員的三種專業(yè)身份。 這是一個(gè)真正的中年斜線。

西里爾·戴安娜（Cyril diagne）和其他五名學(xué)生于2008年從巴黎的萊斯·戈貝林斯（Les Gobelins）影像學(xué)校畢業(yè)后，創(chuàng)立了藝術(shù)機(jī)構(gòu)lab212。

還是巴黎Google文化研究實(shí)驗(yàn)室的藝術(shù)家，并且是瑞士洛桑藝術(shù)與設(shè)計(jì)大學(xué)的媒體與交互設(shè)計(jì)總監(jiān)。 十多年來(lái)，Cyril diagne一直沉迷于將新穎的數(shù)字技術(shù)與藝術(shù)設(shè)計(jì)相結(jié)合，從而創(chuàng)造出美妙的互動(dòng)體驗(yàn)。 同時(shí)，他認(rèn)為這種結(jié)合將使計(jì)算機(jī)技術(shù)更加人性化。 以

為例，他曾經(jīng)開發(fā)了面部涂鴉工具。 在tensorflow.js，facemesh和three.js的幫助下，他可以使用AR在Web瀏覽器上對(duì)面部進(jìn)行涂鴉。

還具有Chrome擴(kuò)展程序，可以為instagram個(gè)人主頁(yè)圖像添加3D效果。 效果生成類似于Facebook的3D照片功能，因此2D照片也可以呈現(xiàn)多角度場(chǎng)景。 如果您對(duì)這樣的藝術(shù)或技術(shù)設(shè)計(jì)感興趣，可以在GitHub網(wǎng)站Cyril diagne上找到更多有趣的作品。

個(gè)人主頁(yè)：https：//github.com/cyrildiagne

。 這是機(jī)器的心臟。 請(qǐng)聯(lián)系官方帳戶進(jìn)行授權(quán)。