Original in English by Gunhee Kim

Oameni

• Gunhee Kim
• Li Fei-Fei (Stanford)
• Eric P. Xing (CMU)

Descriere

Motivația Cercetarii

Să presupunem că noi descărcăm toate imaginile care sunt interogate de către cupa+mondială (world+cup) de la Flickr până la sfârșitul anului 2008. De asemenea, presupunem că fiecare imagine este asociată cu meta-date cum ar fi timestamp-ul și ID-ul a proprietarului. Problema noastră principală de cercetare este după cum urmează următoarea: putem prezice ce imagini apoi vor apărea pe Web la un moment din viitor?

Așa cum se arată în figura de mai jos, termenul cupa mondială se referă în principal la evenimentul de fotbal, dar fotografiile reale a utilizatorilor sunt extrem de diverse (de exemplu, schi, skeituri, biciclete sau călărie), pentru că ele reflectă diferite experiențe și preferințe a utilizatorilor. Noi numim predicția fotografilor pentru persoane arbitrare ca predicţie a imaginei colective. În cazul în care un anumit utilizator este specificat la timpul de interogare, predicția poate fi axată mai mult pe unghiul unic a utilizator de vedere a subiectului. Noi numim această sarcină ca predicţie personalizată a imaginii.

Figura 1. (A) Având o secvență de imagini a interogării cupa+mondială (world+cup) până la 12/31/2008, putem prezice imagini probabile pentru un moment din viitor tq = 6/6/2009? (c) Prezicerea imaginii colective. (d) Prezicere personalizată pentru utilizatorul desemnat.

Metodă

Cadrul nostru unificat statistic pentru rezolvarea problemei prezicerii imaginii este procesul de puncte multivariate, care este un proces stocastic, care constă dintr-o serie de evenimente aleatorii care apar la puncte în timp și spațiu. Procesul de puncte este un model puternic statistic pentru evenimente spațio-temporale.

Firește, o apariție a unei anumite imagini la un moment dat poate fi reprezentat de un punct în timp și spațiu imaginii. Luați în considerare un exemplu de flux scurt de imagini a pinguinilor. Fiecare imagine este asociată cu o marcajul de timp și ID-ul de clusterului vizual, care se obține prin clusterizarea imagine. Apoi, putem reprezenta trivial acest flux de imagini ca un procesul de puncte de trivariate în timp discret ca în Fig.2. (b). În cele din urmă, noi formulăm un model de regresie lui Poisson pentru a rezolva relațiile între apariția imaginii și covariabile care influențează într-un mod flexibil, scalabil, și la nivel global optim.

Figura 2. Un proces de puncte multivariata pentru un flux scurt a imaginilor a pinguinilor. (a) Fiecărei imaginei este atribuit un marcaj de timp și unul dintre cele trei grupuri vizuale, care indică hochei pe gheață, animale (pinguini) și de munte cu zăpadă. (b) Procesul de puncte trivariate discrete în timp.

Câteva exemple de predicție colectivă și personalizată sunt reprezentate după cum urmează.

Figura 3. Exemple de predicție imaginii colective (personalizate) pentru subiectele de cupa+mondială și cardinal (fine + art și Brazilian). În fiecare set, noi aratăm imagini prezise prin metoda noastră şi imaginile lor real potrivite.

Mesaj de acasă

În această lucrare, vom discuta despre problema prezicerii imaginii de pe web. Această cercetare este importantă deoarece este o abordare bazată pe imagine pentru prezicerea comportamentului utilizatorui, și poate fi ușor extinsă la reranjarea imaginilor sensibile la timp.

Din experimente, observăm că colecțiile de imagini de pe web sunt extrem de diverse, dar unele subiecte urmează modele predictibile. Concret, modelul nostru de predicție funcționează bine pentru teme polisemantice care arată tendințele puternice anuale sau periodice. Putem concluziona că, de asemenea, personalizarea pe baza imaginii este foarte exigentă, deoarece imagini pot transmite mai multe informații delicate despre preferințele utilizatorilor, pe care e greu de capturat din descrieri de text. De exemplu, la subiectul pictură+fină putem aborda în mod eficient o întrebare de genul Ce stiluri de picturi place utilizatorului?

Exemplu de codul Matlab

• Descărcați setul nostru de instrumente Matlab – Matlab toolbox

Rețineți că acest set de instrumente a fost re-scris pentru scopul de instrucțiuni.

• Vă rugăm să citiți cu atenție fişierul README.txt din pachet înainte de a utiliza codul nostru.
• Vă rugăm să citiţi cartea noastră KDD12 dacă utilizați sau sunteţi inspiraţi de acest cod / lucrare (our KDD12 Paper ).
• Dacă găsiți orice bug-uri, vă rugăm să-mi trimiteţi e-mail.

Publicatie

Gunhee Kim, Li Fei-Fei and Eric P. Xing
Web Image Prediction Using Multivariate Point Processes (Predicţii de imagini web folosind procese de puncte multivariate)
18th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2012), Beijing, China, August 12-16, 2012. (Acceptance = 133/755 ~ 17.6%)
[Paper (PDF)] [BibTeX] [Presentation (PPTX)] [Talk (Link)]

Hârtie

Diapozitive (pptx)

Finanțarea

• Aceasta cercetare este susținută de Google, ONR N000140910758, AFOSR FA9550010247, FSN IIS-0713379, și FSN DBI-0640543.
• Li Fei-Fei este susținut de grantul de la  FSN-IIS-1115313.