! "# $%& " ' ()*+,+-+ ./0 ().1023+,4 -)5 6)7893)5+8 :3+;823+,4< =),>80*,+? 1. @80)< A8-B0/C4*+03**8< DE< FGHIEDJ< @80)< K9,+L80M3)5 NOPQRST U VSWXPYZ[R\ ]SW[VP^W ]_ P `abcdefcg h;8 ,)+80i08+3+,1) 1. )3+-03M *C8)8*< 78)803MM? *1 1B>,1-* 3)5 8j10+M8** .10 ;-23)*< *+,MM 0823,)* 3 C;3MM8)78 ,) C12i-+80 >,*,1)k l8 i01i1*8 ,) +;,* 30+,CM8 +1 58*,7) B,)30? CM3**,m80* C3i3BM8 +1 08C17H ),*8 *128 78)80,C ,2378 C3+8710,8*k (2378* 308 08i08*8)+85 B? 703i;* 1. 087,1)* 3)5 98 58m)8 3 703i; 85,+ 5,*+3)C8 +1 283*-08 +;8 5,**,2,M30,+? B8+988) +;82 k n-0+;802108 3 .83+-08 *8M8C+,1) *+8i ,* -*85 +1 i,C4 ,) +;8 ,2378 +;8 21*+ 283),)7.-M 087,1)* .10 3 7,>8) C3+8710? 3)5 +;-* ;3>8 3 C12i3C+ 3)5 3ii01i0,3+8 703i; 08i08*8)+3+,1)k o pqrstuvwrxtq $%y z % z% & "z z%{|" |%} {{& ~ % % " & z% % &z & !"z |%} {{& y%" & ~& & ~ ~{ } ~ z%{|" ~&~%
z%" |%&&~ ||~ % y~ } % &
~ z" ~ } &z"~
~}~ ~ ~& y & z~ } |%|%& ~ ~& ~z % &~} ~ z &&~& z | % z%} ~& &%{ } ~z ~{ } z }%~& ~%"&
~{ } z &&~z ~% & |%{ "&~ } ~z &"||% z % { z~ & % ~{ } ~& %} {& % ~ '% {% & % {" ~ &%" ~% "& & { % & % % ' ~ % zz%" "{ &z~| ~% % ~{ } z% ~& }% " % &|z~z % ~{ } | % ~ z" %z ~ %{ ~%
~" ~% } |& ~{ } %z'& y |%|%& !"z ||% z& % ~~ % z &&~& % ~& ~ }"~& y z%{|# "&
&% |% % % y z% z| % & } ~ z " ||% z &}{ & ~{ }& ~ % }~% & ~ # z ~{ } } | % }~% & % }~ | % &z
% ~{ } | & { ~ }" ~ z & &z ~ % % { ' &~ &' % z &&~& ~& %y& % z~ z%{| ~&% &z{ y } |& |& ~{ }& ~& | | ~& %} ~& & %%y& !z
y #| ~ %y % &z~ ~{ }& %y % &z { ~ }" }~% & } | { z~ } |%z " z &&~z ~% |%z&& &z~ ~ !z ~
y |& &%{ #|~{ & ~&z"&& ~ &" & ~ !z
J
3 B C g g h;8 10,7,)3M ,2378 3 ,* m0*+ *8728)+85 B < 3)5 +;8) 98 488i 1)M? +;8 087,1)* C +;8 +?i8 1. 9;,C; ;3* 3 M3078 2-+-3M ,).1023+,1) 9,+; +;8 *C8)8 +1 i085,C+k l ;8) ,)58 ,)7 +;,* ,2378 9,+; 08*i8C+ +1 +;8 M3B8M< +;8 *4? 3)5 +;8 B-,M5,)7* 308 C1)*,58085 3* )1)H,).1023+,>8 3)5 308 5,*C30585k
p
!
s
qr rxtq
" # $ % & ' $ # ( ) %
{ }& & &}{ ~ % }~% & "&~ } { &~ }%~ { ~& ~& &~{| % | { ~z z ~ " % { #~{~& ~% % |% ~~ &~ &~z |%{& &~ } ~ &z % |%{ z%%" &}{ ~%
{ &~ |%z " ~& ||~ ~%"& & %z ~% &
% ~ ~} &~ z%%"& { || % ~{ } | % '| % %& % }~ } % } %"} }~% & |~z
~& z ~ " }~& &" & & &%y % ~} && }~% & | ~{ }
% z&& ~ z% z " z%&|% {% % && % { ~ &{ ~z & &~ z z%%" ~& ~{|% ~&" z" % } ~z ~{ }& *
+
+
,
-
$ " & . $ / $ 0$ 1 & ( )
}~% #~z% z% &~& & % ~& % }~% |& %zz" ~ ~{ } & !"z & ~& "~ } ~ } ~%"& } ~z ~{ }& z &}{
& ~{ }& &&"{ % |%~ }%% |& ~% % |%&&~ ~{ } }~% & %zz" ~ y% z"& ~& & % ~{ } }~% & "&~ } z ~ "& |~%"& |%|%& % z"& & % ~&" &~{~ ~{ }& ~ ~{ } && & % " z"& ~ } { % & &" ~ } z"& & z% ~ ~&" &~{~ ~{ } }~% & "& ~{|~z~ }~% | z % { ~& ~ z" ~ }~% #~z% ' $ # ( ) 2 $ 3 (1 )
+
4
55
6
7
% &}{ ~{ }
y z {~ | % z }~% &~{| z%{|" ~ } ~& z & % }~% &z~| % % z"& z %~ & z%%&~ } z%&& % I % & % ~{ }&
X %{ ~ % I & ~ } % ~& ~" ~% % ~{ }& z "~ & % "& F = {f , . . . , f } y~z { ||~ }& %{ N #|~{ & %& "&1 ~ ~z %& % |& z % I → {0, 1} / $ 0$ 1 & ( ) 8 9 $ " ) () # 8. 0 ' $ # ( ) %
:
;
I & z % }~ }~% | ~ ~{ } % F = f (X), . . . , F = 1 p %% %{ ~ & &&%z~ y~ %& 1 "& fp (X) % % " & y~z }~% |& { ~ }" % z%} ~& z% z|
~ } | & & % " &z ~% ~& ||~ & ~ {%& & y & % &z "& z% &~& ~ '~ } { zz% ~ } % ~ ~ ~~ " | ~z ~ |%y
{ & ~{ {" " ~ %{ ~% %{ ~% % |%~ & %%& % &&&& ~ "& %| { &"& } "{ % ~ & "~ % z% " % %{ ~ % ~ & z
~ y % Y %% %{ ~ & ~ } % z && % | ~z ~ z% z| % &&%z~ y~ ~{ }
~ & %| ~& H(Y ) = − P P (Y = y) log(P (Y = y)) z% ~ ~% %| y " ~& "{ % ~ & "~ % &z~ H(Y |Fj ) = H(Y, Fj ) − H(Fj ) y " ~& ' %y {" " ~ %{ ~% % z && Y Fj " " ~& %y {"z ~ %{ ~% ~& & y { ~& I(Y, F ) = H(Y ) − H(Y |F ) -
+
:
;
+
+
+
,
: ;
j
j
= H(Y ) + H(Fj ) − H(Y, Fj )
"& ' zz% ~ } % ~ %{ ~% I(Y, F ) z% j %" z && %fj | ~z
%& y~ }& {" " ~ %{ ~% z%& ~{ }
y '| % }~% & }~% | {% } &z % & z ~} {%& { ~ }" % & % z%} ~& z% z| :
$ ) (& ( )
;
' $ # ( ) % &
" %
G
G = (V, E, µ, ν)
V E ⊆ V × V µ : V → LV ν : E → LE
y% ~! ~& % |& ~{ }& } | ~ & ~} ~ ~& | | ~ z &
z }~% z% & ~ " & # % } | # & z%%" ~& %} {& z z ~& z%&|% ~ } }~% & | % } | |& ~%
% ~z& z%&|% ~ } % " z }~% & ~ y~ & % |%~ % z% z ~ ' }
y~ % &z% } | |& ~%
~z& ~ ' % % % &
y~ |%|% ~% % z%{{% %" } # % |& % } |& " ~z :
:
;
;
p %& x' w rxtq # &&~z ~% % ~{ }& ~{|~& % % { &" &~{~ ~ y } |& |& ~ } ~{ }& %% ~ z & % ~{ }&
$
"&" z%"| %~& & % } | % ~"{~ ~% z% ~ ~% & % z%z ~ } { % & % } | { z~ } |%|%& % z%| y~ & |%{& {% } {
} | ~ ~& z ~& | ~z" |%|" & & % |%&&~ ~ %| ~% & &&~} & z%& % z % { ~& z % y% } |& ~& {~ ~{"{ z%& % & " z& % ~ %| ~% & &%{ } | ~ % % % z%{|" } | ~ ~& z
y "& A∗ }%~ { & &z~ % } | { z~ } ~ %%' |%z " ~& "& % &| "| { z~ } |%z&& &
' & ~}%" ' z &&~ ~& "& % z &&~ ~{ }& # &z ~% & &z~ ~ %| ~% & ~ &&%z~ z%& 7
+
:
;
" (& $ " & ( ) %
{ ||~ } y ~z& % y% } |& G = (V , E , µ , ν ) 1 1 1 1 pG = (V , E , µ , ν ) &&"{ G G &"z 1Card(V )≤ 2 2 2 2 2 1 2 ~& { ||~ } z% &~& & % { { ||~ }& (v, w)
v ∈ V 1 Card(V2 ) 1 &"z z # ~& "& % % z $ { % & {~&&~ } w ∈ V2 # ~ } | G % z z%"| (v, w) ~ p
|%&&~ # ~ %| ~% & 2 & %%y& # &"& ~ " ~% ~ w 6= $ { ||~ } ~{|~& &"& ~ " ~% % µ (w) µ1 (v) 2 # ~% ~ w = $
~ ~{|~& ~% % v %{ G 1 % z | ~ % { { ||~ }& (v, w) (v0 , w0 ) ~ p
|%&&~ } ~ %| ~% & & %%y& } &"& ~ " ~% ~ ∃ } e = (v, v 0 ) ∈ E } e = 1 1
{ ||~ } ~{|~& &"& ~ " ~% % } ν (v, v0 )2 (w, w0 ) ∈ E2 1 ν2 (w, w0 ) } ~% ~ ∃ } e = (v, v 0 ) ∈ E ~& % } (w, w0 ) ∈ E
2 ~ ~{|~& ~% % e11 %{ E1 1 } ~ & ~% ~ ~& % } (v, v 0 ) ∈ E " ∃ } e = (w, w0 ) ∈ 2
e1 = (v, v0 ) & % ~ & ~ E11 E2 ,
,
,
,
,
,
,
" (& % & %
~ ! & & % } | ~ z%& & % y% } | |& ~% & % ~{ }& ~ !z % z &&
~z& z% ~&" ~ %{ ~% %" ~{ } }~% &
&% # ~ %| ~% & & { z%& ,
$ ) (& ( )
µ (v) µ (w) 1 2
c(µ1 (v) → µ2 (w)) = ||µ1 (v) − µ2 (w)||2
1 c(v → $) = Card(V
)
& } | |& ~%
} |& % }& z%&|% ~ } % " z }~% & z%&|% ~ } z%& & & 1
,
$ ) (& ( ) #1
c(ν1 (e1 ) → ν2 (e2 )) = 0
1
c(e1 → $) = Card(V 1)
1
c($ → e1 ) = Card(V )
&z% y % }& ~& & % z%{{% %" } # % y% }~% & } z%" & # ~ &
% %{ ~& " & % #
% # {| max( CBL , CBL ) % BL y BL ~& %" } % }~% BL% &"z CBL CBL avg( BL i , BL ) regi } |&
&~ z #~& }& y | ~& % ~z&
~& % {% % } ~% % ~ & ~% %| ~% & 1
:
;
reg1
reg1
reg2
reg2
,
$ ) (& ( ) #2 e e 1 2
c(ν1 (e1 ) → ν2 (e2 )) = ||ν1 (e1 ) − ν2 (e2 )||2
"&"
sx
qr
/$&
& ~& z%{|%& % ~{ }& z%z %{ y %" z &&& z% ~ ~ & z& % | ~z" &z | % z% &~& & % ~%"& } ~z ~{ }& ~{ % z z }~{|& % |%&&~ &z & "& "& & } ~ & {|& % z &&~& #|~{ &
~ ~ } z }%~& % 30 ~ & z& # z %{ %{ & % & } % 25 " & !%{ # {|& &%y ~ ~} --
,
"
9 " & 1 () #
0" % % ( 1 " & ( )
~ z%& & & |%|%& ~ !z z%{| ~ " ~ % z% &~ & % ~ z%& & | & % z%{|#~ % " ~ } &z & % z && y~z ~& & % z%} ~&
&z% & % ~ z%& & ~& &"|~% % & % $%y
% z && y~z ~& ~z"
&~ " ~% ~& " "& %||%&~ !~ z y ~ % "~ &%{ } ~z z &&~& % z%} ~& ~! |& % &z &
% & ~& % z~ ~% +
f cd b
bcd cb
g g h;8 283),)7.-M 087,1)* C1008*i1)5 +1 +;8 087,1) +?i8* +;3+ ;3>8 3 ;,7; 2-+-3M ,).1023+,1) 9,+; +;8 M3B8M +1 i085,C+k h;8 -ii80 019 *;19* +;8 10,7,)3M ,2378* 3)5 +;8 M1980 019 *;19* 1)M? +;8 283),)7.-M 087,1)* ,) +;8*8 ,2378*k
~ z" ~ } % &{ & } % &{ & & ~ ~% & } | |& ~% & & & % % }
" &%y& } ~&| ~ ~& y &z & %& } & & % &~{| " z z y }~% & &" ~ & % |%{ z ~}" ~"& & ~ " z % "{ % ~}%"& ~ z & &~ % & % % z%{|# &z &
} |& ~ ~z #~& & %| ~{ " %" ~}%"& ~& ~& && %~%"& % &~{| &z & ~'
% y~z % & z% &
y~ &~} % ~ z & y~ "{ % ~}%"& "{ % ~}%"& ~& & % % z%{|# &z & % &~{| % & :
*
*
;
*
! ) . $ ) 1 $ 8 & $ $ " & . $ / $ 0$ 1 & ( )
% z | % &z
" &z ~% %y& % |~z' %" { ~ }" | & % ~{ } ~}" &%y& &z }~% & z% &~& y~ y z #|z ~ "~ ~ ~ " z % |%|% ~% % &z "& % & % ~& |& ~ ~} } |& &%y %y % & z % ~ &z ~ } %"} y ~ % }~% |& %| ~{ "& z%& & " ~ } z % z z% z| z%{| & % & y~ y~ %" }~% &z ~% |%{ z ~& ~{|% % z z }% z%{|~& z%{|" ~ } ~{& % } | { z~ } |%z&& ~{ } z &&~z ~% &' |%{ % z%{|" y~ $ |%z&&% % ~%"& |%|% ~% & % &z "& !~ z }%~ { z%{|#~ ~& # |% ~ y~ "{ % ~z&
" &z ~% || & & ~ ~} y % } &| "| |%z&& ,
,
:
--
5
;
ea g 0010 03+8* .10 >30,1-* 48?9105* C12i30,*1) 1. >30,1-* 85,+ C1*+ *8+*k
48?9105
85,+ C1*+ *8+ D
+03,),)7 80010 *)19? k C1-)+0? D k i81iM8 DJk *+088+* Dk 283) 58>,3+,1)
85,+ C1*+ *8+ J ν = CBL
+8*+ 80010 +03,),)7 80010 DDk k D kI Dk Dk D kD D kI D k D kD JkJ
85,+ C1*+ *8+ J
ν = max( CBL , BL1
+8*+ 80010 +03,),)7 80010 kJ kD D k Dk JEk Dk D kE D kI D kJJ k
influence of the number of nearest-neighbors
CBL ) BL2
+8*+ 80010 k Dk D k D kI DIk kD
influence of proportion of selected features
30
25 country people streets
country people streets
25 20
% test error
% test error
20
15
15
10 10
5 5
0
0
3 B g g 3 h;8 )-2B80 1. )8,7;B1-0* ;3* 2108 ,) -8)C8 1) +;8 C12iM8 *C8)8* .10 9;,C; 3) 1i+,23M >3M-8 C3) B8 .1-)5 9,+; 01-7;M? D )8,7;B1-0*k B 6 .83+-08 *8M8C+,1) 03+8 B8+988) 3 +;,05 3)5 3 ;3M. 1. +;8 .83+-08* 3MM19* +1 1B+3,) +;8 B8*+ 80010 03+8*k 0
5
10
15
nb nearest-neighbors
20
25
30
0
20
40
60
80
100
% selected features
%
tqw & v xtq
~& ~z y |& y ||% z % ~{ } z &&~z ~%
y~z ~& & % } | |& ~% % ~{ }& z &&~ ~& ' & ~}%" }%~ { "&& } | ~ ~& z % y~z y " ~! & & % ~ z%& & % {%& ||%|~ % % ~{ } &~& " {%
y &%y }~% &z ~% { #~{~& ~% % {" " ~ %{ ~% y }~% |& z && % | ~z } ~{ |%& z%} ~ ~% & y~ "z~ } z%{|#~ % } | { z~ } ~& %y& z &&~ % % ! z%{| ~ ~ z%{|" ~ } ~{& #~& ~ } { % & ~ ~ " & && ~! "& ~ ~{ } % ~ & z % % {% % && z%{| &" &
" y ~& {%
%" { % |%{& % | % &z & ~z" % { " y%' y~ ~ & ~} %y %" ||% z z z%{~ y~ & % & % z~ % |%{ z
ea g () -8)C8 1. +;8 .83+-08 *8M8C+,1) 1) +;8 80010 03+8*k 48?9105 9,+; 3MM 087,1)* 9,+; 087,1) *8M8C+,1) +03,),)7 80010 +8*+ 80010 +03,),)7 80010 +8*+ 80010 *)19? k DDk DDkD DEk C1-)+0? D k D kI D k DJk i81iM8 DJk D k DJk DEk *+088+* D k D kI D kD D k
ea g () -8)C8 1. +;8 .83+-08 *8M8C+,1) 1) +;8 C12i-+3+,1)3M C1*+*k )158* 703i; 5,*+3)C8 CM3**,.k 3MM .83+-08* k k 2* kD 2* .83+-08* Ik kD 2* kE 2* E .83+-08* IkE Dk 2* DD k 2* II .83+-08* JkI EkI 2* k 2*
s qw F;3i8MM8< k< G3j)80< k< 3i),4< k K :* .10 ;,*+17032HB3*85 ,2378 CM3**,mC3H +,1)k ( h03)*3C+,1)* 1) A8-03M A8+9104* D DE DE ,< k< l3)7< k k 6-+123+,C M,)7-,*+,C ,)58 ,)7 1. i,C+-08* B? 3 *+3+,*+,C3M 215H 8M,)7 3ii013C;k ( h03)*k 6:( JEEI DE DE @808++,< Kk< 8M @,2B1< 6k< ,C30,1< k C,8)+ 23+C;,)7 3)5 ,)58 ,)7 1. 703i; 2158M* ,) C1)+8)+HB3*85 08+0,8>3Mk ( h03)*k 6:( JEED DE DDE :,)43< hk< ,C305< k ()+803C+,>8 M830),)7 -*,)7 3 *1C,8+? 1. 2158M*k 3++80) 8C17),+,1) D D F123),C,-< k< :880< k 1B-*+ 3)3M?*,* 1. .83+-08 *i3C8* F1M10 ,2378 *8728)H +3+,1)k () 01C885,)7* 1. F < K3) -3)< 10+1 ,C1 D E 8 K3- < @k< @1- 8233< Ak =)*-i80>,*85 01B-*+ CM-*+80,)7 .10 ,2378 53+3B3*8 C3+8710,L3+,1)k () 01C885,)7* 1. (F < -8B8C< F3)353 JEEJ J J J @8L584< kFk 3++80) 8C17),+,1) 9,+; n-LL? B 8C+,>8 n-)C+,1) 6M710,+;2*k M8)-2 08**< A89H 104< A k k D D -?1)< (k< M,**8j< 6k 6) ,)+015-C+,1) +1 >30,3BM8 3)5 .83+-08 *8M8C+,1)k 1-0)3M 1. :3C;,)8 830),)7 8*830C; JEEI DD DD J 8 K3- < @k< 623+1< k (2378 08C17),+,1) .10 5,7,+3M M,B030,8*k () 6F: :-M+,H 285,3 ()+80)3+,1)3M l104*;1i 1) :-M+,285,3 ().1023+,1) 8+0,8>3Mk JEE @3++,+,< k =*,)7 2-+-3M ,).1023+,1) .10 *8M8C+,)7 .83+-08* ,) *-i80>,*85 )8-03M )8+9104 M830),)7k A8-03M A8+9104* D I E 03?< k: k )+01i? 3)5 ().1023+,1) h;810?k Ki0,)780H 80M37< A89 104< A k k D E A,M**1)< A k k 0,)C,iM8* 1. 60+,mC,3M ()+8MM,78)C8k h,173< 3M1 6M+1< F6 D E :8**280< @k 03i; :3+C;,)7 6M710,+;2* 3)5 6iiM,C3+,1)*k ; +;8*,*< =),>80H *,+? 1. @80) D l1)7< k h;088H5,28)*,1)3M 1B 8C+ 08C17),+,1) B? 3++0,B-+85 703i;*k () @-)48< Gk< K3).8M,-< 6k< 85*k K?)C+3+,C 3)5 K+0-C+-03M 3++80) 8C17),+,1) H h;810? 3)5 6iiM,C3+,1)*k D E I D ID
Dk Jk Ik k k k k k k DEk DDk DJk DIk Dk
