Radialne bazne funkcije in njihova uporaba pri rekonstrukciji slik

UNIVERZA V LJUBLJANI FAKULTETA ZA MATEMATIKO IN FIZIKO Matematika - 2. stopnja. Ana Špela Hodnik RADIALNE BAZNE FUNKCIJE IN NJIHOVA UPORABA PRI REKONSTRUKCIJI SLIK Magistrsko delo Mentor: izred. prof. dr. Emil Žagar. Ljubljana, 2015.

ii.

Podpisana Ana Špela Hodnik izjavljam: - da sem magistrsko delo z naslovom Radialne bazne funkcije in njihova uporaba pri rekonstrukciji slik izdelala samostojno pod mentorstvom izred. prof. dr. Emila Žagarja in - da Fakulteti za matematiko in fiziko Univerze v Ljubljani dovoljujem objavo elektronske oblike svojega dela na spletnih straneh. Ljubljana, 14. april 2015. Podpis:. iii.

iv.

Zahvala Staršem, da sem danes tu in ker verjameta vame. Bratu za podporo, vzor in včasih dvomljiva vprašanja, ki so mi pomagala pri odločitvah. Prijateljem za oporo in pogovore. Mentorju za čas, dobre nasvete ter skrbno in potrpežjivo branje.. v.

vi.

Kazalo 1 Uvod 2 Interpolacija 2.1 Brezmrežne metode . . . 2.2 Radialne bazne funkcije 2.3 Interpolacija z RBF . . 2.3.1 Primeri radialnih. 13. . . . . . . . . . . . . baznih. . . . . . . . . . . . . . . . funkcij. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. 15 17 17 18 21. 3 Pozitivno definitne funkcije 23 3.1 Pozitivno definitne matrike . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 Pozitivno definitne funkcije . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3 Popolnoma monotone funkcije . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4 Pogojno pozitivno definitne funkcije 35 4.1 Pogojno pozitivno definitne radialne funkcije . . . . . . . . . . . . . . . . . 36 4.1.1 Interpolacija s strogo pogojno pozitivno definitnimi funkcijami . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5 Matični prostor 45 5.1 Reprodukcijsko jedro Hilbertovega prostora . . . . . . . . . . . . . . . . . . 45 5.1.1 Matični prostor za strogo pozitivno definitna jedra . . . . . . . . . . 47 5.1.2 Matični prostor za strogo pogojno pozitivno definitna jedra . . . . . 49 6 Implementacija 55 6.1 Alternirajoča projekcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 7 Rekonstrukcija slike 7.1 Uporaba algoritma alternirajoče projekcije . . . . . . . . . . . . . . . . . . . 7.2 Algoritem 5 × 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2.1 Primerjava algoritma alternirajoče projekcije in algoritma 5 × 5 . . .. 63 65 71 72. 8 Zaključek. 77. vii.

viii.

Program dela V magistrskem delu predstavite radialne bazne funkcije, njihove glavne lastnosti in uporabo pri interpolaciji. Omejite se na znane tipe radialnih baznih funkcij in predstavite njihovo uporabo pri rekonstrukciji slik.. Osnovna literatura: M. D. Buhmann. Radial basis functions: theory and implementations, volume 12 of Cambridge Monographs on Applied and Computational Mathematics. Cambridge University Press, Cambridge, 2003. Mentor: izred. prof. dr. Emil Žagar. ix.

x.

Povzetek Aproksimacija in interpolacija z radialnimi baznimi funkcijami je najpogosteje uporabljena metoda, ko aproksimiramo ali interpoliramo razpršene podatke v višjih dimenzijah. Pogledali si bomo glavne lastnosti radialnih baznih funkcij (RBF) in uporabo pri interpolaciji. Opisali bomo algoritem alternirajoče projekcije, ki uporablja dejsto, da je interpolacija z RBF kar ortogonalna projekcija. Metoda z RBF se uporablja na različnih področjih, kot je na primer reševanje parcialnih diferencialnih enačb, računalniška grafika ali pa pri nevronskih mrežah. Eden možnih primerov je tudi rekonstrukcija slike. V zadnjem poglavju predstavimo primer rekonstrukcije slike z uporabo algoritma alternirajoče projekcije.. Abstract The radial basis function method for multivariate approximation and interpolation is one of the most often applied approaches when the task is to approximate or interpolate scattered data in several dimensions. This thesis gives an overview on main properties of radial basis functions (RBF) and their use for interpolation. We introduce and analyze the idea of alternating projection, which uses the fact that a RBF interpolation is also orthogonal projection. RBF method can be used in different areas such as solving partial differential equations, in computer graphics or in neural networks. An example is the problem of image reconstruction using alternating projection method. This problem is presented in the last chapter of the thesis.. Math. Subj. Class. (2010): 41A05, 41A63, 65D05, 65D07 Ključne besede: radialna bazna funkcija, interpolacija, brezmrežne metode, matični prostor, alternirajoča projekcija, rekonstrukcija slike Keywords: radial basis function, interpolation, meshfree methods, native space, alternating projection, image reconstruction. xi.

xii.

Poglavje 1. Uvod Metoda radialnih baznih funkcij se najpogosteje uporablja za rekonstrukcijo neznane funkcije iz razpršenih podatkov v višjih dimenzijah. Rešujemo lahko najrazličnejše probleme, kot so: modeliranje terena, rekonstrukcija ploskve, numerično reševanje parcialnih diferencialnih enačb,... Problemi, kjer lahko uporabimo RBF, se ne pojavljajo le v matematiki, ampak jih najdemo tudi na drugih področjih: v geologiji, medicini, biologiji, ekonomiji, računalništvu in še bi lahko naštevali. V splošnem je problem zastavljen tako, da imamo dane podatke X = {x1 , . . . , xN } ⊆ Rd v d-dimenzionalnem prostoru in funkcijske vrednosti neznane funkcije yj , j = 1, . . . , N . Iščemo funkcijo s : Rd → R tako, da je s(xj ) = yj , kjer je interpolant s oblike s(x) =. N X. αj Φ(x − xj ). j=1. in Φ je izbrana radialna bazna funkcija. Torej rešujemo sistem linearnih enačb za α = [α1 , . . . , αN ]T . Za RBF Φ imamo na izbiro nekaj znanih funkcij, na primer Gaussova funkcija, multikvadrika ali funkcija tanke plošče. Več o tem je opisano v 2. poglavju. V 3. poglavju se bomo posvetili pozitivno definitnim funkcijam. Do sedaj še nihče ni uspešno karakteriziral razreda vseh RBF, ki bi generirale nesingularno matriko za sistem linearnih enačb. Znana je delna rešitev, če se osredotočimo le na pozitivno definitne funkcije in s tem tudi na take matrike. Stroga pozitivna definitnost nam zagotavlja nesingularnost matrike sistema linearnih enačb, vendar niso vse RBF tega tipa. Zato bomo v 4. poglavju predstavili strogo pogojno pozitivno definitne funkcije in pogledali, kaj moramo dodati interpolacijski funkciji s, da zagotovimo enolično rešitev interpolacijskega problema. Na ta način bomo razširili nabor funkcij, ki jih lahko uspešno uporabimo pri metodi z RBF. V 5. poglavju bomo pokazali, kako za izbrano strogo (pogojno) pozitivno definitno funkcijo konstruiramo Hilbertov prostor z reprodukcijskim jedrom, ki ga imenujemo matični prostor. Ta nam bo pomagal pri analizi konvergence algoritma iz 6. poglavja. V 6. poglavju bomo predstavili algoritem alternirajoče projekcije. Algoritem temelji na dejstvu, da je interpolacija z RBF ortogonalna projekcija. Dokazali bomo, da je konvergenca algoritma vsaj linearna. Primer uporabe RBF metode si bomo pogledali v zadnjem delu magistrskega dela. Ideja je, da s pomočjo RBF rekonstruiramo sliko. Torej, da izračunamo vrednosti v slikovnih pikah, ki so poškodovane ali neznane. Predstavili bomo nekaj rezultatov, ki jih dobimo z uporabo algoritma alternirajoče projekcije.. 13.

14.

Poglavje 2. Interpolacija Interpolacija v več spremenljivkah se pojavlja na veliko področjih znanosti. Običajno imamo podano množico različnih točk X = {x1 , . . . , xN } ⊂ Rd , d > 1, in realna števila yj , j = 1, . . . , N . Naloga je konstruirati zvezno ali celo diferenciabilno funkcijo s : Rd → R tako, da velja s(xj ) = yj , j = 1, . . . , N. Rečemo, da funkcija s interpolira podatke (xj , yj ), j = 1, . . . , N . Interpolacija je zelo uporabna, na primer za aproksimacijo funkcije, katere vrednosti poznamo le v interpolacijskih točkah ali pa funkcije, ki je preveč zahtevna za izračun na velikem številu točk. V takšnih primerih običajno posežemo po interpolaciji, ker je cenejša za računanje. Interpolant lahko nato uporabimo tudi pri drugih algoritmih, kot na primer pri določanju ekstremov originalne funkcije. Interpolacijo lahko uporabimo tudi pri stiskanju podatkov, kjer je število začetnih podatkov (xj , yj ), j = 1, . . . , N , preveliko za prostorsko kapaciteto računalnika. V tem primeru izberemo podmnožico J ⊂ X , na kateri konstruiramo interpolant, ki ga uporabimo za oceno preostalih podatkov. V praksi imamo pogosto podano množico razpršenih podatkov X . To pomeni, da točke iz množice X nimajo urejene strukture, ne ležijo na regularni mreži in običajno jih je zelo veliko, lahko tudi več milijonov. V nekaterih primerih so podatki iz prostora z zelo visoko dimenzijo, kar bi nam še dodatno upočasnilo diskretizacijo območja, če bi se zanjo odločili. Problem 2.1. [Interpolacija razpršenih podatkov] Dani so podatki (xj , yj ), j = 1, . . . , N , kjer je xj ∈ Rd in yj ∈ R. Iščemo tako (vsaj zvezno) funkcijo s, da velja s(xj ) = yj , j = 1, . . . , N . V zgornjem problemu dopuščamo, da so točke xj iz poljubnega d-dimenzionalnega prostora in s tem zajamemo veliko različnih primerov. Za d = 1 so lahko na primer podatki dani glede na neke časovne korake. V primeru d = 2 imamo denimo podatke podane na ravninskem območju in tako so xj dvokomponentne točke v ravnini. Želimo na primer izrisati zemljevid padavin in imamo podane količine le v točkah, kjer so postavljene vremenske postaje. V primeru d = 3 vse skupaj prestavimo v prostor, na primer iščemo porazdelitev temperature znotraj nekega telesa. Primerov v višjih dimenzijah je ogromno, a si jih težje predstavljamo. Z njimi se pogosto srečamo na področju financ, optimizacije, ekonomije, statistike, umetne inteligence,... Učinkovito se problema interpolacije razpršenih podatkov lotimo tako, da s zapišemo kot linearno kombinacijo nekih baznih funkcij Bk , torej s(x) =. N X. αk Bk (x),. k=1. 15. x ∈ Rd , αk ∈ R.. (2.1).

Tako dobimo sistem linearnih enačb, ki ga v matrični obliki zapišemo kot Aα = y, kjer so elementi intepolacijske matrike A = (ajk )N j,k=1 dani kot ajk = Bk (xj ), j, k = 1, . . . , N , α = [α1 , . . . , αN ]T in y = [y1 , . . . , yN ]T . Problem 2.1 je korekten, če rešitev problema obstaja in je enolična. Velja naslednje: Problem je korekten natanko tedaj, ko je matrika A nesingularna. V primeru ene spremenljivke vemo, da lahko za interpolacijo N različnih podatkov uporabimo polinom stopnje N − 1. V primeru funkcije več spremenljivk to ni tako preprosto. Definicija 2.1. Naj ima končno dimenzionalen prostor funkcij B ⊆ C(Ω) bazo {B1 , . . . , BN }. Potem je B Haarov prostor na Ω, če je det(A) 6= 0 za poljubno množico različnih točk x1 , . . . , xN ∈ Ω. Izrek 2.2 (Mairhuber-Curtis). Če Ω ⊂ Rd , d ≥ 2, vsebuje vsaj eno notranjo točko, potem ne obstaja Haarov prostor zveznih funkcij na Ω. Dokaz izreka najdemo v [5]. Obstoj Haarovega prostora zagotavlja obrnljivost interpolacijske matrike A, torej obstoj in enoličnost interpolanta oblike (2.1) iz prostora B za podatke x1 , . . . , xN . Iz zgornjega izreka je razvidno, da za korekten interpolacijski problem z razpršenimi podatki v višji dimenziji ne moremo baznih funkcij predpisati vnaprej, ampak so odvisne od podatkov. Tako na primer ne moremo enolično interpolirati poljubnih podatkov v R2 s polinomi več spremenljivk stopnje m. Primer 2.3. Denimo, da imamo v ravnini podane interpolacijske točke (x0 , y0 ), (x1 , y1 ), (x2 , y2 ) in vrednosti iskane funkcije f v teh točkah. Interpolant iščemo v prostoru polinomov v dveh spremenljivkah stopnje največ 1, ki ga označimo z Π21 in za bazo vzamemo {1, x, y}. Če so interpolacijske točke nekolinearne, lahko f enolično interpoliramo s polinomom iz prostora Π21 in za interpolacijsko matriko A velja det(A) 6= 0. Za primer vzemimo točke (0, 2), (3, 2), (−6, 0) in vrednosti f (0, 2) = 1, f (3, 2) = 0, f (−6, 0) = 3. Rešitev ustreznega sistema linearnih enačb      1 1 0 2 α0            1 3 2   α1  =  0       3 1 −6 0 α2  T je enolična in enaka α = 1, − 31 , 0 . Sedaj predpostavimo, da imamo kolinearne interpolacijske točke. V tem primeru dobimo interpolacijsko matriko A, za katero velja det(A) = 0. Torej imamo lahko neskončno mnogo rešitev ali pa rešitev ne obstaja. Sedaj vzemimo točke (0, 2), (3, 2), (−6, 2) in vrednosti f (0, 2) = 1, f (3, 2) = 0, f (−6, 0) = 3. V tem primeru dobimo enoparametrično rešitev sistema in sicer α0 = 1 − 2α2 in α1 = − 31 . Če je vrednost v točki (3, 2) enaka 2, potem interpolacijski polinom ne obstaja.. 16.

2.1. Brezmrežne metode. Standardne numerične metode za interpolacijo kot so končni elemeti, končne diference in končni volumni, so najbolj učinkovite pri reševanju problemov v eni ali dveh dimenzijah. Pri vseh teh metodah za računanje potrebujemo neko osnovno mrežo na danem območju, na primer triangulacijo območja. Generiranje mrež se zaplete že v treh dimezijah, pri problemih višjih dimenzij pa je to še veliko težje. Tu pridejo na pomoč brezmrežne metode, ki se zadnje čase ne uporabljajo samo v matematiki, ampak tudi v inženirstvu. Brezmrežne metode so pogosto radialno simetrične. To je največkrat posledica uporabe neke osnovne funkcije v eni spremenljivki skupaj z (evklidsko) normo. Tako lahko v grobem rečemo, da se s tem problemi v višjih dimenzijah pretvorijo v enodimenzionalne probleme. Prednost brezmrežnih metod je, da so neodvisne od mreže, saj je samo generiranje mreže velik potrošnik časa. Tako te metode temelijo le na množici neodvisnih točk. Še ena prednost je, da bolje prenesejo geometrijske spremembe/deformacije območja v primerjavi z metodami, ki smo jih omenili že na začetku. Brezmrežne metode lahko uporabimo za različne primere: • kartografski problemi v geodeziji, geofiziki, meteorologiji, • reševanje parcialnih diferencialnih enačb, • tomografska rekonstrukcija (neenakomerno vzorčenje), • računalniška grafika (na primer upogibanje/pačenje slike, rekonstrukcija slike), • teorija učenja, nevronske mreže in rudarjenje podatkov, • optimizacija. Prvotna ideja in potreba po osnovnih brezmrežnih aproksimacijskih metodah je prišla iz področij geodezije, geofizike, kartografije in meteorologije. Kasneje se je pojavilo še veliko drugih področij, kjer so te metode uporabne.. 2.2. Radialne bazne funkcije. Iz izreka Mairshuber-Curtisa (izrek 2.2) vidimo, da pogosto ne obstaja Haarov prostor za probleme z več spremenljivkami. To bomo upoštevali, če želimo interpolirati vrednosti y1 , . . . , yN na danih točkah X = {x1 , . . . , xN } ⊆ Rd . Na preprost način to naredimo tako, da izberemo funkcijo Φ : Rd → R in zapišemo interpolant kot s(x) =. N X. αj Φ(x − xj ),. (2.2). j=1. kjer so koeficienti αj ∈ R določeni z intepolacijskimi pogoji s(xj ) = yj ,. j = 1, . . . , N.. Točkam xj bomo rekli centri , množici X pa množica centrov. Največkrat uporabljen pristop za aproksimacijo v več spremenljivkah je metoda z radialnimi baznimi funkcijami, še posebej v primerih, ko imamo razpršene podatke v višjih dimenzijah.. 17.

Definicija 2.4. Funkcija Φ : Rd → R se imenuje radialna, če obstaja taka funkcija ene spremenljivke ϕ : [0, ∞) → R, da je Φ(x) = ϕ(kxk) in je k·k neka norma v Rd (običajno evklidska norma). V delu bomo z k·k označevali evklidsko normo, ta se tudi največkrat uporablja v praksi. Kako je z uporabo katere druge norme, si lahko več preberemo v [1]. Iz definicije za radialne funkcije Φ je razvidno, da iz enakosti kx1 k = kx2 k sledi enakost Φ(x1 ) = Φ(x2 ) za x1 , x2 ∈ Rd . Kot že vemo, se iskani interpolant s ujema z danimi podatki yj na množici X in je linearna kombinacija izbranih baznih funkcij. Za bazo vzemimo translirane radialno simetrične funkcije Φ. Transliramo jih kar v smeri danih podatkov xj , kar pomeni, da linearno kombinacijo zapišemo kot s(x) =. N X. αk Φ(x − xk ) =. k=1. N X. αk ϕ(kx − xk k),. x ∈ Rd , αk ∈ R.. k=1. Torej so bazne funkcije Bj = Φ(· − xj ) = ϕ(k· − xj k), kot je razvidno iz izreka 2.2, odvisne od podatkov x1 , . . . , xN . V našem primeru se podatki iz množice X uporabijo dvakrat, in sicer kot centri ter kot točke na katerih se iskana funkcija in interpolant ujemata. Opomnimo, da v splošnem ni nujno, da za centre izberemo ravno dane podatke. Ta izbira ponavadi v praksi zadostuje in hkrati tudi poenostavi analizo metod. Bazne funkcije Bj = ϕ(k· − xj k) so radialno simetrične na centre xj in jih imenujemo radialne bazne funkcije (RBF). Linearni N -dimenzinalni prostor, v katerem iščemo ustrezno interpolacijsko funkcijo s, je razpet na translirane radialne bazne funkcije ϕ(k· − xj k), j = 1, . . . , N , zato je baza prostora odvisna od podatkov. Bazo prostora, ki je odvisna od podatkov, se lahko poišče še kako drugače, a ravno to, da eno samo osnovno funkcijo N -krat transliramo in s tem dobimo bazne funkcije, naredi pristop z RBF tako eleganten. Interpolacija z radialnimi baznimi funkcijami je invariantna za transformacije, kot so translacija, rotacija in zrcaljenje, saj ohranjajo razdaljo med točkami. Torej je vseeno, če najprej izračunamo interpolant in potem uporabimo ustrezno transformacijo, ali pa najprej transformiramo in nato izračunamo interpolant. To je neposredna posledica dejstva, da se transformacije rotacij in zrcaljenj karakterizira z unitarnimi matrikami, ki pa so invariantne za evklidsko normo. Invarianca glede na te transformacije je pogosto zaželjena lastnost. Uporaba radialnih baznih funkcij pri interpolaciji razpršenih podatkov je zaželjena tudi zato, ker ni občutljiva na dimenzijo prostora, v katerem ležijo podatki. Tako namesto s funkcijo več spremenljivk Φ, delamo s funkcijo ϕ v eni spremenljivki ne glede na izbiro d.. 2.3. Interpolacija z RBF. Če je X končna množica, X = {x1 , . . . , xN }, potem interpolacijski pogoji implicirajo sistem linearnih enačb, ki ga matrično zapišemo kot Aα = y, kjer je A = (ϕ(kxj − xk k))N j,k=1 , y = (yj )N j=1. in. 18. α = (αj )N j=1 ..

Ena pomembnejših prednosti metode z RBF je, da je enoličnost rešitve pogosto zagotovljena pod milimi pogoji za centre. V veliko primerih zadostuje, da imamo centre, ki so paroma različni. Hitro pa najdemo tudi primere, kjer to ne velja. Eden izmed njih je zelo znana radialna bazna funkcija tanke plošče (angl. thin-plate spline), ki jo je prvi predstavil Duchon [4]. V splošnem jo zapišemo kot ϕ(r) = r2β log r,. β ∈ N.. Najpogostejša izbira za parameter funkcije tanke plošče je β = 1, torej ϕ(r) = r2 log(r). Hitro vidimo, da je interpolacijska matrika A za zgornjo funkcijo singularna za netrivialno množico različnih centrov. Na primer poljubno izberemo različne točke x2 , . . . , xN na enotski sferi okoli točke x1 . Razdalja med x1 in katerokoli izmed preostalih točk je enaka 1. S tem izborom centrov je prva vrstica interpolacijske matrike A ničelna, torej je A singularna. V primeru, ko so centri unisolventni, primer rešimo tako, da k s prištejemo ustrezen polinom stopnje m ≥ 1. Definicija 2.5. Množico točk X ⊂ Rd imenujemo m-unisolventna, če je edini polinom v d-spremenljivkah skupne stopnje največ m, ki interpolira ničelne vrednosti na X , ničelni. V definiciji Haarovega prostora smo zapisali pogoje za prostor funkcij tako, da nam ta zagotavlja enolično rešitev. V zgornji definiciji pa smo te pogoje zapisali kot pogoje na točkah. Naslednjo pomožno lemo potrebujemo za dokaz izreka v nadaljevanju. Lema 2.6. Za naravno število d in nenegativno celo število m velja  m  X k+d k=0. d. =.   m+1+d . d+1. Dokaz. Dokaz poteka z indukcijo na m. Za m = 0 nimamo kaj dokazovati. Sedaj predpostavimo, da lema velja za m in pokažimo, da velja tudi za m + 1. Razpišemo m+1 X k=0.     m  X k+d k+d m+1+d = + d d d k=0     m+1+d m+1+d = + d+1 d =. (m + 1 + d)! (m + 1 + d)! + m!(d + 1)! (m + 1)!d!. =. (m + d + 2)(m + 1 + d)! (m + 1)!(d + 1)!. =. (m + d + 2)! = (d + 1)!(m + d + 2 − (d + 1))!. 19. .  m+2+d d+1.

V nadaljevanju bomo potrebovali multiindeks oblike α = (α1 , . . . , αd ), za katerega velja xα = xα1 1 · · · xαd d za x ∈ Rd in |α| = α1 + · · · + αd . (1) Monomi x 7→ xα , x ∈ Rd , α ∈ Nd0 , so linearno neodvisni.
. (2) dim Πm (Rd ) = m+d d. Izrek 2.7.. Dokaz. (1) Dokaz poteka z indukcijo na d. Za d = 1 očitno trditev velja, saj P sta dva polinoma enaka, če imata enake koeficiente. Torej, če je polinom p(x) = nj=0 cj xj identično enak nič, morajo biti vsi koeficienti cj enaki nič. Predpostavimo, da trditev velja P za d − 1. Želimo dokazati, da velja tudi za d. Naj α = 0, kjer je α = (α , . . . , α ) ∈ N . bo J ⊆ Nd0 končna množica in 1 0 d α∈J cα x Definiramo Jk := {α ∈ J : α1 = k} za nek k ∈ N0 . Potem obstaja n ∈ N0 tak, da je J = J0 ∪ . . . ∪ Jn . Torej velja naslednje 0=. X α∈J. cα xα =. n X X. cα xα1 1 · · · xαd d =. k=0 α∈Jk. n X k=0. xk1. X. cα xα2 2 · · · xαd d .. α∈Jk. Potem tako, kot v primeru ene spremenljivke, sledi X cα xα2 2 · · · xαd d = 0, 0 ≤ k ≤ n. α∈Jk. Po indukcijski hipotezi za d − 1 torej velja cα = 0 za α ∈ J. (2) Iz točke (1) vidimo, da je za dokaz te točke dovolj pokazati   n o m+d d α ∈ N0 : |α| ≤ m = . d Dokaz poteka z indukcijo na d. Za d = 1 je   m+1 |{α ∈ N0 : α ≤ m}| = m + 1 = . 1 Sedaj predpostavimo, da trditev velja za d − 1 in izračunamo . α∈. Nd0. : |α| ≤ m. =. m [. ( α∈. k=0. Nd0. : αd = k,. d−1 X. ) αi ≤ m − k. i=1. m n o X = : |α| ≤ m − k α ∈ Nd−1 0 k=0 m  X.  m−k+d−1 d−1 k=0    m  X k+d−1 m+d = = . d−1 d. =. k=0. Pri zadnji enakosti smo uporabili lemo 2.6. Primer 2.8. Vzemimo linearne polinome v R2 . Iz izreka 2.7 vemo, da je dim Π1 (R2 ) = 3. Vsak linearni polinom v dveh spremenljivkah opiše ravnino v tridimenzionalnem prostoru. Ravnina je enolično določena s tremi točkami natanko tedaj, ko so točke nekolinearne. Torej so tri točke v R2 1-unisolventne natanko tedaj, ko so nekolinearne. 20.

Interpolacijski problem, pri katerem moramo interpolantu s prišteti še polinom, zapišemo kot. N X. αk ϕ (kxj − xk k) +. k=1. q X. a` p` (xj ) = yj ,. `=1. kjer so p` bazni polinomi vektorskega prostora polinomov v d-spremenljivkah skupne stop
. S nje največ m. Prostor takih polinomov označimo z Πm (Rd ), dimenzijo pa z q = m+d d tem dobimo dodatne prostostne stopnje. To rešimo tako, da dodamo dodatne pogoje na koeficiente αj , j = 1, . . . , N : N X. αk p` (xk ) = 0,. ` = 1, . . . , q.. k=1. Zgornji razširjeni sistem enačb matrično zapišemo kot      y α A P , =   0 a PT O kjer A, α in y poznamo že od prej. Matrika P ustreza polinomskemu delu sistema in vsebuje elemente Pjk = pk (xj ) za j = 1, . . . , N , k = 1, . . . , q, O je matrika samih ničel velikosti q × q, a vektor koeficientov ai , i = 1, . . . , q in 0 ničelni vektor velikosti q × 1. Več o tem si bomo pogledali v nadaljevanju.. 2.3.1. Primeri radialnih baznih funkcij. Poglejmo si nekaj primerov radialnih baznih funkcij, ki se najpogosteje uporabljajo v praksi: 1. Gaussova funkcija (Slika 2.1a) 2. ϕ(r) = e−cr ,. c > 0,. 2. multikvadrika (Slika 2.1b) 1. ϕ(r) = (c2 + r2 ) 2 ,. c > 0,. 3. inverzna multikvadrika (Slika 2.1c) 1. ϕ(r) = (c2 + r2 )− 2 ,. c > 0,. 4. funkcija tanke plošče (Slika 2.1d) ϕ(r) = r2 log(r). Franke je v svojem članku [7] primerjal nekaj tehnik za aproksimacijo razpršenih podatkov v višjih dimenzijah in ugotovil, da je uporaba multikvadrike in funkcije tanke plošče med najbolj učinkovitimi pristopi.. 21.

(a). (b). (c). (d). Slika 2.1: Radialne bazne funkcije: (a) Gaussova funkcija za c = 2, (b) multikvadrika za c = 1, (c) inverzna multikvadrika za c = 1 in (d) funkcija tanke plošče.. 22.

Poglavje 3. Pozitivno definitne funkcije Kot smo že povedali, je reševanje interpolacijskega problema z radialnimi baznimi funkcijami v resnici reševanje sistema linearnih enačb Aα = y. Enolična rešitev obstaja natanko tedaj, ko je A nesingularna. Zaenkrat še nihče ni uspešno karakteriziral razreda vseh baznih funkcij ϕ, ki generirajo nesingularno matriko sistema za poljubno množico različnih točk X = {x1 , . . . , xN }. Delno rešitev ponujajo pozitivno definitne matrike in funkcije.. 3.1. Pozitivno definitne matrike. Definicija 3.1. Realna simetrična matrika A = (aij )ni,j=1 se imenuje pozitivno semidefinitna, če je njena kvadratna forma nenegativna, torej T. α Aα =. N X N X. αj αk ajk ≥ 0. (3.1). j=1 k=1. za α = [α1 , . . . , αN ]T ∈ RN . Če je kvadratna forma (3.1) enaka 0 samo za α = 0, potem A imenujemo pozitivno definitna matrika. Pomembna lastnost pozitivno definitnih matrik je, da so vse njene lastne vrednosti pozitivne in zato so te matrike nesingularne (obratno ne velja). Pri reševanju sistema linearnih enačb, ki mu ustreza pozitivno definitna matrika, uporabimo razcep Choleskega, ki je hitrejši kot LU razcep.. 3.2. Pozitivno definitne funkcije. Če so bazne funkcije Bk v (2.1) take, da zagotavljajo pozitivno definitno interpolacijsko matriko, bo interpolacijski problem korekten. Tako pridemo do koncepta pozitivno definitnih funkcij. V klasični analizi so se te funkcije prvič začele pojavljati v začetku 20. stoletja. Zaradi zgodovinskih razlogov prihaja do razlik pri poimenovanju matrik in funkcij v zvezi s pozitivno definitnostjo. Kot bomo videli, so pozitivno definitne funkcije v analogiji s pozitivno semi-definitnimi matrikami. Za korektnost interpolacijskega problema bomo potrebovali strogo pozitivno definitne funkcije, ki pa so v analogiji s pozitivno definitnimi. 23.

matrikami. Opomnimo, da v nekaterih knjigah avtorji namesto izraza strogo pozitivno definitna funkcija uporabljajo izraz pozitivno definitna funkcija in zato ustrezno zamenjajo tudi izraz pozitivno definitna funkcija s pozitivno semi-definitna funkcija. Koncept, ki ga bomo predstavili v nadaljevanju, je prvi predstavil Micchelli [8]. Našel je povezavo med interpolacijo razpršenih podatkov in pozitivno definitnimi funkcijami. Definicija 3.2. Kompleksna zvezna funkcija Φ : Rd → C je pozitivno definitna na Rd , če je N X N X αj αk Φ(xj − xk ) = α∗ (Φ(xj − xk ))N (3.2) j,k=1 α ≥ 0, j=1 k=1. za poljubnih N paroma različnih točk x1 , . . . , xN ∈ Rd in α = [α1 , . . . , aN ]T ∈ CN . Funkcija Φ je strogo pozitivno definitna na Rd , če je kvadratna forma (3.1) enaka nič samo za α = 0. Uporabili smo bolj splošno definicijo, kjer nastopa kompleksna funkcija. To pride prav pri naslednjem izreku, sicer pa bomo uporabljali le realne funkcije in realne koeficiente. Videli bomo, da za sodo realno funkcijo zadošča preveriti kvadratno formo le za vektorje α ∈ RN . Izrek 3.3. Osnovne lastnosti pozitivno definitnih funkcij: (1) Če so Φ1 , . . . , Φn pozitivno definitine na Rd in ci ≥ 0, i = 1, . . . , n, potem je končna nenegativna linearna kombinacija pozitivno definitnih funkcij Φ=. n X. ci Φi ,. i=1. tudi pozitivno definitna. Velja še več, če je vsaj ena izmed Φi strogo pozitivno definitna in ustrezen ci > 0, potem je Φ strogo pozitivno definitna. (2) Φ(0) ≥ 0. (3) Φ(−x) = Φ(x) za ∀x ∈ Rd . (4) Vsaka pozitivna definitna funkcija je omejena in sicer velja |Φ(x)| ≤ Φ(0). za. ∀x ∈ Rd .. (5) Če je Φ pozitivno definitna in velja Φ(0) = 0, potem je Φ ≡ 0. (6) Produkt dveh strogo pozitivno definitnih funkcij je strogo pozitivno definitna funkcija. Pn Dokaz. (1) Izberimo funkcijo Φ(x) = x ∈ Rd , kjer so Φi pozitivno i=1 ci Φi (x), definitne funkcije in ci ≥ 0 za i = 1, . . . , n. Po definiciji 3.2 preverimo, če je Φ pozitivno definitna: N X N X. αj αk Φ(xj − xk ) =. j=1 k=1. =. N X N X. n X. ci Φi (xj − xk ). j=1 k=1 i=1 n N N X XX. αj αk Φi (xj − xk ). ci. i=1. j=1 k=1. | ≥ 0.. 24. αj αk. {z. ≥0. }.

Dvojna vsota v drugi vrstici je nenegativna, ker je Φi pozitivno definitna za vsak i. Recimo, da je Φ` strogo pozitivno definitna in ustrezni koeficient c` > 0. Potem velja N X N X. = = =. αj αk Φ(xj − xk ). j=1 k=1 N X N X. n X. ci Φi (xj αj αk i=1 j=1 k=1 n N X N X X. αj αk Φi (xj − xk ). ci. i=1 n X. ci. − xk ). j=1 k=1 N X N X. i=1 i6=`. αj αk Φi (xj − xk ) + c`. j=1 k=1. |. N X N X. αj αk Φ` (xj − xk ) > 0.. j=1 k=1. {z. }. ≥0. |. {z. >0. }. Torej je Φ strogo pozitivno definitna. (2) V definiciji 3.2 izberemo α = (1, 0, 0, . . . , 0) N X N X. αj αk Φ(xj − xk ) = α1 α1 Φ(x1 − x1 ) = Φ(0).. j=1 k=1. Ker je Φ pozitivno definitna, velja Φ(0) ≥ 0. (3) Naj bo α = (1, c, 0, . . . , 0), x1 = 0 in x2 = x. Dobimo N X N X. αj αk Φ(xj − xk ) = (1 + |c|2 )Φ(0) + cΦ(x) + cΦ(−x) ≥ 0. j=1 k=1. za vsak c ∈ C. Če vzamemo c = 1, dobimo 2Φ(0) + Φ(x) + Φ(−x) ≥ 0 in za c = i dobimo 2Φ(0) + iΦ(x) − iΦ(−x) ≥ 0. Od tod vidimo, da morata biti oba izraza Φ(x)+Φ(−x) in i(Φ(x)−Φ(−x)) realna. To pa je možno samo, ko je Φ(x) = Φ(−x). (4) Vzemimo α = (|Φ(x)| , −Φ(x), 0, . . . , 0), x1 = 0 in x2 = x. Vstavimo v definicijo 3.2 in dobimo N X N X. αj αk Φ(xj − xk ) = 2 |Φ(x)|2 Φ(0) − |Φ(x)| Φ(x)Φ(−x) − Φ(x) |Φ(x)| Φ(x).. j=1 k=1. Uporabimo lastnost (3), ki pravi Φ(−x) = Φ(x). Torej je 2 |Φ(x)|2 Φ(0) − 2 |Φ(x)|3 ≥ 0. Če |Φ(x)| > 0, dobimo Φ(0) ≥ |Φ(x)|. V primeru, ko je |Φ(x)| = 0, je premislek trivialen. (5) Sledi neposredno iz lastnosti (4).. 25.

(6) Vzemimo strogo pozitivno definitni funkciji Φ1 in Φ2 ter preverimo, če je produkt Φ1 Φ2 strogo pozitivno definitna funkcija. Ta lastnost je posledica Schurovega izreka. Ker je interpolacijska matrika AΦ2 = (Φ2 (xj − xk ))N j,k=1 pozitivno definitna, obstaja N ×N unitarna matrika S ∈ C taka, da AΦ2 = SDS ∗ , kjer je D = diag {λ1 , . . . , λN } diagonalna matrika z lastnimi vrednostmi 0 < λ1 ≤ · · · ≤ λN na diagonali. Torej lahko zapišemo N X Φ2 (x` − xj ) = s`k sjk λk k=1. in dobimo αT A. Φ1 Φ2 α. N X N X. =. α` αj Φ1 (x` − xj )Φ2 (x` − xj ). `=1 j=1 N X N X. =. α` αj Φ1 (x` `=1 j=1 N N X N X X. =. − xj ). N X. s`k sjk λk. k=1. α` s`k αj sjk Φ1 (x` − xj ). λk. `=1 j=1 N X N X. k=1. ≥ λ1 = λ1. α` αj Φ1 (x` − xj ). `=1 j=1 N X. N X. s`k sjk. k=1. |α` |2 Φ1 (0).. `=1. Zadnja enakost velja, ker je S unitarna matrika in zato SS ∗ = I. Zadnja vrstica je nenegativna za poljuben α ∈ CN in enaka 0 samo za α = 0. Poglejmo si realne pozitivno definitne funkcije in njihovo karakterizacijo. Izrek 3.4. Naj bo funkcija Φ : Rd → R zvezna. Potem je Φ pozitivno definitna natanko tedaj, ko je Φ soda in za vse N ∈ N, α ∈ RN in vse paroma različne x1 , . . . , xN ∈ Rd velja N X N X. αj αk Φ(xj − xk ) ≥ 0.. (3.3). j=1 k=1. Funkcija Φ je strogo pozitivno definitna, če je kvadratna forma enaka nič samo za α = 0. Dokaz. (⇒) : Če je Φ pozitivno definitna in realna funkcija, po točki (3) izreka 3.3 vemo, da je soda in očitno Φ zadošča tudi pogoju (3.3). (⇐) : Predpostavimo, da Φ zadošča danim pogojem in pokažimo, da je pozitivno definitna. Vzemimo αj = aj + ibj N X N X j=1 k=1. αj αk Φ(xj − xk ) =. N X N X. (aj ak j=1 k=1 N X N X. + bj bk )Φ(xj − xk ). ak bj (Φ(xj − xk ) − Φ(xk − xj )) .. +i. j=1 k=1. Ker je Φ soda funkcija, je druga vsota na desni enaka 0. Prva vsota na desni je nenegativna zaradi predpostavke in zato je Φ pozitivno definitna funkcija. Za strogo pozitivno definitnost je dokaz podoben.. 26.

Sedaj se osredotočimo na pozitivno definitne radialne funkcije. Definicija 3.2 opiše (strogo) pozitivno definitne funkcije v jeziku funkcij več spremenljivk. Ko bomo govorili o radialnih funkcijah, Φ(x) = ϕ(kxk), bo priročno govoriti o funkciji ene spremenljivke ϕ kot o (strogo) pozitivno definitni radialni funkciji. Radialne funkcije imajo preprosto strukturo in lepo povezavo s funkcijami ene spremenljivke. Definicija 3.5. Funkcijo ene spremenljivke ϕ : [0, ∞) → R imenujemo strogo pozitivno definitna na Rd , če je ustrezna funkcija več spremenljivk Φ(x) := ϕ (kxk) , x ∈ Rd , strogo pozitivno definitna. Vsaka radialna funkcija je očitno soda. Iz izreka 3.4 vemo, da se torej lahko omejimo le na realne koeficiente v kvadratni formi. 2. Primer 3.6. Gaussova funkcija Φ(x) = e−αkxk , α > 0, je pozitivno definitna na vsakem Rd . Dokaz poteka s pomočjo Fourierove transformacije. Celoten postopek najdemo v [12].. 3.3. Popolnoma monotone funkcije. Ena izmed možnosti za karakterizacijo (strogo) pozitivno definitnih funkcij je uporaba Fourierove transformacije, ki pa je ni vedno lahko izračunati. Tega se bomo lotili s pomočjo popolnoma monotonih funkcij, ki nam bodo pomagale določiti katera funkcija je (strogo) pozitivno definitna in radialna na Rd . Definicija 3.7. Funkcija ϕ : [0, ∞) → R je popolnoma monotona funkcija na (0, ∞), če je ϕ ∈ C ∞ (0, ∞) in (−1)` ϕ(`) (r) ≥ 0 za vsak ` ∈ N0 in vsak r > 0. Če dodamo še pogoj ϕ ∈ C [0, ∞) pravimo, da je ϕ popolnoma monotona na [0, ∞). Poglejmo si nekaj primerov. Primer 3.8. Funkcija ϕ(r) = c, c ≥ 0, je očitno popolnoma monotona na [0, ∞). Primer 3.9. Vzemimo funkcijo ϕ(r) = e−αr , α ≥ 0 in preverimo, da je popolnoma monotona na [0, ∞). Dobimo (−1)` ϕ(`) (r) = (−1)` (−α)` eαr = α` eαr ≥ 0,. ` = 0, 1, 2, . . . .. Primer 3.10. Funkcija ϕ(r) = (1 + r)−β , β ≥ 0 je popolnoma monotona na [0, ∞), saj velja (−1)` ϕ(`) (r) = (−1)` (−β)(−β − 1) · · · (−β − ` + 1)(1 + r)−β−` = (−1)2` β(β + 1) · · · (β + ` − 1)(1 + r)−β−` ≥ 0, ` = 0, 1, 2, . . . . Lastnosti popolnoma monotonih funkcij najdemo v [3, 6, 13]. Naštejmo jih le nekaj. (1) Nenegativna končna linearna kombinacija popolnoma monotonih funkcij je popolnoma monotona. (2) Produkt dveh popolnoma monotonih funkcij je popolnoma monotona funkcija. (3) Če je ϕ popolnoma monotona in ψ absolutno monotona (t.j. ψ (`) ≥ 0 za vse ` ≥ 0), potem je ψ ◦ ϕ popolnoma monotona.. 27.

Želimo najti povezavo med popolnoma monotonimi in strogo pozitivno definitnimi funkcijami. Za to bomo potrebovali naslednjo intergralsko karakterizacijo, ki so jo neodvisno obravnavali Bernstein leta 1914 in 1928, Hausdorff leta 1921 in Widder leta 1931. Izrek 3.11 (Hausdorff-Bernstein-Widder). Funkcija ϕ : [0, ∞) → R je popolnoma monotona na [0, ∞) natanko tedaj, ko je enaka Laplaceovi transformaciji nenegativne končne Borelove mere ν, torej je Z ∞ e−rt dν(t). ϕ(r) = Lν(r) = 0. Dokaz in nekaj podrobnosti glede zgornjega izreka najdemo v [12]. Sedaj, ko smo ugotovili, da so popolnoma monotone funkcije nič drugega kot Laplaceove transformacije nenegativnih končnih Borelovih mer, si poglejmo povezavo med pozitivno definitnimi radialnimi in popolnoma monotonimi funkcijami. To povezavo je prvi odkril Schoenberg leta 1938. Izrek 3.12 (Schoenberg). Funkcija ϕ je popolnoma monotona na [0, ∞) natanko tedaj, ko je Φ := ϕ(k·k2 ) pozitivno definitna in radialna na Rd za vsak d. Funkcija ϕ ene spremenljivke se tu obnaša kot funkcija d-spremenljivk preko kvadrata norme (ϕ(k·k2 )), kar je drugače v primerjavi z definicijo 2.4 za radialno funkcijo. Za dokaz izreka bomo potrebovali še nekaj dodatne teorije o popolnoma monotonih funkcijah. Definicija 3.13. Naj bo k ∈ N0 . Predpostavimo, da je {fj }j∈N0 zaporedje realnih števil. Izraz   k X k k k−j k ∆ {fj } (`) ≡ ∆ f` := (−1) f`+j , ` ∈ N0 . j j=0. je k-ta prema diferenca. Za funkcijo ϕ : [0, ∞) → R definiramo k-to diferenco kot ∆kh ϕ(r). :=. k X. k−j. (−1). j=0.   k ϕ(r + jh) j. za vsak r ≥ 0 in h > 0. Če ϕ definirana le na (0, ∞), potem se omejimo na r > 0. Lema 3.14. Naj ϕ : (0, ∞) → R zadošča (−1)n ∆nh ϕ(r) ≥ 0 za vse r, h > 0 in n = 0, 1, 2. Potem je ϕ nenegativna, nenaraščajoča, zvezna in konveksna na (0, ∞). Dokaz. Izraz (−1)n ∆nh ϕ(r) razpišemo za primera n = 0, 1 in hitro ugotovimo, da je funkcija ϕ nenegativna in naraščajoča. Za n = 0 je (−1)n ∆nh ϕ(r) = ∆0h ϕ(r) = ϕ(r) ≥ 0. Od tod sledi nenegativnost funkcije. Za n = 1 dobimo (−1)1 ∆1h ϕ(r) = (−1).   1 X 1 (−1)1−j ϕ(r + jh) = ϕ(r) − ϕ(r + h) ≥ 0 j j=0. Torej je ϕ(r) ≥ ϕ(r +h), zato je ϕ nenaraščajoča funkcija. Dokazati moramo le še zveznost in konveksnost funkcije ϕ. Vemo da je funkcija ϕ nenaraščajoča, torej ima levo in desno limito za vsak r ∈ (0, ∞) in zato velja ϕ(r+) ≤ ϕ(r) ≤ ϕ(r−).. 28. (3.4).

Razpišimo izraz (−1)n ∆nh ϕ(r) za n = 2 ∆2h ϕ(r). =. 2 X j=0. 2−j. (−1).   2 ϕ(r + jh) = ϕ(r) − 2ϕ(r + h) + ϕ(r + 2h) ≥ 0. j. Zadnjo neenakost malo popravimo in dobimo ϕ(r) + ϕ(r + 2h) ≥ 2ϕ(r + h) 1 2. (ϕ(r) + ϕ(r + 2h)) ≥ ϕ(r + h). za ∀r, h > 0.. Torej je ϕ središčno konveksna funkcija. Od tod lahko zapišemo naslednji dve neenakosti 2ϕ(r − h) ≤ ϕ(r) + ϕ(r − 2h). (3.5). 2ϕ(r) ≤ ϕ(r − h) + ϕ(r + h).. (3.6). in Iz (3.5) sledi 2ϕ(r−) ≤ ϕ(r) + ϕ(r−) torej ϕ(r−) ≤ ϕ(r), kar nam da skupaj z drugim delom izraza (3.4) enakost ϕ(r) = ϕ(r−).. (3.7). Iz (3.6) pa dobimo 2ϕ(r) ≤ ϕ(r−) + ϕ(r+), kjer lahko uporabimo enakost (3.7) in dobimo ϕ(r−) ≤ ϕ(r+). Če upoštevmo še izraz (3.4), dobimo ϕ(r−) = ϕ(r+). Torej smo pokazali, da velja ϕ(r−) = ϕ(r) = ϕ(r+), kar pomeni, da se leva in desna limita ujemata. Od tod sledi, da je funkcija ϕ zvezna. Zveznost in središčna konveksnost skupaj zagotavljata, da je funkcija ϕ tudi konveksna in tako smo končali dokaz. Izrek 3.15. Za funkcijo ϕ : (0, ∞) → R sta naslednji dve trditvi ekvivalentni: (1) ϕ je popolnoma monotona na (0, ∞). (2) ϕ zadošča neenakosti (−1)n ∆nh ϕ(r) ≥ 0 za vse r, h > 0 in n ∈ N0 . Dokaz. (1) ⇒ (2): Predpostavimo, da je ϕ popolnoma monotona na (0, ∞) in velja ∆nh ϕ(r) = ∆n−1 (ϕ(r + h) − ϕ(r)) = h∆hn−1 ϕ0 (ξ1 ), h. ξ1 ∈ (r, r + h),. kjer smo pri zadnji enakosti uporabili Lagrangeov izrek. Sedaj lahko še enkrat uporabimo Lagrangeov izrek in dobimo ∆nh ϕ(r) = h2 ∆hn−2 ϕ00 (ξ2 ),. ξ2 ∈ (r, r + 2h).. To iterativno ponavljamo za vsak r, h > 0 in vsak n ∈ N0 ter dobimo ∆nh ϕ(r) = hn ϕ(n) (ξn ), 29. ξn ∈ (r, r + nh)..

Po točki (1) vemo, da velja (−1)n ϕ(n) (r) ≥ 0 za vsak n ∈ N0 in vsak r > 0. Ker je h > 0 sledi (−1)n ∆nh ϕ(r) ≥ 0. (2) ⇒ (1): Sedaj privzamemo točko (2) in želimo pokazati, da je ϕ ∈ C ∞ (0, ∞) in da zadošča alternirajočim pogojem iz definicije 3.7. To nam zagotavlja popolno monotonost funkcije. Po lemi 3.14 vemo, da je ϕ nenegativna in zvezna na (0, ∞). Torej zadošča izrazu (−1)n ϕ(n) ≥ 0 za n = 0. Po lemi 3.14 pa vemo tudi, da je ϕ nenaraščajoča in konveksna, zato za leve in desne odvode velja ϕ0− (r) ≤ ϕ0+ (r) ≤ ϕ0− (s), kjer je 0 < r < s < ∞. Če pokažemo, da g := −ϕ0+ zadošča alternirajočim pogojem iz točke (2), bi po lemi 3.14 sledilo, da je g zvezna na (0, ∞) (zato se levi in desni odvod ujemata) in s tem ϕ v prostoru C 1 (0, ∞) ter (−1)n ϕ(n) ≥ 0 za n = 1, saj (−1)n g n ≥ 0 za n = 0. Torej, ker bi g s tem zadoščal pogoju (2), bi lahko vse skupaj ponovili za g namesto za ϕ. Idejo bi naprej iterirali in dobili, da je ϕ popolnoma monotona na (0, ∞). Dokažimo, da g zadošča točki (2). Najprej pokažimo, da je (−1)k ∆kh ϕ nenaraščajoča funkcija. Velja naslednje n−1 X i=0. ∆1h/n ϕ.      n−1 X  i i i+1 r+ h = h −ϕ r+ h ϕ r+ n n n i=0. = ϕ(r + h) − ϕ(r) = ∆1h ϕ(r). To lahko razširimo na ∆kh ϕ(r) kot ∆kh ϕ(r). n−1 X. =. ···. i1 =0. n−1 X. ∆kh/n ϕ. ik =0.   h . r + (i1 + · · · + ik ) n. (3.8). Na obeh straneh zgornje enakosti uporabimo (−1)k ∆1h/n in dobimo naslednje k. (−1). ∆1h/n ∆kh ϕ(r). =. n−1 X i1 =0. ···. n−1 X. k. (−1). ∆k+1 h/n ϕ. ik =0. . h r + (i1 + · · · + ik ) n.  ≤ 0.. Zadnja neenakost drži, ker ϕ zadošča pogojem iz točke (2). To pomeni, da je (−1)k ∆kh ϕ(r) ≥ 0 in če neenačbo delimo z −1 bomo dobili (−1)k−1 ∆kh ϕ(r) ≤ 0. Torej imamo     n−1 n−1 X X h  (−1)k ∆1h/n  ··· ∆kh/n ϕ r + (i1 + · · · + ik ) ≤ 0, n i1 =0. ik =0. kjer uporabimo enakost (3.8) in dobimo  
(−1)k ∆1h/n ∆kh ϕ(r) = (−1)k ∆kh ∆1h/n ϕ(r)

= (−1)k ∆kh ϕ r + nh − ϕ(r) ≤ 0. Od tod sledi k. (−1). ∆kh ϕ(r). k. ≥ (−1). ∆kh ϕ. 30. . h r+ n.  za. ∀n ∈ N..

Če postopek ponavljamo, dobimo k. (−1). ∆kh ϕ(r). k. ≥ (−1). ∆kh ϕ.    m  h ≥ · · · ≥ (−1)k ∆kh ϕ r + h , r+ n n. za poljubna n, m ∈ N. To nam pove, da je (−1)k ∆kh ϕ nenaraščajoča, ker je ϕ zvezna. Od tod pa sledi (−1)k ∆kh ϕ(r) − (−1)k ∆kh ϕ(r + δ) ≤ 0, −δ za poljuben δ > 0, torej (−1)k ∆kh ϕ0+ (r) ≤ 0. Na začetku smo definirali g = −ϕ0+ ⇒ ϕ0+ = −g. To uporabimo in dobimo (−1)k ∆kh g(r) ≥ 0 za vsak r, h > 0 in n ∈ N0 , torej g zadošča točki (2) in s tem je dokaz končan. Dokaz izreka 3.12. (⇒): Če je ϕ popolnoma monotona na [0, ∞), potem po izreku 3.11 vemo, da obstaja reprezentacija oblike Z ∞ ϕ(r) = e−rt dν(t), 0. za neko nenegativno končno Borelovo mero ν. Potem lahko funkcijo Φ(x) = ϕ(kxk2 ) zapišemo kot Z ∞ 2 Φ(x) = ϕ(kxk2 ) = e−kxk t dν(t). 0. Preverimo, ali je zgornja funkcija pozitivno definitna na poljubnem Rd . Vzemimo poljubne različne točke x1 , . . . , xN ter poljuben vektor α ∈ RN N X N X. Z αj αk Φ(xj − xk ) =. N X N ∞X. 0. j=1 k=1. 2. αj αk e−tkxj −xk k dν(t) ≥ 0,. j=1 k=1. kjer imamo Gaussovo funkcijo, ki je strogo pozitivno definitna ter radialna funkcija in mera ν je nenegativna. Torej je Φ pozitivno definitna radialna funkcija na poljubnem Rd . (⇐): Sedaj predpostavimo, da je ϕ(k · k2 ) pozitivno definitna za vsak Rd . Ker ϕ zvezna v nič, po izreku 3.15 zadošča pokazati, da je (−1)k ∆kh ϕ(r) ≥ 0 za vse k ∈ N0 in vse r, h > 0. Dokazali bomo z indukcijo na k. p Za k = 0 moramo pokazati, da je ϕ(r) ≥ 0 za vse r ∈ (0, ∞). Izberemo xj = r/2ej , 1 ≤ j ≤ N , kjer z ej označimo j-ti enotski vektor v RN . Ker je ϕ(k·k2 ) pozitivno definitna za vsak RN in glede na izbiro podatkov, za katere velja kxj − x` k = r za j 6= `, imamo 0≤. N X N X. ϕ(kxj − x` k2 ) = N ϕ(0) + N (N − 1)ϕ(r).. j=0 `=0.
Vseh parov podatkov, za katere je j 6= `, je N2 2 = N (N − 1), kjer smo upoštevali, da je vrstni red pomemben. Zgornji izraz delimo z N (N − 1) ϕ(0) + ϕ(r) ≥ 0 N −1 in pošljemo N v neskončnost, tako dobimo ϕ(r) ≥ 0,. za. 31. ∀r > 0..

Za indukcijski korak je dovolj pokazati, da je −∆1h ϕ(k · k2 ) tudi pozitivno definitna na vsakem Rd , če je ϕ(k · k2 ) pozitivno definitna na vsakem Rd . Nato pa podobno kot prej dokažemo, da velja −∆1h ϕ(k · k2 ) ≥ 0. Ko to dokažemo, lahko na enak način naprej sklepamo in sicer, da je (−1)2 ∆2n ϕ(k · k2 ) pozitivno definitna na vsakem Rd , če je −∆1h ϕ(k · k2 ) pozitivno definitna na vsakem Rd in od tod sledi (−1)2 ∆2h ϕ(k · k2 ) ≥ 0. In tako naprej induktivno ponavljamo. Torej dokažimo, da je −∆1h ϕ(k · k2 ) pozitivno definitna. Predpostavimo, da imamo podane x1 , . . . , xN ∈ Rd in α ∈ RN . Sedaj si predstavljajmo xj kot elemente prostora Rd+1 tako, da jim na konec dodamo komponento 0 in definiramo   xj , 1≤j≤N yj := √  x + he , N ≤ j ≤ 2N, j−N. ter. d+1.   αj , βj :=  α. 1≤j≤N. j−N ,. N ≤ j ≤ 2N.. Ker je ϕ(k · k2 ) pozitivno definitna tudi na Rd+1 , velja 0 ≤. 2N X. βi βj ϕ(kyi − yj k2 ). i,j=1. =. N X. αi αj ϕ(kxi − xj k2 ) −. i,j=1. −. N 2N X X. αi αj−N ϕ(kxi − xj−N k2 + h). i=1 j=N +1. 2N X. N X. αi−N αj ϕ(kxi−N − xj k2 + h). i=N +1 j=1. +. 2N X. αi−N αj−N ϕ(kxi−N − xj−N k2 ). i,j=N +1. = 2. N X.   αi αj ϕ(kxi − xj k2 ) − ϕ(kxi − xj |2 + h). i,j=1. = 2. N X.  αi αj −1)[ϕ(kxi − xj k2 + h) − ϕ(kxi − xj k2 ). i,j=1. = 2. N X.   αi αj −∆1h ϕ(kxi − xj k2 ) ,. i,j=1. √ kjer smo uporabili dejstvo, da je xi − xj ⊥ hed+1 in zato velja √ √ k(xi − xj ) + (± hed+1 )k2 = kxi − xj k2 + k ± hed+1 k2 = kxi − xj k2 + h. Pokazali smo torej, da je −∆1h ϕ(kxi − xj k2 ) pozitivno definitna. Sedaj pa lahko podobno kot za primer k = 0, pokažemo −∆1h ϕ(k · k2 ) ≥ 0. S tem je dokaz končan. Nas bolj zanimajo strogo pozitivno definitne funkcije kot pozitivno definitne. Imamo naslednji izrek, ki karakterizira radialne funkcije kot strogo pozitivno definitne na poljubnem Rd . 32.

Izrek 3.16. Za funkcijo ϕ : [0, ∞) → R sta naslednji dve trditvi ekvivalentni (1) ϕ(k·k2 ) je strogo pozitivno definitna in radialna na poljubnem Rd . (2) ϕ je popolnoma monotona na [0, ∞) in ni konstantna. Dokaz izreka je v [12]. Primer 3.17. Na začetku poglavja smo pokazali, da je funkcija ϕ(r) = (1 + r)−β , β > 0, popolnoma monotona na [0, ∞) in ker ni konstantna, po izreku 3.16 vemo, da je inverzna multikvadrika Φ(x) = ϕ(kxk2 ) = (1 + kxk2 )−β , β > 0, strogo pozitivno definitna in radialna na Rd za vsak d. Test s popolno monotonimi funkcijami je lažji kot računanja Fourierove transformacije. Še več, tu smo pokazali, da je inverzna multikvadrika strogo pozitivno definitna za poljuben d, ki ni odvisen od β. Pri dokazovanju s Fourierovo transformacijo dobimo, da je inverzna multikvadrika strogo pozitivno definitna samo za določene d v odvisnosti od β (podrobnosti najdemo v [5]).. 33.

34.

Poglavje 4. Pogojno pozitivno definitne funkcije Interpolacijski primer lahko uspešno rešimo, če imamo strogo pozitivno definitno funkcijo. Vse radialne bazne funkcije ne spadajo v to skupino. Na začetku smo si pogledali primer tanke plošče, pri kateri z netrivialno izbiro točk dobimo singularno matriko. V tem poglavju bomo posplošili pojem strogo pozitivno definitne funkcije in tako razširili izbiro radialnih baznih funkcij, s katerimi enolično rešimo interpolacijski problem. Definicija 4.1. Kompleksna zvezna funkcija Φ : Rd → C je pogojno pozitivno definitna reda m, če N X N X αj αk Φ(xj − xk ) ≥ 0 (4.1) j=1 k=1. za vsak N ∈ N, poljubne paroma različne centre x1 , . . . , xN ∈ Rd in poljuben α ∈ CN , ki zadoščajo pogoju N X αj p(xj ) = 0, (4.2) j=1. kjer je p poljuben kompleksni polinom več spremenljivk stopnje največ m − 1. Funkcija Φ se imenuje strogo pogojno pozitivno definitna reda m, če je kvadratna forma enaka nič samo za α = 0. Iz definicije takoj sledi naslednje. Lema 4.2. Funkcija, ki je (strogo) pogojno pozitivno definitna reda m, je tudi (strogo) pogojno pozitivno definitna reda ` ≥ m. V definiciji 4.1 nastopa polinom p, ki je stopnje največ m−1. Uporabimo ga lahko tudi v primeru reda ` ≥ m, saj zadošča pogoju, ki pravi, da je p stopnje največ ` − 1 ≥ m − 1. Tako kot smo pri strogo pozitivno definitnih funkcijah, bomo tudi v primeru strogo pogojno pozitivno definitnih funkcij, definicijo reducirali na realne koeficiente in polinome, če bo bazna funkcija realna in soda. Več o tem najdemo v [12]. Izrek 4.3. Zvezna soda funkcija Φ : Rd → R je strogo pogojno pozitivno definitna reda m natanko tedaj, ko za vse N ∈ N, vse paroma različne centre x1 , . . . , xN ∈ Rd in vse α ∈ RN \ {0} velja N X αj p(xj ) = 0, j=1. 35.

za vse realne polinome stopnje največ m − 1 in je kvadratna forma N X N X. αj αk Φ(xj − xk ). j=1 k=1. pozitivna.. 4.1. Pogojno pozitivno definitne radialne funkcije. Kot v primeru strogo pozitivno definitnih radialnih funkcij, bomo našli povezavo tudi med pogojno pozitivno definitnimi radialnimi funkcijami in popolnoma monotonimi funkcijami. Tako bomo dobili lažje kriterije za preverjanje pogojne pozitivne definitnosti radialnih funkcij v primerjavi z uporabo Fourierove transformacije, ki jo najdemo v [5]. Sedaj se osredotočimo na funkcijo ene spremenljivke ϕ, ki je povezana s funkcijo Φ preko izraza ϕ(k·k2 ). Naslednji izrek karakterizira pogojno pozitivno definitne radialne funkcije na Rd za vse d, s pomočjo popolnoma monotonih funkcij. Izrek 4.4 (Micchelli). Naj bo ϕ ∈ C [0, ∞) ∩ C ∞ (0, ∞). Potem je funkcija Φ = ϕ(k·k2 ) pogojno pozitivno definitna reda m ∈ N0 na Rd za vsak d natanko tedaj, ko je (−1)m ϕ(m) popolnoma monotona na (0, ∞). Za dokaz zgornjega izreka potrebujemo naslednji dve lemi. Lema 4.5. Vsak polinom q stopnje manj kot 2m je pogojno pozitivno definiten reda m. Drugače povedano, za poljubno množico {x1 , . . . , xN } ⊆ Rd in vsak α ∈ CN , ki zadoščata pogoju (4.2) za vsak p ∈ Πm−1 (Rd ), je kvadratna forma (4.1) za ϕ = q enaka nič. Dokaz. Naj bosta ν, µ ∈ Nd0 multiindeksa za katera velja xν = xν11 · · · xνdd in |ν| = P ν1 + · · · + νd . Izberemo polinom q(x) = |ν|<2m cν xν in uporabimo multi-binomski izrek N X N X. αj αk q(xj − xk ) =. j=1 k=1. N X N X X |ν|<2m j=1 k=1. =. X. cν. |ν|<2m.
ν. αj αk cν (xj − xk )ν.
ν1. (−1)|µ|. µ≤ν.  X N N X ν αj xν−µ αk x µ j k, µ j=1. k=1.
νd. . Ker je |ν| < 2m, hkrati ne more veljati |µ| ≥ m in |ν − µ| ≥ m. P P ν−µ µ Zato bo ena izmed vsot, N ali N k=1 αk xk , zaradi pogoja (4.2) enaka nič za j=1 αj xj vsak par ν, µ. Torej je res kvadratna forma za q enaka nič. kjer je. µ. =. µ1. ···. X. µd. Lema 4.6. Naj bo Φ pogojno pozitivno definitna funkcija reda m > 0 in ` ≤ m. Če y1 . . . , yM ∈ Rd in β ∈ CM \ {0} zadoščajo pogoju M X. βj p(yj ) = 0. j=1. za vse p ∈ Π`−1 (Rd ), potem je funkcija Ψ(x) :=. M X M X. βj βk Φ(x − yj + yk ). j=1 k=1. pogojno pozitivno definitna reda m − `.. 36.

Dokaz. Za bazo prostora polinomov vzemimo kar monome. Naj bosta ν, µ ∈ Nd0 multiindeksa. Recimo, da imamo podane take x1 , . . . , xN ∈ Rd in α ∈ CN , ki zadoščajo pogoju PN ν d j=1 αj xj = 0 za vse ν ∈ N0 , za katere velja |ν| < m − `. Potem je N X N X. αm αn Ψ(xm − xn ) =. m=1 n=1. N M X X. αm βj αn βk Φ((xm − yj ) − (xn − yk )). m,n=1 j,k=1. =. XX I. CI CJ Φ(zI − zJ ),. J. kjer zadnji dve vsoti tečeta od 1 do N M in je CI = αm βj , CJ = αn βk , zI = xm − yj in zJ = xn − yk . Če pokažemo, da novi centri in novi koeficienti ustrezajo pogoju (4.2), je zadnji izraz nenegativen zaradi predpostavke na fukcijo Φ. Za vsak |ν| < m velja X. CI zIν. =. N X M X. αm βj (xm − yj )ν. m=1 j=1. I. =. X µ≤ν.  ! M X  βj yjµ  αm xν−µ m. N X.   |µ| ν (−1) µ. m=1. j=1. = 0, saj je bodisi |ν − µ| < m − ` bodisi |µ| < `, kar nam pa po predpostavki iz začetka dokaza in po predpostavki iz izreka zagotavlja, da je ena izmed zadnjih dveh vsot enaka nič in zato celoten izraz enak nič. Dokaz izreka 4.4. (⇐) : Predpostavimo, da je (−1)m ϕ(m) popolnoma monotona na (0, ∞). Po izreku 3.11 vemo, da lahko zapišemo Z ∞ m (m) e−rt dν(t), r > 0, (−1) ϕ (r) = 0. kjer je ν nenegativna Borelova mera na [0, ∞). Definiramo ϕε (r) = ϕ(r + ε) za ε > 0. Razpišemo Taylorjevo vrsto za ϕε okoli točke 0 in uporabimo zgornjo izražavo z integralom. m−1 X. ϕε (r) =. `=0 m−1 X. =. `=0 m−1 X. =. `=0. (`). ϕε (0) ` 1 r + `! (m − 1)! (`). ϕε (0) ` (−1)m r + `! (m − 1)! (`). ϕε (0) ` (−1)m r + `! (m − 1)!. Z. r. (r − t)m−1 ϕ(m) ε (t)dt. 0. Z. r. 0. Z. ∞. Z. (r − t)m−1 e−(t+ε)s dν(s)dt. 0 ∞. e. −εs. Z. 0. r. (r − t)m−1 e−ts dt dν(s),. 0. kjer smo pri zadnjem koraku uporabili Fubinijev izrek o zamenjavi vrstnega reda integralov. Razpišemo še Taylorjevo vrsto za funkcijo r 7→ e−rs in dobimo −rs. e. =. m−1 X j=0. (−1)j (−s)m (rs)j + j! (m − 1)!. Z. r. (r − t)m−1 e−st dt. 0. oziroma  e−rs −. m−1 X j=0.  Z r (−1)j 1 1 j (rs) = (r − t)m−1 e−st dt. j! (−s)m (m − 1)! 0. 37.

Notranji integral pri reprezentaciji ϕε izrazimo s pomočjo zadnje enakosti in dobimo   Z ∞ m−1 m−1 j X X ϕ(`) (−1) j j  −εs dν(s) ε (0) ` e−rs − ϕε (r) = r + r s e . `! j! sm 0 j=0. `=0. Sedaj predpostavimo, da imamo paroma različne točke x1 , . . . , xN ∈ Rd in α ∈ RN , ki zadoščajo pogoju (4.2) za vsak polinom p ∈ Πm−1 (Rd ). Če si pogledamo kvadratno formo zgornjega izraza ugotovimo, da zaradi leme 4.5 odpadejo polinomski deli, ki nastopajo v ϕε . Torej je N X N X. 2. Z. αj αk ϕε (kxj − xk k ) =. N X N ∞X. 0. j=1 k=1. 2. αj αk e−skxj −xk k e−εs. j=1 k=1. dν(s) ≥ 0, sm. za vsak ε > 0, saj vemo, da je Gaussova funkcija strogo pozitivno definitna. Funkcija na levi je zvezna v ε in lahko pošljemo ε proti nič. Tako dobimo, da je kvadratna forma nenegativna tudi za ε = 0. S tem smo dokazali, da je ϕ(k·k2 ) pogojno pozitivno definitna reda m. (⇒) : Predpostavimo, da je ϕ(k·k2 ) pogojno pozitivno definitna reda m. Z indukcijo na m bomo pokazali, da je (−1)m ϕ(m) popolnoma monotona. Za m = 0 dobimo kar Schoenbergov izrek 3.12. Naj trditev velja za m in predpostavimo, da je ϕ(k·k2 ) pogojno pozitivno definitna reda m + 1 za vsak Rd . Fiksiramo dimenzijo d. Za h > 0 lahko zapišemo naslednjo funkcijo √ √ Ψh (x) = 2ϕ(kxk2 ) − ϕ(kx + hed+1 k2 ) − ϕ(kx − hed+1 k2 ), x ∈ Rd+1 , d+1 kjer √ je ed+1 = (0, 0, . . . , 0, 1) ∈ R . Če si v lemi 4.6 izberemo ` = 1, M = 2, y1 = 0, y2 = hed+1 , β1 = 1 in β2 = −1, dobimo ravno zgornjo funkcijo Ψh ,. Ψh (x) =. M X M X. βj βk Φ(x − yj + yk ). j=1 k=1. √ √ = β1 β1 Φ(x) + β1 β2 Φ(x + hed+1 ) + β2 β1 Φ(x − hed+1 ) + β2 β2 Φ(x) √ √ = 2ϕ(kxk2 ) − ϕ(kx + hed+1 k2 ) − ϕ(kx − hed+1 k2 ), kjer β1 , β2 , y1 in y2 zadoščajo pogoju 2 X. βj p(yj ) = 0. za ∀p ∈ Π0 (Rd+1 ),. j=1. saj so polinomi p konstantni in β1 ter β2 ravno nasprotnih vrednosti. Torej je po lemi 4.6 funkcija Ψh res pogojno pozitivno definitna reda m na Rd+1 in tudi na Rd . Sedaj se omejimo na eno dimenzijo nižje. Vzemimo vse x√iz Rd+1 , ki imajo zadnjo komponento enako nič. Taki vektorji so pravokotni na vektor hed+1 v Rd+1 in zato velja naslednja enakost √ √ kx ± hed+1 k2 = kxk2 + k ± hed+1 k2 = kxk2 + h. Vzamemo vse x ∈ Rd+1 z zadnjo komponento 0 in jih s projekcijo preslikamo v prostor Rd . Sedaj Ψh zapišemo kot
Ψh (x) = 2 ϕ(kxk2 ) − ϕ(kxk2 + h) =: 2ψh (kxk2 ) za x ∈ Rd . 38.

(m). Po indukcijski hipotezi vemo, da je (−1)m ψh popolnoma monotona na (0, ∞) za vsak h > 0, to pomeni   (m+`) (−1)m+` ψh = (−1)m+` ϕ(m+`) (r) − ϕ(m+`) (r + h) ≥ 0 za r > 0, ` ∈ N0 . To lahko zapišemo kot (−1)m+`+1. ϕ(m+`) (r + h) − ϕ(m+`) (r) ≥0 h. za vsak r > 0, ` ∈ N0 in h > 0. Če sedaj pošljemo h proti nič, dobimo (−1)m+1+` ϕ(m+1+`) (r) ≥ 0 za vsak r > 0, ` ∈ N0 . Dokazali smo, da je (−1)m+1 ϕ(m+1) popolnoma monotona na (0, ∞) in s tem zaključili indukcijo. Z Micchellijevim izrekom 4.4 smo dobili zelo močno orodje za preverjanje, ali je funkcija strogo pogojno pozitivno definitna na vsakem Rd . Poglejmo si nekaj primerov uporabe izreka oziroma posledice. Primer 4.7. Multikvadrika ϕ(r) = (−1)dβe (c2 + r2 )β , c, β > 0, β ∈ / N, je strogo pogojno pozitivno definitna reda m = dβe na vsakem Rd . Dokaz. Definiramo fβ (r) = (−1)dβe (c2 + r)β , za katero velja (k). fβ. = (−1)dβe β(β − 1) · · · (β − k + 1)(c2 + r)β−k . (m). Preveriti je potrebno ali je (−1)m fβ popolnoma monotona na (0, ∞) in poiskati najmanjši m, za katerega je to še res. Torej je (dβe). (−1)dβe fβ. = β(β − 1) · · · (β − dβe + 1)(c2 + r)β−dβe | {z } (∗). popolnoma monotona, ker smo za funkcijo (c2 + r)β−dβe že prej dokazali popolno monotonost in ker je koeficient označen z (∗) pozitiven. Pri tem je m = dβe najmanjša možna izbira, za katero trditev še velja. Primer 4.8. Funkcija ϕ(r) = (−1)dβ/2e rβ , β > 0, β ∈ / 2N, je strogo pogojno pozitivno definitna reda m = dβ/2e na vsakem Rd . Dokaz. Definiramo fβ (r) = (−1)dβ/2e rβ/2 za β > 0, β ∈ / 2N. Če k-krat odvajamo, dobimo     β β β (k) − 1 ··· − k + 1 rβ/2−k . fβ (r) = (−1)dβ/2e 2 2 2 Podobno kot v prejšnjem primeru je (dβ/2e) (−1)dβ/2e fβ (r). β = 2. .    β β − 1 ··· − dβ/2e + 1 rβ/2−dβ/2e 2 2. popolnoma monotona in m = dβ/2e je najmanjša možna izbira. Primer 4.9. Funkcija tanke plošče ϕ(r) = (−1)β+1 r2β log(r), β ∈ N, je strogo pogojno pozitivno definitna reda m = β + 1 na vsakem Rd .. 39.

Dokaz. Vzemimo 2ϕ(r) = 2(−1)β+1 r2β log(r) = (−1)β+1 r2β log(r2 ) in definirajmo fβ (r) = (−1)β+1 rβ log(r). Po k-kratnem odvajanju dobimo (k). fβ. = (−1)β+1 β(β − 1) · · · (β − k + 1)rβ−k log(r) + pk (r),. za. 1 ≤ k ≤ β,. kjer je pk polinom stopnje β − k. Za k = β dobimo (β). fβ. = (−1)β+1 β! log(r) + C,. kjer je C konstanta. Od tod sledi (β+1). fβ. = (−1)β+1 β!r−1 ,. ki pa je popolnoma monotona funkcija in zato je funkcija tanke plošče strogo pogojno pozitivno definitna reda m = β + 1 na vsakem Rd .. 4.1.1. Interpolacija s strogo pogojno pozitivno definitnimi funkcijami. Kot smo že omenili na koncu prvega poglavja, za nekatere radialne bazne funkcije dobimo interpolacijsko matriko A, ki je singularna. Govorimo o fukcijah, ki so strogo pogojno pozitivno definitne. Če naredimo manjšo spremembo v definiciji interpolacijske funkcije (2.2), nam ta zagotavlja rešljivost interpolacijskega problema. Definiramo interpolant za funkcijo f na centrih X = {x1 , . . . , xN } kot sf,X (x) =. N X. αj Φ(x − xj ) +. j=1. q X. βk pk (x),. k=1.
m−1+d. kjer je q = dimenizija prostora polinomov Πm−1 (Rd ) in p1 , . . . , pq so baza prostora d Πm−1 (Rd ). Kot smo že povedali, imamo poleg interpolacijskih pogojev sf,X (xj ) = f (xj ),. 1 ≤ j ≤ N,. še dodatne pogoje N X. αj pk (xj ) = 0,. 1 ≤ k ≤ q.. j=1. Rešljivost tega sistema je ekvivalentna rešljivosti matričnega sistema      A P α f |X   = , T P O β 0. (4.3). N,q kjer so A = [Φ(xj − xk )]N j,k=1 , P = [pk (xj )]j=1,k=1 , O ničelna matrika velikosti q × q, q N α = [αj ]N j=1 , β = [βk ]k=1 , f |X = [f (xj )]j=1 in 0 ničelni vektor velikosti q × 1. Sistem je e obrnljiva. rešljiv, če je matrika na levi, ki jo označimo z A,. Izrek 4.10. Če imamo funkcijo Φ, ki je strogo pogojno pozitivno definitna reda m in množico točk X = {x1 , . . . , xN }, ki je (m − 1) − unisolventna, potem je sistem (4.3) enolično rešljiv.. 40.

e Dokaz. Predpostavimo, da je [α, β]T rešitev homogenega linearnega sistema matrike A, oziroma, da je f |X = 0. Potem imamo sistem Aα + P β = 0 P T α = 0. Pokazati moramo le, da je [α, β]T = 0 edina rešitev danega sistema. Prvo enačbo z leve pomnožimo z αT in dobimo αT Aα + αT P β = 0. Iz druge enačbe vemo αT P = 0T in zato αT Aα = 0. Ker je Φ strogo pogojno pozitivno definitna funkcija reda m in je izpolnjen pogoj P T α = 0, je kvadratna forma matrike A enaka nič samo za α = 0. Ko vstavimo α = 0 v zgornji sistem linearnih enačb nam ostane P β = 0. Ker so dani podatki unisolventni (t.j. linearno neodvisni stolpci v P ), je β = 0. Primer 4.11. Poglejmo si preprost primer interpolacije v dveh dimenzijah s tremi različnimi radialnimi baznimi funkcijami. Imamo podatke o povprečni količini padavin v aprilu od leta 1981 do 1990, izmerjenih na 20 vremenskih postajah po Sloveniji. Podatke imamo podane v tabeli 4.1. Za centre vzamemo položaje krajev, kjer se nahajajo vremenske postaje. Na sliki 4.1 vidimo, kako so razporejeni centri po območju Slovenije.. Slika 4.1: Položaji krajev/centrov, kjer se nahajajo vremenske postaje.. 41.

Tabela 4.1: Povprečje padavin v mesecu aprilu od leta 1981 do 1990. Vir: Ministrstvo za kmetijstvo in okolje - Agencija Republike Slovenije za okolje [9]. Vremenska postaja. količina padavin [mm]. zemljepisna dolžina. širina. Bilje. 94. 13,624775. 45,896354. Bovec. 168. 13,554686. 46,330366. Letališče Brnik. 95. 14,455765. 46,231912. Celje, Medlog. 69. 15,225844. 46,236196. Črnomelj, Dobliče. 85. 15,146523. 45,558936. Ilirska Bistrica. 88. 14,237375. 45,553097. Kočevje. 110. 14,864783. 45,645556. Kredarica. 158. 13,853889. 46,37944. Lesce. 109. 14,173813. 46,361024. Ljubljana, Bežigrad. 94. 14,511996. 46,065015. Maribor, Tabor. 70. 15,667641. 46,542354. Murska Sobota, Rakičan. 48. 16,183333. 46,631701. Novo mesto. 76. 15,173747. 45,801. Letališče Portorož. 62. 13,566667. 45,533333. Postojna. 126. 14,2. 45,75. Rateče. 103. 13,716667. 46,5. Rogaška Slatina. 71. 15,648611. 46,239722. Slap pri Vipavi. 112. 13,924607. 45,847554. Šmartno pri Slovenj Gradcu. 70. 15,116111. 46,49. Velenje. 67. 15,124444. 46,363889. 42.

Z različnimi RBF interpoliramo dane podatke in kot rezultat dobimo zemljevid padavin na območju cele Slovenije. Na slikah 4.2, 4.3 in 4.4 vidimo opazno razliko v interpolaciji, glede na izbiro funkcije. Gaussova funkcija interpolira zelo lokalno“, interpolacija z mul” tikvadriko in funkcijo tanke plošče je gladka in deluje bolj realno.. Slika 4.2: Interpolacija padavin z multikvadriko.. 43.

Slika 4.3: Interpolacija padavin z Gaussovo funkcijo.. Slika 4.4: Interpolacija padavin s funkcijo tanke plošče.. 44.

Poglavje 5. Matični prostor V tem poglavju bomo strogo pogojno pozitivno definitno funkcijo zamenjali s strogo pogojno pozitivno definitnim jedrom Φ : Ω × Ω → R. S tem si bomo kasneje pomagali pri analizi konvergence algoritma za RBF.. 5.1. Reprodukcijsko jedro Hilbertovega prostora. Zanima nas vektorski prostor H, ki vsebuje funkcije f : Ω → R, kjer je Ω ⊂ Rd . Območje Ω, na katerem so definirane funkcije, je poljubno, zahtevamo le, da ni prazno. Omejimo se na realne vektorske prostore z realnimi funkcijami. Videli bomo, da vsako realno strogo pozitivno definitno jedro vodi do realnega Hilbertovega prostora realnih funkcij. S kompleksnimi jedri in kompleksnimi funkcijskimi prostori se ne bomo ukvarjali, saj so vse relevantne strogo pozitivno definitne funkcije realne in prav tako ustrezen funkcijski prostor. Definicija 5.1. Naj bo H realen Hilbertov prostor funkcij f : Ω → R. Funkcija Φ : Ω × Ω → R se imenuje reprodukcijsko jedro za H, če velja (1) Φ(·, y) ∈ H za vsak y ∈ Ω, (2) f (y) = hf, Φ(·, y)iH za vse f ∈ H in vse y ∈ Ω. Reprodukcijsko jedro Hilbertovega prostora je enolično. Recimo, da imamo dve reprodukcijski jedri Φ1 in Φ2 . Po točki (2) iz zgornje definicije dobimo hf, Φ1 (·, y) − Φ2 (·, y)iH = 0 za vse f ∈ H in vse y ∈ Ω. Če vzamemo f = Φ1 (·, y) − Φ2 (·, y) za nek y ∈ Ω, dobimo hΦ1 (·, y) − Φ2 (·, y), Φ1 (·, y) − Φ2 (·, y)iH = kΦ1 (·, y) − Φ2 (·, y)k2H = 0. Torej je Φ1 (·, y) = Φ2 (·, y) skoraj povsod in s tem smo dokazali enoličnost. Karakterizirajmo Hilbertov prostor z reprodukcijskim jedrom. Izrek 5.2. Naj bo H Hilbertov prostor funkcij f : Ω → R. Naslednji trditvi sta ekvivalentni: (1) Funkcionali δy ∈ H∗ , ki izračunajo vrednost v točki y, so zvezni za vse y ∈ Ω. (2) Hilbertov prostor H ima reprodukcijsko jedro. Dokaz. Privzemimo, da so funkcionali δy zvezni za vsak y ∈ Ω. Potem po izreku o Rieszovi reprezentaciji za vsak y ∈ Ω obstaja enolično določen Φy ∈ H, da je δy (f ) = hf, Φy iH za vse f ∈ H. Torej je Φy = Φ(·, y) reprodukcijsko jedro za H. Sedaj pa privzemimo, da ima H reprodukcijsko jedro Φ. To pomeni, da je δy = h·, Φ(·, y)iH za vsak y ∈ Ω. Ker je skalarni produkt zvezen, je tak tudi δy . 45.

Poglejmo si nekaj značilnosti reprodukcijskega jedra. Izrek 5.3. Naj bo H Hilbertov prostor funkcij f : Ω → R z reprodukcijskim jedrom Φ. Velja naslednje: (1) Φ(x, y) = hΦ(·, x), Φ(·, y)iH za x, y ∈ Ω. (2) Φ(x, y) = Φ(y, x) za x, y ∈ Ω. (3) Če velja kf − fn kH → 0, ko n → ∞, potem je |f (x) − fn (x)| → 0, ko n → ∞, za vse y ∈ Ω. Torej iz konvergence v normi Hilbertovega prostora sledi konvergenca po točkah. Dokaz. Iz prve točke definicije 5.1 vemo, da je Φ(·, y) ∈ H za vse y ∈ Ω. Druga točka te iste definicije nam da Φ(x, y) = hΦ(·, x), Φ(·, y)iH za vse x, y ∈ Ω, torej je točka (1) dokazana. Lastnost (2) sledi iz lastnosti (1), ker je skalarni produkt Hilbertovega prostora simetričen. Za dokaz točke (3) uporabimo Cauchy-Schwarzovo neenakost in dobimo |f (x) − fn (x)| = |hf − fn , Φ(·, x)iH | ≤ kf − fn kH kΦ(·, x)kH .. Z naslednjim izrekom dobimo povezavo med strogo pozitivno definitno funkcijo in reprodukcijskim jedrom, ko že imamo podan Hilbertov prostor funkcij z reprodukcijskim jedrom. Izrek 5.4. Naj bo H Hilbertov prostor funkcij z reprodukcijskim jedrom Φ : Ω × Ω → R. Potem je Φ pozitivno definiten. Velja še več, Φ je strogo pozitivno definiten natanko tedaj, ko so funkcionali δy linearno neodvisni v dualnem prostoru H∗ . Dokaz. Ker je jedro Φ realno in simetrično, se lahko omejimo le na realne koeficiente v kvadratni formi. Za paroma različne točke x1 , . . . , xN ∈ Ω in α ∈ RN \{0} dobimo N X N X j=1 k=1. αj αk Φ(xj , xk ) =. N X N X. αj αk hΦ(·, xj ), Φ(·, xk )iH. j=1 k=1 * + N N X X = αj Φ(·, xj ), αk Φ(·, xk ) j=1. =. N X. k=1 2. ≥ 0.. αj Φ(·, xj ). j=1. H. H. Torej je Φ pozitivno definitno jedro. Za drugi del izreka predpostavimo, da Φ ni strogo pozitivno definitno jedro in pokažimo, da so funkcionali δy linearno odvisni. Ker Φ ni strogo pozitivno definiten, obstajajo paroma različne točke x1 , . . . , xN ∈ Ω in neničelni α ∈ RN , da je N X N X αj αk Φ(xj , xk ) = 0. j=1 k=1. Iz prvega dela dokaza vemo, da je potem N X. PN. j=1 αj Φ(·, xj ). αj Φ(·, xj ) = 0.. j=1. 46. 2 H. = 0 in zato je.

Vzemimo poljubno funkcijo f ∈ H. Uporabimo točko (2) iz definicije 5.1 in dobimo * N + X 0 = f, αj Φ(·, xj ) j=1. = =. N X j=1 N X. H. αj hf, Φ(·, xj )iH αj f (xj ) =. j=1. N X. αj δxj (f ).. j=1. Od tod sledi, da so funkcionali δxj , za j = 1, . . . , N , linearno odvisni, saj smo predpostavili α 6= 0. Za dokaz v drugo smer se uporabi podobne argumente.. 5.1.1. Matični prostor za strogo pozitivno definitna jedra. Običajno ne začnemo s prostorom funkcij, ampak s (strogo) pozitivno definitnim jedrom in želimo najti prostor funkcij, za katerega bi bilo to jedro reprodukcijko jedro. Torej želimo konstruirati ustrezen Hilbertov prostor funkcij. Pokazali bomo, da je vsaka strogo pozitivno definitna radialna funkcija povezana s Hilbertovim prostorom funkcij z reprodukcijskim jedrom, ki ga imenujemo matični prostor. P Iz prve točke definicije 5.1 vemo, da H vsebuje vse funkcije oblike f = N j=1 αj Φ(·, xj ), xj ∈ Ω, in za njih velja kf k2H =. N X N X. αj αk hΦ(·, xj ), Φ(·, xk )iH =. j=1 k=1. N X N X. αj αk Φ(xj , xk ).. j=1 k=1. To nam bo prišlo prav pri konstrukciji Hilbertovega prostora z reprodukcijskim jedrom. Recimo, da imamo simetrično strogo pozitivno jedro Φ : Ω × Ω → R. Definirajmo realni linearni prostor HΦ (Ω) := span {Φ(·, y); y ∈ Ω} , ki ga opremimo z bilinearno formo *N + N X M M X X X = αj Φ(·, xj ), βk Φ(·, yk ) αj βk Φ(xj , yk ). j=1. k=1. j=1 k=1. Φ. Izrek 5.5. Če je Φ : Ω × Ω → R simetrično strogo pozitivno definitno jedro, je h·, ·iΦ skalarni produkt na HΦ (Ω). Še več, HΦ (Ω) je pre-Hilbertov prostor (t.j. metričen prostor s skalarnim produktom) z reprodukcijskim jedrom Φ. Dokaz. Pokazati želimo, da je h·, ·iΦ skalarni produkt. Vemo že, da je bilinearna forma, torej zadošča simetričnosti PN in linearnosti. Manjka nam še pozitivna definitnost. Izberemo poljubno funkcijo f = j=1 αj Φ(·, xj ) 6≡ 0 iz HΦ (Ω) in razpišemo *N + N N X N X X X hf, f iΦ = αj Φ(·, xj ), αj Φ(·, xj ) = αj αk Φ(xj , xk ) > 0. j=1. j=1. Φ. j=1 k=1. Zadnja neenakost velja, ker je Φ strogo pozitivno definitna. Za f izračunamo še *N + N X X hf, Φ(·, y)iΦ = αj Φ(·, xj ), Φ(·, y) = αj Φ(xj , y) = f (y), j=1. Φ. kar nam določa reprodukcijsko jedro.. 47. j=1.