本發(fā)明涉及多媒體教學(xué)領(lǐng)域，具體為一種基于虛擬現(xiàn)實(shí)的多媒體教學(xué)方法及系統(tǒng)。
背景技術(shù)：
1、虛擬現(xiàn)實(shí)（vr）技術(shù)憑借其沉浸式、交互式的特性，在教育領(lǐng)域的應(yīng)用日益受到重視。通過(guò)構(gòu)建逼真的三維虛擬環(huán)境，vr技術(shù)能夠?yàn)閷W(xué)習(xí)者提供傳統(tǒng)教學(xué)模式難以比擬的實(shí)踐機(jī)會(huì)和感官體驗(yàn)，尤其在多媒體教學(xué)中，它能夠?qū)⒊橄髲?fù)雜的知識(shí)以直觀生動(dòng)的方式呈現(xiàn)出來(lái)，從而激發(fā)學(xué)習(xí)興趣，提高學(xué)習(xí)效率。目前，基于虛擬現(xiàn)實(shí)的多媒體教學(xué)系統(tǒng)通常需要渲染包含眾多教學(xué)對(duì)象的復(fù)雜三維場(chǎng)景，并響應(yīng)學(xué)習(xí)者的各種交互操作。為了提升教學(xué)效果，真實(shí)感渲染與高效交互是其中的關(guān)鍵技術(shù)環(huán)節(jié)。例如，在光照模型方面，blinn-phong等經(jīng)典模型被廣泛應(yīng)用于計(jì)算物體表面的光照效果，通過(guò)模擬環(huán)境光、漫反射和鏡面反射來(lái)再現(xiàn)真實(shí)世界的光照現(xiàn)象。
2、然而，在渲染層面，許多系統(tǒng)采用統(tǒng)一的渲染策略處理場(chǎng)景中的所有教學(xué)對(duì)象，未能充分考慮不同對(duì)象在教學(xué)過(guò)程中的重要性差異以及學(xué)習(xí)者的關(guān)注焦點(diǎn)變化。當(dāng)場(chǎng)景復(fù)雜度較高，教學(xué)對(duì)象數(shù)量眾多時(shí)，對(duì)所有對(duì)象均進(jìn)行高精度渲染會(huì)消耗大量的計(jì)算資源，可能導(dǎo)致畫面卡頓，影響學(xué)習(xí)體驗(yàn)。若為保證流暢性而統(tǒng)一降低渲染質(zhì)量，則可能犧牲關(guān)鍵教學(xué)對(duì)象的視覺(jué)細(xì)節(jié)，不利于學(xué)習(xí)者觀察和理解。在交互反饋層面，雖然能夠響應(yīng)學(xué)習(xí)者的基本操作，但在如何根據(jù)學(xué)習(xí)者的具體交互行為和教學(xué)目標(biāo)來(lái)動(dòng)態(tài)調(diào)整對(duì)象的視覺(jué)呈現(xiàn)，從而強(qiáng)化教學(xué)信息傳遞方面，仍有較大提升空間。如何根據(jù)教學(xué)內(nèi)容、學(xué)習(xí)者狀態(tài)及交互行為，調(diào)整渲染參數(shù)與交互反饋，以達(dá)到教學(xué)效果最優(yōu)化與計(jì)算資源高效利用的平衡，是當(dāng)前虛擬現(xiàn)實(shí)多媒體教學(xué)領(lǐng)域亟待解決的技術(shù)問(wèn)題。。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述問(wèn)題，在第一個(gè)方面，本發(fā)明提供一種基于虛擬現(xiàn)實(shí)的多媒體教學(xué)方法，所述方法包括：
2、構(gòu)建包含教學(xué)對(duì)象和光源的虛擬教學(xué)場(chǎng)景，獲取學(xué)習(xí)者的交互數(shù)據(jù)，所述交互數(shù)據(jù)包括學(xué)習(xí)者注視信息；
3、對(duì)于滿足預(yù)設(shè)關(guān)注條件的教學(xué)對(duì)象，計(jì)算教學(xué)對(duì)象表面采樣點(diǎn)的半程向量，當(dāng)學(xué)習(xí)者對(duì)所述對(duì)象執(zhí)行特定觀察交互時(shí)，則調(diào)整所述半程向量的鏡面反射視覺(jué)參數(shù)；根據(jù)教學(xué)對(duì)象的預(yù)設(shè)教學(xué)目標(biāo)和學(xué)習(xí)者的狀態(tài)調(diào)整教學(xué)對(duì)象的幾何遮蔽函數(shù)的計(jì)算參數(shù)集和著色貢獻(xiàn)權(quán)重；
4、基于教學(xué)重要性與學(xué)習(xí)者交互焦點(diǎn)，劃分教學(xué)對(duì)象為核心渲染組與輔助渲染組；核心組對(duì)象采用含完整幾何遮蔽函數(shù)計(jì)算的全精度光照，輔助組對(duì)象采用簡(jiǎn)化光照；分組狀態(tài)隨學(xué)習(xí)模塊與交互焦點(diǎn)轉(zhuǎn)移動(dòng)態(tài)更新；渲染教學(xué)對(duì)象的視覺(jué)表現(xiàn)，并通過(guò)虛擬現(xiàn)實(shí)設(shè)備顯示。
5、優(yōu)選地，所述對(duì)于滿足預(yù)設(shè)關(guān)注條件的教學(xué)對(duì)象，計(jì)算教學(xué)對(duì)象表面采樣點(diǎn)的半程向量，具體為：
6、當(dāng)教學(xué)對(duì)象滿足預(yù)設(shè)關(guān)注條件時(shí)，在教學(xué)對(duì)象表面按照預(yù)設(shè)密度均勻選取n個(gè)采樣點(diǎn)，所述預(yù)設(shè)關(guān)注條件包括學(xué)習(xí)者對(duì)教學(xué)對(duì)象的注視時(shí)長(zhǎng)超過(guò)k1秒或?qū)W習(xí)者通過(guò)控制器選中教學(xué)對(duì)象；
7、獲取從選取的采樣點(diǎn)指向光源的光線向量l以及從選取的采樣點(diǎn)指向?qū)W習(xí)者虛擬視點(diǎn)的觀察向量v；
8、通過(guò)公式h=(l+v)/||l+v||計(jì)算并歸一化得到半程向量h，其中||l+v||為向量l+v的模長(zhǎng)。
9、優(yōu)選地，所述當(dāng)學(xué)習(xí)者對(duì)所述對(duì)象執(zhí)行特定觀察交互時(shí)，則調(diào)整所述半程向量的鏡面反射視覺(jué)參數(shù)，具體為：
10、當(dāng)學(xué)習(xí)者對(duì)教學(xué)對(duì)象執(zhí)行特定觀察交互時(shí)，將教學(xué)對(duì)象表面采樣點(diǎn)半程向量h對(duì)應(yīng)的鏡面反射高光系數(shù)提高到預(yù)設(shè)值，并根據(jù)放大操作倍數(shù)、對(duì)象與視點(diǎn)距離、材質(zhì)類型確定將鏡面反射強(qiáng)度因子提高的值；其中，特定觀察交互為通過(guò)虛擬現(xiàn)實(shí)設(shè)備控制器對(duì)教學(xué)對(duì)象執(zhí)行放大觀察操作或?qū)⒔虒W(xué)對(duì)象拖近至距虛擬視點(diǎn)0.5米范圍內(nèi)。
11、優(yōu)選地，所述根據(jù)教學(xué)對(duì)象的預(yù)設(shè)教學(xué)目標(biāo)和學(xué)習(xí)者的狀態(tài)調(diào)整教學(xué)對(duì)象的幾何遮蔽函數(shù)的計(jì)算參數(shù)集和著色貢獻(xiàn)權(quán)重，具體為：
12、獲取學(xué)習(xí)者當(dāng)前正在學(xué)習(xí)的知識(shí)點(diǎn)以及通過(guò)眼動(dòng)追蹤獲取的學(xué)習(xí)者注視點(diǎn)停留時(shí)間超過(guò)k2秒的區(qū)域；
13、若教學(xué)對(duì)象的教學(xué)目標(biāo)為內(nèi)部結(jié)構(gòu)觀察，且學(xué)習(xí)者狀態(tài)顯示正在學(xué)習(xí)與該對(duì)象內(nèi)部結(jié)構(gòu)相關(guān)的知識(shí)點(diǎn)，則將該對(duì)象用于計(jì)算環(huán)境光遮蔽時(shí)的遮蔽強(qiáng)度參數(shù)降低50%和/或采樣距離參數(shù)減少30%；
14、若教學(xué)對(duì)象的教學(xué)目標(biāo)為材質(zhì)理解，且學(xué)習(xí)者注視點(diǎn)在該對(duì)象表面特定材質(zhì)區(qū)域停留時(shí)間超過(guò)k3秒，則將該對(duì)象著色計(jì)算中與材質(zhì)相關(guān)的紋理貼圖的混合權(quán)重增加至0.8，其他貼圖混合權(quán)重相應(yīng)降低以維持總和為1，并將漫反射貢獻(xiàn)權(quán)重提升20%，鏡面反射貢獻(xiàn)權(quán)重提升15%。
15、優(yōu)選地，所述基于教學(xué)重要性與學(xué)習(xí)者交互焦點(diǎn)，劃分教學(xué)對(duì)象為核心渲染組與輔助渲染組，具體為：
16、根據(jù)教學(xué)對(duì)象在當(dāng)前教學(xué)模塊中的重要程度確定一個(gè)1到10的整數(shù)重要性評(píng)分，評(píng)分大于等于7的為高重要性對(duì)象；
17、通過(guò)眼動(dòng)追蹤獲取學(xué)習(xí)者的實(shí)時(shí)注視點(diǎn)，若注視點(diǎn)停留在某個(gè)教學(xué)對(duì)象上超過(guò)k4秒，則該教學(xué)對(duì)象為學(xué)習(xí)者交互焦點(diǎn)對(duì)象；
18、將同時(shí)滿足以下兩個(gè)條件的教學(xué)對(duì)象劃分為核心渲染組：a)?教學(xué)對(duì)象的教學(xué)重要性評(píng)分為7分及以上；b)教學(xué)對(duì)象為當(dāng)前學(xué)習(xí)者交互焦點(diǎn)對(duì)象；
19、剩余的教學(xué)對(duì)象劃分到輔助渲染組。
20、優(yōu)選地，所述輔助組對(duì)象采用簡(jiǎn)化光照，具體為：
21、對(duì)于輔助渲染組中的教學(xué)對(duì)象，在進(jìn)行光照計(jì)算時(shí)，停用鏡面反射計(jì)算模塊，僅保留漫反射和環(huán)境光計(jì)算；
22、將輔助渲染組中教學(xué)對(duì)象的陰影貼圖分辨率降低至原始分辨率的25%，禁用表面材質(zhì)的法線貼圖和位移貼圖效果，采用基礎(chǔ)幾何模型進(jìn)行渲染。
23、優(yōu)選地，所述分組狀態(tài)隨學(xué)習(xí)模塊與交互焦點(diǎn)轉(zhuǎn)移動(dòng)態(tài)更新，具體為：
24、以預(yù)設(shè)頻率檢測(cè)當(dāng)前激活的教學(xué)模塊是否發(fā)生變更；若教學(xué)模塊變更，則重新計(jì)算教學(xué)對(duì)象的教學(xué)重要性評(píng)分，并重新劃分核心渲染組與輔助渲染組；
25、通過(guò)眼動(dòng)追蹤系統(tǒng)更新學(xué)習(xí)者交互焦點(diǎn)對(duì)象，若學(xué)習(xí)者交互焦點(diǎn)對(duì)象發(fā)生改變，則立即重新評(píng)估所有教學(xué)對(duì)象的分組狀態(tài)，并對(duì)發(fā)生狀態(tài)改變的教學(xué)對(duì)象更新渲染方式。
26、在本發(fā)明的另外一個(gè)方面，提供一種基于虛擬現(xiàn)實(shí)的多媒體教學(xué)系統(tǒng)，所述系統(tǒng)包括：
27、初始化模塊，用于構(gòu)建包含教學(xué)對(duì)象和光源的虛擬教學(xué)場(chǎng)景，獲取學(xué)習(xí)者的交互數(shù)據(jù)，所述交互數(shù)據(jù)包括學(xué)習(xí)者注視信息；
28、調(diào)整模塊，用于對(duì)于滿足預(yù)設(shè)關(guān)注條件的教學(xué)對(duì)象，計(jì)算教學(xué)對(duì)象表面采樣點(diǎn)的半程向量，當(dāng)學(xué)習(xí)者對(duì)所述對(duì)象執(zhí)行特定觀察交互時(shí)，則調(diào)整所述半程向量的鏡面反射視覺(jué)參數(shù)；根據(jù)教學(xué)對(duì)象的預(yù)設(shè)教學(xué)目標(biāo)和學(xué)習(xí)者的狀態(tài)調(diào)整教學(xué)對(duì)象的幾何遮蔽函數(shù)的計(jì)算參數(shù)集和著色貢獻(xiàn)權(quán)重；
29、顯示模塊，用于基于教學(xué)重要性與學(xué)習(xí)者交互焦點(diǎn)，劃分教學(xué)對(duì)象為核心渲染組與輔助渲染組；核心組對(duì)象采用含完整幾何遮蔽函數(shù)計(jì)算的全精度光照，輔助組對(duì)象采用簡(jiǎn)化光照；分組狀態(tài)隨學(xué)習(xí)模塊與交互焦點(diǎn)轉(zhuǎn)移動(dòng)態(tài)更新；渲染教學(xué)對(duì)象的視覺(jué)表現(xiàn)，并通過(guò)虛擬現(xiàn)實(shí)設(shè)備顯示。
30、優(yōu)選地，所述對(duì)于滿足預(yù)設(shè)關(guān)注條件的教學(xué)對(duì)象，計(jì)算教學(xué)對(duì)象表面采樣點(diǎn)的半程向量，具體為：
31、當(dāng)教學(xué)對(duì)象滿足預(yù)設(shè)關(guān)注條件時(shí)，在教學(xué)對(duì)象表面按照預(yù)設(shè)密度均勻選取n個(gè)采樣點(diǎn)，所述預(yù)設(shè)關(guān)注條件包括學(xué)習(xí)者對(duì)教學(xué)對(duì)象的注視時(shí)長(zhǎng)超過(guò)k1秒或?qū)W習(xí)者通過(guò)控制器選中教學(xué)對(duì)象；
32、獲取從選取的采樣點(diǎn)指向光源的光線向量l以及從選取的采樣點(diǎn)指向?qū)W習(xí)者虛擬視點(diǎn)的觀察向量v；
33、通過(guò)公式h=(l+v)/||l+v||計(jì)算并歸一化得到半程向量h，其中||l+v||為向量l+v的模長(zhǎng)。
34、優(yōu)選地，所述當(dāng)學(xué)習(xí)者對(duì)所述對(duì)象執(zhí)行特定觀察交互時(shí)，則調(diào)整所述半程向量的鏡面反射視覺(jué)參數(shù)，具體為：
35、當(dāng)學(xué)習(xí)者對(duì)教學(xué)對(duì)象執(zhí)行特定觀察交互時(shí)，將教學(xué)對(duì)象表面采樣點(diǎn)半程向量h對(duì)應(yīng)的鏡面反射高光系數(shù)提高到預(yù)設(shè)值，并根據(jù)放大操作倍數(shù)、對(duì)象與視點(diǎn)距離、材質(zhì)類型確定將鏡面反射強(qiáng)度因子提高的值；其中，特定觀察交互為通過(guò)虛擬現(xiàn)實(shí)設(shè)備控制器對(duì)教學(xué)對(duì)象執(zhí)行放大觀察操作或?qū)⒔虒W(xué)對(duì)象拖近至距虛擬視點(diǎn)0.5米范圍內(nèi)。
36、優(yōu)選地，所述根據(jù)教學(xué)對(duì)象的預(yù)設(shè)教學(xué)目標(biāo)和學(xué)習(xí)者的狀態(tài)調(diào)整教學(xué)對(duì)象的幾何遮蔽函數(shù)的計(jì)算參數(shù)集和著色貢獻(xiàn)權(quán)重，具體為：
37、獲取學(xué)習(xí)者當(dāng)前正在學(xué)習(xí)的知識(shí)點(diǎn)以及通過(guò)眼動(dòng)追蹤獲取的學(xué)習(xí)者注視點(diǎn)停留時(shí)間超過(guò)k2秒的區(qū)域；
38、若教學(xué)對(duì)象的教學(xué)目標(biāo)為內(nèi)部結(jié)構(gòu)觀察，且學(xué)習(xí)者狀態(tài)顯示正在學(xué)習(xí)與該對(duì)象內(nèi)部結(jié)構(gòu)相關(guān)的知識(shí)點(diǎn)，則將該對(duì)象用于計(jì)算環(huán)境光遮蔽時(shí)的遮蔽強(qiáng)度參數(shù)降低50%和/或采樣距離參數(shù)減少30%；
39、若教學(xué)對(duì)象的教學(xué)目標(biāo)為材質(zhì)理解，且學(xué)習(xí)者注視點(diǎn)在該對(duì)象表面特定材質(zhì)區(qū)域停留時(shí)間超過(guò)k3秒，則將該對(duì)象著色計(jì)算中與材質(zhì)相關(guān)的紋理貼圖的混合權(quán)重增加至0.8，其他貼圖混合權(quán)重相應(yīng)降低以維持總和為1，并將漫反射貢獻(xiàn)權(quán)重提升20%，鏡面反射貢獻(xiàn)權(quán)重提升15%。
40、優(yōu)選地，所述基于教學(xué)重要性與學(xué)習(xí)者交互焦點(diǎn)，劃分教學(xué)對(duì)象為核心渲染組與輔助渲染組，具體為：
41、根據(jù)教學(xué)對(duì)象在當(dāng)前教學(xué)模塊中的重要程度確定一個(gè)1到10的整數(shù)重要性評(píng)分，評(píng)分大于等于7的為高重要性對(duì)象；
42、通過(guò)眼動(dòng)追蹤獲取學(xué)習(xí)者的實(shí)時(shí)注視點(diǎn)，若注視點(diǎn)停留在某個(gè)教學(xué)對(duì)象上超過(guò)k4秒，則該教學(xué)對(duì)象為學(xué)習(xí)者交互焦點(diǎn)對(duì)象；
43、將同時(shí)滿足以下兩個(gè)條件的教學(xué)對(duì)象劃分為核心渲染組：a)?教學(xué)對(duì)象的教學(xué)重要性評(píng)分為7分及以上；b)教學(xué)對(duì)象為當(dāng)前學(xué)習(xí)者交互焦點(diǎn)對(duì)象；
44、剩余的教學(xué)對(duì)象劃分到輔助渲染組。
45、優(yōu)選地，所述輔助組對(duì)象采用簡(jiǎn)化光照，具體為：
46、對(duì)于輔助渲染組中的教學(xué)對(duì)象，在進(jìn)行光照計(jì)算時(shí)，停用鏡面反射計(jì)算模塊，僅保留漫反射和環(huán)境光計(jì)算；
47、將輔助渲染組中教學(xué)對(duì)象的陰影貼圖分辨率降低至原始分辨率的25%，禁用表面材質(zhì)的法線貼圖和位移貼圖效果，采用基礎(chǔ)幾何模型進(jìn)行渲染。
48、優(yōu)選地，所述分組狀態(tài)隨學(xué)習(xí)模塊與交互焦點(diǎn)轉(zhuǎn)移動(dòng)態(tài)更新，具體為：
49、以預(yù)設(shè)頻率檢測(cè)當(dāng)前激活的教學(xué)模塊是否發(fā)生變更；若教學(xué)模塊變更，則重新計(jì)算教學(xué)對(duì)象的教學(xué)重要性評(píng)分，并重新劃分核心渲染組與輔助渲染組；
50、通過(guò)眼動(dòng)追蹤系統(tǒng)更新學(xué)習(xí)者交互焦點(diǎn)對(duì)象，若學(xué)習(xí)者交互焦點(diǎn)對(duì)象發(fā)生改變，則立即重新評(píng)估所有教學(xué)對(duì)象的分組狀態(tài)，并對(duì)發(fā)生狀態(tài)改變的教學(xué)對(duì)象更新渲染方式。
51、本發(fā)明計(jì)算表面采樣點(diǎn)的半程向量，并在學(xué)習(xí)者執(zhí)行特定觀察交互時(shí)，調(diào)整半程向量相關(guān)的鏡面反射視覺(jué)參數(shù)，從而顯著增強(qiáng)了學(xué)習(xí)者在細(xì)致觀察教學(xué)對(duì)象時(shí)的視覺(jué)清晰度和真實(shí)感，有助于學(xué)習(xí)者更準(zhǔn)確地感知和理解對(duì)象的表面特征。本發(fā)明還根據(jù)教學(xué)對(duì)象的預(yù)設(shè)教學(xué)目標(biāo)和學(xué)習(xí)者的實(shí)時(shí)狀態(tài)調(diào)整教學(xué)對(duì)象幾何遮蔽函數(shù)的計(jì)算參數(shù)集和著色貢獻(xiàn)權(quán)重，根據(jù)具體的教學(xué)需求突出重點(diǎn)信息，從而使視覺(jué)呈現(xiàn)更貼合教學(xué)意圖，有效提升了知識(shí)傳遞的針對(duì)性和學(xué)習(xí)者的認(rèn)知效率。此外，本發(fā)明基于教學(xué)重要性與學(xué)習(xí)者交互焦點(diǎn)，將教學(xué)對(duì)象動(dòng)態(tài)劃分為核心渲染組與輔助渲染組，對(duì)核心組對(duì)象采用包含完整幾何遮蔽函數(shù)計(jì)算的全精度光照，而對(duì)輔助組對(duì)象采用簡(jiǎn)化光照。不僅保證了學(xué)習(xí)者重點(diǎn)關(guān)注區(qū)域的高質(zhì)量視覺(jué)呈現(xiàn)，還有效降低了非核心區(qū)域的渲染開銷，優(yōu)化了系統(tǒng)性能，確保了復(fù)雜教學(xué)場(chǎng)景下的流暢交互體驗(yàn)。