國立台北護理學院資訊管理研究所碩士論文

國立台北護理學院資訊管理研究所碩士論文 National Taipei College of Nursing Graduate Institute of Information Management. 指導教授：李烱三 博士 Advisor: Chiung-San Lee Ph.D.. 用 IP 攝影機即時影像於跌倒偵測系統之實作 DESIGN OF FALL DETECTION SYSTEM USING REALTIME IMAGE OF IP CAMERA. 研究生：李卓璠 撰 Name: Jhuo-Fan Li. 中華民國九十九年六月三十日 June 30, 2010.



用 IP 攝影機即時影像於跌倒偵測系統之實作 研究所組別：資訊管理研究所 指導教授：李烱三教授 研究生：李卓璠 時間：民國 99 年 06 月. 論文摘要 高齡化社會已成為各國普遍的現象，在台灣也不例外，所以老年人口的照顧是一個值得研究的 問題，而跌倒是老年人口中普遍存在的問題，每年約有 10% ~ 20%的老人發生跌倒，其中有一半為 重複跌倒，跌倒的發生常造成骨折、降低身體功能、減少獨立性、造成心理傷害，可見跌倒對老年 人的健康是一大威脅。隨著電腦計算速度越來越快，攝影機成本越來越低，使得人們可透過影像處 理的方式對即時影像做自動化的分析。本論文將利用 MATLAB Simulink 和影像處理技術，設計一 套具準確性的網路攝影機(IP camera)即時影像跌倒偵測系統，其中跌倒特徵的部分，將利用實驗的 方式，藉由受測者的行走、蹲下、坐下、行走跌倒和起立跌倒的即時影像，找出受測者處於跌倒動 作時的加速度特徵，並結合一般長寬比之偵測方法，使跌倒偵測系統除了能判斷疑似跌倒的動作外， 也能區分跌倒的嚴重程度，並藉此多特徵之跌倒偵測方式提高準確率，最後當有跌倒動作發生時， 跌倒偵測系統會用簡訊通知相關人員。實驗證明在未結合加速度偵測法時之正確率為 86.67%，而 信賴度為 85.85%，經結合加速度偵測法後其正確率提升為 93.33%，信賴度為 92.96%，所以長寬比 結合加速度偵測法的跌倒偵測方式能有效提升跌倒動作之辨識。 關鍵字: MATLAB Simulink、跌倒偵測、即時影像。. I.

ABSTRACT Aging society is a common issue in many countries, and Taiwan is no exception. So the issue, which is to take care of the elderly, is worthy of studying. Fall is a common problem in the elderly people. The rate of falling is about 10% to 20% each year in Taiwan, and half of them are repeated. Fall often causes fracture, and it reduces physical function, independence ,and psychological injury. So fall is one of major threat to the health of the elderly people. As computer speed is getting faster, the cost of camera is getting cheaper ,it makes a way to do analysis of realtime video by processing image automatically. By using MATLAB Simulink and technology of image processing, this research designs a real-time falling detection system with IP camera. The features of fall use aspect ratio and acceleration, and it can distinguish between weak fall and strong fall. Finally, if the system detects a fall, it will use a short message service to inform the related people. According to experiments, the correct rate and reliability of method without acceleration is 86.67% and 85.82% respectively, the correct rate and reliability of method using acceleration is 93.33% and 92.91% respectively, so the features of aspect ratio method and Acceleration detection method can improve the correct rate of fall detection. Keyword: MATLAB Simulink、fall detetion、realtime video。. II.

誌. 謝. 在國立台北護理學院資訊管理碩士班的這兩年來，承蒙指導教授李烱三老師的 指導，使學生不管在研究領域上或是生活學習上所碰到的問題都能迎刃而解。並且 對學生論文不辭辛勞的校稿、逐字斧正，使得本論文的內容更趨完善。另外更要感 謝口詴委員：葉榮木老師、蔡俊明老師和江蔚文老師給予本論文的指導與建議，使 本論文得以順利完成，在此獻上十二萬分的謝意與敬意。 研究期間蒙實驗室學長揚升、家駿、煜展學長對於研究方向的啟發。此外，感 謝榮仁同學、立垣學弟、碧珊學妹和系上助教在學業上的討論及實驗上的幫忙，使 我在這二年間留下美好及深刻的回憶。 最後要感謝我的家人，一路上在背後默默的關心、支持與鼓勵我，讓我可以全 心全力順利完成碩士班的學習。僅將此論文獻給曾經陪伴過我的每一個人，願他們 都能順心平安，事事如意。. III.

目. 錄. 論文摘要 ....................................................................................................................................................... I ABSTRACT ................................................................................................................................................. II 誌 謝 .....................................................................................................................................................III 目 錄 .................................................................................................................................................... IV 圖 目 錄 .................................................................................................................................................... VI 表 目 錄 .................................................................................................................................................. VIII 第一章 緒論 ...........................................................................................................................................1 第一節 研究背景 ...........................................................................................................................1 第二節 研究動機 ...........................................................................................................................4 第三節 研究目的 ...........................................................................................................................6 第四節 本論文之跌倒偵測系統 ...................................................................................................7 第五節 論文架構 ...........................................................................................................................9 第二章 文獻探討 ................................................................................................................................. 11 第一節 感知器為基礎 ................................................................................................................. 11 第二節 視訊影像為基礎 .............................................................................................................13 第三章 影像處理技術 .........................................................................................................................19 第一節 色彩空間轉換 .................................................................................................................19 第二節 移動物偵測 .....................................................................................................................22 第三節 背景之建立 .....................................................................................................................24 第四節 侵蝕與膨脹 .....................................................................................................................26 第五節 斑點分析 .........................................................................................................................28 第四章 系統實做 .................................................................................................................................30 第一節 第二節 壹 貳 第三節 第四節 第五節 壹. MATLAB Simulink ....................................................................................................30 系統架構 .........................................................................................................................32 系統環境 .........................................................................................................................33 IP camera 規格 ................................................................................................................34 系統流程 .........................................................................................................................35 即時影像之擷取 .............................................................................................................37 前景物與背景之分離 .....................................................................................................39 色彩空間轉換 .................................................................................................................39. 貳 參 第六節 第七節 壹 貳 參 第八節. 建立背景 .........................................................................................................................41 影像分割 .........................................................................................................................44 前景物資訊之取得 .........................................................................................................45 跌倒偵測 .........................................................................................................................47 前景物動作分析 .............................................................................................................47 跌倒偵測-長寬比偵測法 ................................................................................................48 跌倒偵測-加速度偵測法 ................................................................................................53 跌倒通知與查看 .............................................................................................................58 IV.

第五章. 實驗結果與討論 .....................................................................................................................61. 第一節 實驗環境 .........................................................................................................................61 第二節 評估方法 .........................................................................................................................62 第三節 實驗結果與討論 .............................................................................................................64 第六章 結論與未來展望 .....................................................................................................................68 第一節 結論 .................................................................................................................................68 第二節 未來展望 .........................................................................................................................69. V.

圖 目 錄 圖 1 跌倒偵測系統的想法 ..........................................................................................................................7 圖 2 研究流程圖 ........................................................................................................................................10 圖 3 RFID Tag 之穿戴位置 ........................................................................................................................ 11 圖 4 三軸加速感測器、迴轉儀及水平感應器的傳輸方式 ....................................................................12 圖 5 主成分分析法 ....................................................................................................................................13 圖 6 SONFIN 分類的結果 ..........................................................................................................................14 圖 7 半球廣角監視器的影像 ....................................................................................................................15 圖 8 狀態分析法 ........................................................................................................................................16 圖 9 半球廣角監視器的影像 ....................................................................................................................17 圖 10 RGB 色彩空間 ..................................................................................................................................19 圖 11 RGB 影像 ..........................................................................................................................................20 圖 12 色彩空間轉換範例，(a)RGB 影像、(b)亮度影像 ........................................................................21 圖 13 時間軸上中間值法之範例，(a)原始影像、(b)背景影像 .............................................................25 圖 14 結構元素之示意圖，(a)結構元素 S3,3、(b)結構元素 S5,5 ............................................................26 圖 15 閉合運算之範例，(a)原始影像、(b)未閉合影像、(c)閉合影像 .................................................27 圖 16 斑點分析，(a)二值化影像、(b)斑點分析後 .................................................................................28 圖 17 標記方式：(a)四連接、(b)八連接 .................................................................................................28 圖 18 斑點分析之範例，(a)原始影像、(b)斑點分析後 .........................................................................29 圖 19 MATLAB 家族 ..................................................................................................................................30 圖 20 Simulink 圖像處理模塊組 ................................................................................................................31 圖 21 跌倒偵測系統架構 ..........................................................................................................................32 圖 22 AXIS M1013-W 網路攝影機...........................................................................................................34 圖 23 系統流程 ..........................................................................................................................................35 圖 24 查詢 MATLAB 中可用的影像設備 ................................................................................................37 圖 25 模塊組，From Video Device ...........................................................................................................38 圖 26 MATLAB Simulink 色彩空間轉換 ..................................................................................................39 圖 27 色彩空間轉換之結果，(a)轉換前、(b)轉換後 .............................................................................40 圖 28 時間軸上的中間值法 ......................................................................................................................41 圖 29 MATLAB simulink 時間軸上中間值評估器 ...................................................................................42 圖 30 時間軸上中間值法建立背景之結果，(a)原始影像、(b)背景影像 ..............................................43 圖 31 MATLAB Simulink 影像分割 ..........................................................................................................44 圖 32 影像分割之結果，(a)與背景相減後、(b)二值化後 .....................................................................44 圖 33 前景物最小邊框 ..............................................................................................................................45 圖 34 MATLAB Simulink 斑點分析與前景物之判斷 ..............................................................................46 圖 35 前景物動作之分析 ...........................................................................................................................47 圖 36 行走長寬比觀察圖 ..........................................................................................................................48 圖 37 蹲下長寬比觀察圖 ..........................................................................................................................49 圖 38 坐下長寬比觀察圖 ..........................................................................................................................49 VI.

圖 39 行走跌倒長寬比觀察圖 ..................................................................................................................50 圖 40 起立跌倒比例觀察圖 ......................................................................................................................51 圖 41 行走之長寬比與垂直加速觀察圖 ..................................................................................................54 圖 42 蹲下之長寬比與垂直加速觀察圖 ..................................................................................................54 圖 43 坐下之長寬比與垂直加速觀察圖 ..................................................................................................55 圖 44 行走中跌倒之長寬比與垂直加速觀察圖 ......................................................................................55 圖 45 起立跌倒之長寬比與加速觀察圖 ..................................................................................................56 圖 46 狀態轉換圖 ......................................................................................................................................56 圖 47 MATLAB Simulink 跌倒偵測之判斷 ..............................................................................................57 圖 48 簡訊發送流程圖 ..............................................................................................................................58 圖 49 簡訊發送功能之畫面-正常狀態 .....................................................................................................59 圖 50 圖 51 圖 52 圖 53. 簡訊發送功能之畫面-跌倒狀態 .....................................................................................................59 簡訊中 RTSP 協定之連結 ...............................................................................................................60 手機查看跌倒事件 ..........................................................................................................................60 測詴環境 ..........................................................................................................................................61. 圖 54 IP camera 即時影像拍攝流程 ..........................................................................................................64. VII.

表 目 錄 表1 表2 表3 表4 表5 表6 表7 表8 表9. 台灣 98 年底人口結構分析 ................................................................................................................1 台灣 97 年老年人口主要死亡原因 ....................................................................................................2 跌倒後獲得醫療處理的時間 ..............................................................................................................4 照顧方式比較 ......................................................................................................................................5 跌倒偵測的做法比較 ........................................................................................................................18 移動物偵測比較 ................................................................................................................................23 背景建立的方法比較 ........................................................................................................................24 系統環境 ............................................................................................................................................33 系統使用軟硬體規格 ........................................................................................................................61. 表 10 表 11 表 12 表 13 表 14 表 15 表 16. 評估方式 ..........................................................................................................................................62 實驗所拍攝的影像 ..........................................................................................................................64 受測者資訊 ......................................................................................................................................64 實驗 1 中長寬比偵測法與結合加速度偵測法之結果 ..................................................................66 實驗 1 中長寬比偵測法與結合加速度偵測法之比較 ..................................................................66 實驗 2 中長寬比偵測法與結合加速度偵測法之結果 ..................................................................67 實驗 2 中長寬比偵測法與結合加速度偵測法之比較 ..................................................................67. VIII.

第一章 第一節. 緒論. 研究背景. 隨著醫療和生活品質的提升，高齡化逐漸成為世界各國普遍的現象，根據 世界衛生組織(World Health Organization,WHO)的定義，各國 65 歲以上的老年人 口，佔總人口數的 7%為「高齡化社會」 ；14% 稱為「高齡社會」 ；20%則為「超 高齡社會」 。而台灣截至民國 98 年底止，根據內政部的統計 65 歲以上的老年人 口，共有 245 萬 7632 位老人，佔全國總人口數的 10.63%，所以可以得知台灣目 前處於高齡化社會，而台灣 98 年底人口的結構如表 1 所示。 表 1 台灣 98 年底人口結構分析[1][2] 戶籍人口登記數 年齡結構百分比(%) 年底別 總人口數 65 歲以上 (民國) 0–14 歲 15–64 歲 65 歲以上 人口數 88 年底 22,092,387 1,864,597 21.43 70.13 8.44 89 年底 22,276,672 1,920,249 21.11 70.26 8.62 90 年底 22,405,568 1,973,931 20.81 70.39 8.81 91 年底 22,520,776 2,031,374 20.42 70.56 9.02 92 年底 22,604,550 2,088,660 19.83 70.94 9.24 93 年底 22,689,122 2,150,929 19.34 71.19 9.48 94 年底 22,770,383 2,217,835 18.70 71.56 9.74 95 年底 22,876,527 2,287,653 18.12 71.88 10.00 96 年底 22,958,360 2,344,049 17.56 72.24 10.21 97 年底 23,037,031 2,402,762 16.95 72.62 10.43 98 年底 23,119,772 2,457,632 16.34 73.03 10.63 資料來源：本部戶政司。 說明： 1. 扶老比 ＝ (65 歲以上人口)/(15-64 歲人口)*100。 2. 老化指數 ＝ (65 歲以上人口)/(0-14 歲人口)*100。. 扶老比 (%) 12.04 12.27 12.51 12.78 13.02 13.31 13.60 13.91 14.13 14.36 14.56. 老化 指數(%) 39.40 40.85 42.33 44.17 46.58 49.02 52.05 55.17 58.13 61.51 65.05. 表 1 中扶老比的意思為每 100 個有工作能力之人口(15-64 歲)應扶養的老年 人口數(65 歲以上)，而老化指數則為老年人口與幼年人口(0-14 歲)之比例，由扶 老比和老化指數可以看出台灣除了處於高齡化社會，也不斷向高齡社會邁進。. 1.

在這些老年人口中，根據行政院衛生署的統計，台灣 97 年老年人口主要的 死亡原因中，意外事故為第 10 位，死亡人數為 2,447 人，僅次於一般高血壓、 敗血症等疾病，如表 2。而「跌倒」多半為意外事故最主要的原因，由此可看出 跌倒到目前還是老年人口的十大死因之一。 表 2 台灣 97 年老年人口主要死亡原因[3] 順. 位 1 2. 死亡 人數. 每十萬 人口 死亡率. 死亡 百分比 %. 23,195. 977.6. 24.1. I01-I02.0, I05-I09, 心臟疾病（高血壓性疾病除外） I20-I25, I27, I30-I52. 12,087. 509.4. 12.5. ICD-10 國際死因 分類號碼 C00-C97. 死. 亡. 原. 因. 惡性腫瘤. 3. I60-I69. 腦血管疾病. 8,254. 347.9. 8.6. 4. J12-J18. 肺炎. 7,739. 326.2. 8.0. 5. E10-E14. 糖尿病. 6,187. 260.8. 6.4. 6. J40-J47. 慢性下呼吸道疾病. 4,921. 207.4. 5.1. 3,243. 136.7. 3.4. 高血壓性疾病. 2,954. 124.5. 3.1. 敗血症. 2,881. 121.4. 3.0. 2,447. 103.1. 2.5. 7. N00-N07, N17-N19, 腎炎、腎病症候群及腎病變 N25-N27. 8. I10-I15. 9. A40-A41. 10 V01-X59, Y85-Y86 意外事故. 附註：65 歲以上年中人口數共計 2,372,658 人，其中男性 1,155,704 人，女性 1,216,952 人。. 就因如此，世界各國越來越重視病人安全(Patient Safety)的相關議題，不管 是在國內還是國外，都在跌倒預防與跌倒偵測等病人安全的議題上努力並進行 相關研究。在跌倒死亡率中，老年人口是各年齡層中最高的，而且會隨著年齡 增長而增加，目前美國 65 歲以上獨居老人每年有 30％的跌倒發生率，可說是每 三人就有一人跌倒，而根據衛生署的資料顯示，台灣老年人的跌倒率為 10%-20%， 意思是指每 5-10 位老人就有 1 位在 1 年內跌倒過，而在有跌倒經驗的人中，有 1/3 以上的人有再次跌倒的機率[4][5]。 2.

而在醫院中發生於住院老人的意外事件中， 「跌倒」為最常發生而且往往容 易產生許多重大傷害，不但危害住院老人之安全，也增加社會的醫療支出。而 且伴隨年齡越大，跌倒的發生的機率越高，住在安養院、醫院或其他照護中心 的老人，跌倒的可能性就又比可自由活動的老人高出許多，可見就算有專業醫 護人員照顧的醫院跌倒仍是老年人的一大問題。 健保實施以來，由於總額給付的關係，迫使醫院不得不縮減人力成本，但 要完成預防病人跌倒與監控跌倒事件的發生是需要許多醫護人員的注意，在無 法增加人力的情況下，勢必要增加目前的工作量，長久下來則可能造成照護品 質的降低，所以能否在不增加人力的前提下，提供一種跌倒偵測的方法，輔助 醫護人員關心需照護者，是一個值得研究的問題。 近年來隨著電腦計算速度的增加、攝影機硬體成本的下降和影像處理技術 的進步，使得人們可以利用攝影機和影像處理的技術為生活增加更多的應用， 像是移動偵測(Motion Detection)、入侵偵測(Forbidden Area)等，讓人們可以利用 電腦中的攝影機搭配相關的影像處理技術取代傳統人力監視的方式，就能對特 定的事件進行長時間的追蹤與記錄。. 3.

第二節. 研究動機. 根據資料顯示，跌倒後獲得醫療處理的時間一半以上超過 30 分鐘，如表 3， 也就是在跌倒後的情形通常無法立即得知，其原因為發生傷害之地點通常在單 獨或是偏僻的地點，而跌倒常造成骨折、降低身體功能、減少獨立性、造成心 理傷害，可見跌倒對老年人的健康是一大威脅，對於獨居的老人，若因跌倒陷 入昏迷且未能及時發現且給予治療，甚至會導致死亡。相關研究更是指出，一 旦跌倒而且發生昏迷事件，越早發現死亡率也就愈低，所以如果能即時得知跌 倒情形的發生，將有助於增加搶救的時間[7][8]。 表 3 跌倒後獲得醫療處理的時間[6]. 跌倒至獲得醫療處理時間(分). 人數. 百分比. ≦30. 16. (25.0). 31- 60. 19. (29.7). 61-120. 7. (10.9). ＞120. 22. (34.4). 在美國 65 歲以上老人，因跌倒傷害所耗費的醫療費用約佔所有醫療費用的 6%。而在台灣 65 歲以上老人的跌倒醫療費用平均為 40372 元，經相關研究的結 果顯示，全國跌倒傷害的醫療費用推估為 51.4 億元，經由居家環境改善可以減 少 22.5 億元，由此可知因跌倒而產生的醫療費用是相當可觀的[9]。 各級醫療院所多辦有傳統的被動式監控裝置，像是閉路電視(CCTV)、視訊 攝影機(Webcam)、網路攝影機(IP camera)，但就算是使用這些裝置，還是需要人 力專注於螢幕上，且通常僅能提供錄影與事後分析的功能，並不能在事件發生. 4.

時提供相關的通知或警告。目前各級醫院對跌倒是以採鼓勵通報的方式，也就 是所院方會架設一個通報網站，鼓勵醫護人員當發生跌倒事件時，能盡快的上 網填寫，但這樣通報系統無法得知確切的跌倒發生時間。隨著資訊科技的進步， 現在可以用影像處理的方式，讓視訊攝影機(Webcam)、網路攝影機(IP camera) 的影像能做即時的分析，並將結果通知相關人員。表 4 為照顧方式之比較： 表 4 照顧方式比較. 照顧方式. 特點. 傳統人力照顧. 需長期和定時，有固定人力駐守在照護場所. 閉路電視. 只需少數人於螢幕前監控，仰賴人的感官. 即時影像偵測. 能提供即時的事件偵測，主動通知相關人員. 表 4 可以看出傳統人力照顧的特點為，有固定的人力看守，能讓照護者有 心理上的安全感，但卻會需要消耗相當多的人力資源；閉路電視則是以一對多 的方式來監控環境，但會受到人類感官的影響，所以多半以錄影供事後檢討與 查證使用；即時影像偵測是攝影機與影像處理技術的結晶，跟前面兩者不同的 事，此方式可以不需人力長時間的駐守且不受人類感覺的影響，就可以針對特 定的事件(例如，疑似跌倒)做長時間的監控。. 5.

第三節. 研究目的. 為了能提高照護品質，減少定時巡邏的人力與降低人類感官(如疲勞等)的影 響，並基於前述的背景與動機，本研究將利用 MATLAB Simulink 能快速建立系 統模型的特性和在影像處理上的優勢，結合能獨立運作不受線路長短現在和可 供遠端連線觀看即時影像之 IP camera，發展一套以即時影像為基礎之跌倒偵測 系統並希望達成以下的目的： (1)設計一個跌倒偵測系統：藉由前景物在畫面中的長寬比和加速度的變化，找 出疑似跌倒的特徵，並能辨別之嚴重程度與通知相關人員，使相關人員能透過 IP camera 對需要照顧者做適時的關心。 (2)需照顧者無頇穿戴照顧設備：目前有些跌倒偵測的方式是讓需照顧者穿戴感 應設備(如 G-sensor 等)，本論文希望藉由影像處理的方式，讓需照護者不用穿戴 任何設備即能給予生活上的照護。 (3)降低相關人員的負擔：輔助相關人員對偏僻或危險區域做長時間的監控，當 發生疑似跌倒狀況時，相關人員能透過系統所發出的簡訊連回 IP camera 判斷其 嚴重性，對老年人做適時的關懷，使人力能做彈性的運用。. 6.

第四節. 本論文之跌倒偵測系統. 本論文將假設在需要跌倒偵測的環境中，不使用一般的視訊攝影機 (Webcam)，而是使用網路攝影機(IP camera)，IP camera 的特點為攝影機本身不 需以主機相連，且 IP camera 本身有內建立網頁部分，可供相關照護者查看，然 後利用 IP camera 做為影像擷取的工具，並將影像傳入 MATLAB Simulink 中進 行處理，透過色彩空間轉換、影像分割、影像形態學、區塊分析等影像處理技 術，找出需照顧者(以下簡稱為前景物)各個動作的座標、長、寬值，並用座標、 長、寬值計算出長寬比、加速度等特徵，並藉由多個跌倒和非跌倒的影像，定 義前景物疑似跌倒的動作，最後再將結果透過簡訊的方式，發送給相關人員， 使相關人員能連回 IP camera 觀看即時影像，對疑似跌倒的動作做判斷和給予適 當的關心與處理，達成即時偵測與通知的目的，藉此輔助相關人員關懷需照顧 者，圖 1 為本論之跌倒偵測系統之想法。. 圖 1 跌倒偵測系統的想法. 圖 1 為說明希望在原本的需照顧的環境下，利用 IP camera 的即時影像與影 像處理技術，加上跌倒偵測與通知的功能，讓相關人員能得知確切的跌倒發生 7.

時間，達到即時監控和通知的目的，並希望能完成一個可用的系統。總結上述， 本論文主要的貢獻如下： (1)即時影像的擷取：由於 MATLAB Simulink 目前只支援視訊攝影機(Webcam) 也就是以 USB 連結方式的影像擷取，所以本論文需針對網路攝影機(IP camera) 做出適合透網路傳輸方式的影像擷取方法。 (2)跌倒動作的特徵及偵測：藉由行走、蹲下、坐下、行走跌倒和起立跌倒等動 作，來驗證影像處理中得到的座標、長和寬的數值和所計算出的長寬比和加速 度等前景物特徵，能否提供系統判斷找出疑似跌倒的動作和嚴重程度。 (3)通知系統：利用 MATLAB Simulink 將疑似跌倒事件存成文字檔，當簡訊系統 讀到有文字檔時，即可發送簡訊。. 8.

第五節. 論文架構. 本論文分為六章，其內容架構如下所述： 第一章 緒論 說明本論文的研究背景、動機與目的，以及所使用的方法和論文架構。 第二章 文獻探討 蒐集跌倒偵測之相關文獻，探討文獻中跌倒偵測做法之優缺點。 第三章 影像處理技術 比較各影像處理技術之效果，以決定本論文要使用的方法。 第四章 系統實作 系統實作的過程和系統所提供的功能介紹。 第五章 實驗結果與討論 將所實作出的系統做驗證與討論。 第六章 結論與未來展望 經由系統實作所得到的結論與待解決的問題。. 9.

本論文的研究流程如圖 2 所示。. 圖 2 研究流程圖. 10.

第二章. 文獻探討. 早期老年人的照護，多半仰賴人力的照護(如療養院或專人看護等)，但這類 的照護方式難免會受到人類感官的影響，而且通常需要集中式的管理，使老年 人失去自主的空間。近年來科技的進步，開啟了自動化偵測的研究領域，而有 關「跌倒偵測」的研究，大致分成以感知器為基礎(Sensor-based) 和視訊影像為 基礎(Video-based)的做法，本章將分析其做法和優缺點。. 第一節. 感知器為基礎. 黃俊喬等，將兩張 RFID 標籤(RFID Tag)放置在老年人的胸口和腳踝，由其 水平距離，來判斷是否跌倒。此方法分成兩階段來偵測，第一階段為連續 5 次 偵測相對距離皆大於 1 公尺；而第二階段為當符合第一階段時會啟動 RFID 內的 動作感應器，如果連續 5 分鐘沒有反應則發出警報，此研究 RFID Tag 實際的穿 戴位置如圖 3。. 圖 3 RFID Tag 之穿戴位置[10]. 此研究有指出若個案以躺臥姿勢睡覺或自行將 Tag 取下時，系統也會判斷 個案為昏迷狀態，因此個案在睡眠或卸下 Tag 之前，需自行按壓 Tag 上的按鈕 以暫停偵測，這樣的方式會讓使用者感到不便，加上 RFID 特有的感應距離與遮 蔽問題並未考慮進去[10]。 11.

Kangas 等，用三軸加速感測器(Triaxial Accelerometer) 配置在頭部、腰部及 腕部進行比較，將跌倒發生前後的特徵值設為參數，並且設立參數門檻值，藉 此偵測跌倒事件。其優點為能更準確的得到受測者的資訊(感應器更多)，缺點為 受測詴需要配戴的設備數量變多，可能造成穿戴者的不適[11]。 Hwang 等 ， 同 時 利 用 三 軸 加 速 感 測 器 (Triaxial Accelerometer) 、 迴 轉 儀 (Gyroscope)及水平感應器(Tilt Sensor)偵測受詴者的身體姿勢，經由微型控制器 (MCU)將資料透過藍芽(Bluetooth)傳給資料擷取程式(DAQ)以判斷是否跌倒，詳 細的架構如圖 4。從此研究的結果可看出擁有不錯的辨識率，且能較準確得知受 測者的資訊，但藍芽的耗電和電池大小的問題是否能用於即時的環境，仍是此 研究的一大問題[12]。. 圖 4 三軸加速感測器、迴轉儀及水平感應器的傳輸方式[12]. 經由以上文獻可以看出以感知器為主的跌倒偵測，主要是利用加速感測器、 迴轉儀和水平感應器等設備，主要是偵測待側者在做特定動作時的電壓和角度 變化，觀察一定量的數值後，藉此設定門檻值，達到動作辨識的效果，但此類 的方法通常會有電力不足、設備大小和要裝上許多的感應設備等問題，所以本 研究不考慮這樣的方式來進行跌倒偵測。. 12.

第二節. 視訊影像為基礎. 楊岱璋使用主成份分析法（Principal Component Analysis, PCA）來訓練影像 中的各個姿勢，姿勢包括站立、坐下、彎腰、舉手、躺臥，及走路，其實驗的 結果如圖 5 所示，分別為站立(正面站立)、坐下(坐在椅子上)、躺臥、彎腰、. 舉手和走路[13]。. 圖 5 主成分分析法[13]. 13.

此方法簡單來說是一個在頻率域下的即時人體姿勢分析。經背景相減法及. 前景的前處理(包括去陰影、開洞、補洞，及尋找相連區)後，找出前景物的輪 廓(Silhouette)，將前景物的輪廓用傅立葉描述元(Fourier Descriptor；FD)來分析， 最後再跟之前儲存的 PCA 模型來比對。從圖 5 可以看出此方法不管是站立(正面 站立)、坐下(坐在椅子上)、躺臥等都有不錯的辨識效果，每個動作跟所訓練出 來的 PCA 模型都有 80%以上的相似度。但此方法需事先以非及時(Offline)的方 式訓練各個動作樣本，才能找出特定動作的特徵，加上只能做到姿勢的分類， 無法界定跌倒與正常躺下的差別。 Juang 和 Chang 則是用背景紀錄技術(Background Registration Technique)來 建立背景，其想法為當新的像素值如果大於兩倍的標準差則當作前景，接著將 前景經過雜訊濾除後計算水平和垂直的投影直方圖，並透過 DFT 的轉換與長寬 比當作特徵，再利用 SONFIN (Self-Constructing Neural Fuzzy Inference Network) 來分類站立(Standing)、躺下四種姿勢，並以姿勢的變化來偵測跌倒事件[14]。. 圖 6 SONFIN 分類的結果[14] 14.

圖 6 為 SONFIN 分類的結果，可看出此研究用四種線條樣式來表示所要分 類的動作，如果想要分類的動作有落在縱軸值為 1 的附近，則代表分類正確。 Nasution 和 Emmanuel(2007)，此研究有考慮到老年人的移動速度並不快， 甚至有時候會花很長的時間坐在同一個地方，造成最後也會融入成背景，所以 將前景物會在影像中靜止不動而造成背景更新的參數移除，之後用 k-NN(k-Nearest Neighbor)分類器來分類初步的姿勢 [15]。 Tao 等用高斯模型(Gaussian Model)的理論在 HSV 顏色空間下來偵測前景， 使用前景物的長寬比來當作特徵，藉此分類躺下(Lying)、坐下(Sitting)、蹲下 (Squatting)、站立(Standing)和行走(Walking)，其結果如圖 9 所示[16]。. 圖 7 半球廣角監視器的影像[16]. 圖 7 可看出經分類後，可將躺下、坐下、蹲下、站立和行走，分成三種高斯 分配(Gaussian Distribution)，所以此研究假設當人處於站著或躺著時，所擷取出 的長寬比會呈現不同的高斯分配，藉此偵測跌倒事件。. 15.

宋佩栩使用環場攝影機做為跌倒偵測系統的影像擷取裝置。該研究使用兩種 特徵分析跌倒的影像，第一種是利用受測者的身高和體重之 BMI ，藉此用於較 客製化的長寬變化偵測；第二種是利用狀態分析法提升系統判斷的正確率，其 中狀態分析法如圖 8 所示[17]。. 圖 8 狀態分析法[17]. 此研究將跌倒分成三類(A)穩定行走、(B)暫態，也就是行走中之一般動作， 如突然蹲下、伸展運動或趴倒等、(C)跌倒，定義為在地不動或是稍微抖動之狀 態。z 表示是否發生跌倒，z=0 表示沒有跌倒，z=1 表示跌倒；w 表示長寬比的 改變狀況，w=1 表示長寬比的改變大於系統預設值，此時表示狀態的改變，w=0 表示長寬比之改變小於系統預設值，此時表示狀態不變。所以此研究定義跌倒 為要成為跌倒狀態(C)必頇先進入暫態(B)之後，接著長寬比之改變小於系統之預 設值，即為穩定狀態後，才會進入(C)成為疑似跌倒狀態，所以要符合由(A)到(C) 之順序，才會視為疑似跌倒發生。此研究所提到 BMI 個人資訊到最後不能完全 有效的提升辨識率，因為雜訊的問題(像是陰影和目標物被物體遮蔽)，會使得這 種利用 BMI 個人資訊的方法不適用。 16.

Nait-Charif 和 McKenna 認為在輔助性住宅的環境中 (Supportive Home Environment)，擁有較多的障礙物(像是沙發、椅子、前後門等)為了避免受測者 被家具遮蔽而影響偵測和判斷，所以使用架設在天花板的半球廣角監視器，而 輔助性住宅中的佈置和經由半球廣角監視器的影像如圖 9，其中 H 為前門、S 為 沙發、C 為椅子、R 為後門[18]。. 圖 9 半球廣角監視器的影像[18]. 此研究跌倒偵測的想法為受測者在跌倒後會躺在地上一段時間，所以事先在 室內設定正常的活動靜止區(如沙發和椅子)，而當人活動在設定區外靜止時就判 定為跌倒。此方法能有效的躲避障礙物的影響，但是還是無法辨識跌倒和躺下 於正常的活動靜止區。 Miaou 等所使用的攝影機也是半球廣角監視器，藉此降低障礙物的影響， 並利用背景相減法(Background Subtraction)的方式取得前景的輪廓，此研究的跌 倒偵測想法為跌倒前後輪廓的長寬比會有顯著的改變，所以作為特徵來做跌倒 的偵測。此研究較不同的地方是結合個人資訊(如身高、體重和電子健康記錄等) 來提高準確率[19]。 17.

從以上文獻可以得知以感知器為基礎(Sensor-based)和以視訊影像為基礎 (Video-based)的跌倒偵測都有其優缺點，其比較如表 5 所示： 表 5 跌倒偵測的做法比較. 做法. 設備. 優點. 缺點. 感知器.  加速感測器.  準確性較高.  電力不足. 為基礎.  迴轉儀.  可到老年人的相關.  設備大小.  水平感應. 資訊(動作、體溫).  頇裝上許多的感. (Sensor-based). 應設備 視訊影像.  半球廣角監視器.  可看到真實的狀況. 為基礎.  一般監視器.  老年人無需穿戴.  易受雜訊的干擾. (Video-based) 從以上研究的結果來看，在人類姿勢辨識上都有不錯的正確率，但在跌倒 偵測上並沒有詳細定義跌倒的姿勢規則，所以可能無法偵測出正常躺下和跌倒 的區別。除了以上的缺點外，半球廣角監視器和視訊攝影機(Webcam)一般使用 USB 作為攝影機與跌倒偵測系統的連接方式，這樣不利於攝影機之部署，所以 本研究將使用 IP camera 透過網路的方式連結跌倒偵測系統，這樣可以讓攝影機 和跌倒偵測系統分開部署，並希望在不改變老年人的生活習慣下，也就是無需 穿戴感知器等設備，即可藉由影像判別老年人是否處於跌倒的動作。. 18.

第三章 第一節. 影像處理技術. 色彩空間轉換. 色彩空間是可見光譜中的色彩範圍，不同裝置(電腦螢幕、掃描器、桌上型 印表機、印刷機及數位相機)都會在不同的色彩空間中操作，並各自擁有不同的 色彩空間，在影像處理中常見的色彩空間如(1)RGB 影像、(2)HSI 影像。一般來 說，色彩空間是由三個顏色或成分組成，分別介紹如下： (1) RGB 影像：RGB 是由紅(Red)、綠(Green)、藍(Blue)三個顏色所組成，其單 一像素的組成會用(R,G,B)表示。圖 10 為在倍精度(Double)時 MATLAB 表示 RGB 影像的方式，分別用紅(Red)、綠(Green)、藍(Blue)三個矩陣，而單一像素值會 介於 0 和 1 之間，也就說當一個像素值的組成為(1,1,1)時為白色，而當像素值的 組成為(0,0,0)時為黑色。. 圖 10 RGB 色彩空間[20] 19.

由於 RGB 影像為加法混色的色彩空間，所以顏色會越混合越亮，圖 10 可 看出綠色(G)的亮度高於其他兩者，是由於人類對於顏色的亮度較為敏感，因此 在 RGB 影像中綠色(G)成分較多的影像相對亮度會較高，這點造成 RGB 影像相 依度過高，所以一般影像處理中不會直接對 RGB 影像做處理。 綠 青藍. 黃 白. 藍. 粉紅. 紅. 圖 11 RGB 影像. (2) HSI 影像：HSI 影像是由色相(Hue)、彩度(Saturation)和亮度(Intensity)三者所 組合，在 HSI 彩色空間中，每一個成分彼此之間是不相關的，這使得色彩之間 的相依性較低利於影像處理，在影像處理中為了降低色彩間的相依性和運算量， 通常會只將亮度(Intensity)部分抽離出，也就是將 RGB 影像轉成只有亮度成分的 灰階影像(Intensity)，以下稱為亮度影像。MATLAB 中 RGB 影像轉換成亮度影 像(Intensity)的方式公式 1 所示。. (公式 1). 公式 1 代表每一個亮度影像的像素是由原本 RGB 影像中的 0.299 個 R、0.587 個 G 和 0.114 個 B 所組成，本論文利用此公式將 IP camera 所以擷取的 RGB 影像轉 換為亮度影像轉，其結果如圖 12。. 20.

(a) (b) 圖 12 色彩空間轉換範例，(a)RGB 影像、(b)亮度影像. 圖 12 中(a)代表轉換前的 RGB 影像，圖中有一人物在走動，而(b)代表轉換 後的亮度影像，可以看出經公式 1 的轉換後可將彩色的 RGB 影像轉成灰階的亮 度影像(若為灰階列印則無法看出差異)。. 21.

第二節. 移動物偵測. 在影像處理中，移動物偵測為找出影像中移動物的部分，而影像分割(Image Segmentation)的目在於分離背景與前景物(通常為移動物)。一般來說影像分割有 兩種做法，分別是連續影像相減法(Temporal Difference；TD)和背景相減法 (Background Subtraction；BS)。 連續影像相減法是利用時間 t 畫面中某點(x,y)的像素值 F(x,y,t)與時間 t-1 的 畫 面 中 像 素 質 F(x,y,t-1) 做 相 減 取 絕 對 值 後 ( 消 除 負 值 的 雜 訊 ) ， 依 門 檻 值 (Threshold)將屬於前景的像素點設定為 1，其他則為 0，如公式 2。 (公式 2) TD(x,y)：連續影像相減法(TD)中，每一點像素值(x,y)之處理方式。 F(x,y,t)：時間為 t 之畫面(F)每一點像素值(x,y)。 F(x,y,t-1)：時間為 t-1 之畫面(F)每一點像素值(x,y)。 Threshold：門檻值。 背景相減法則是將每張畫面 F(x,y)與所建立的背景畫面 B(x,y)相減後取絕對 值，依門檻值(Threshold)將屬於前景的像素點設定為 1，其他則為 0，如公式 3。 (公式 3) BS(x,y)：背景相減法(BS)中，每一點像素值(x,y)之處理方式。 F(x,y)：當前畫面(F)之每一像素值(x,y)。. 22.

B(x,y)：所建立之背景畫面(B)之每一像素值(x,y)。 本論文比較了兩者的做法，分別列出連續影像相減法(Temporal Difference) 和背景相減法(Background Subtraction)的優缺點： 表 6 移動物偵測比較. 移動物偵測之方法. 優點. 缺點. 連續影像相減法. 環境的改變適應性佳. 前景物件的形狀較不完整. 背景相減法. 不會有物件內部破碎的問題. 需建立背景. 由此表 6 可得知連續影像相減法最大的缺點是在當兩張影像的差異過大時， 所得到前景物的位置可能會與實際情況有所偏差或是有前景物破碎的情形發生， 甚至移動量不高時會無法偵測前景物。而背景相減法的特點為需事先建立背景 影像，並根據環境的變動適時的更新背景，此方法的優點為可以較正確的取得 前景物的形狀及位置。最後由於連續影像相減法取得的前景物件較不完(會有內 部破碎)，而背景相減法確沒有這樣的問題，所以比較適合做前景物的追蹤。. 23.

第三節. 背景之建立. 由於背景相減法的移動物偵測方式需要事先建立背景，以便跟每個畫面 (Frame)做相減運算，才能得到畫面中代表前景物的像素集合，所以需透過統計 模型將畫面中前景物和背景像素分離出來，而 B. Shoushtarian 等比較了幾個建立 背 景 影 像 的 方 法 ， 分 別 為 (1) 非 前 景 像 素 更 新 法 (Selective Update Using Non-foreground Pixels)、(2)時間軸上的平均值法(Selective Update Using Temporal Averaging)、(3)時間軸上的中間值(Selective Update Using Temporal Median)，其 各個方法的詳細介紹如下。 (1)非前景像素更新法(Selective Update Using Non-foreground Pixels） ：就是前景偵 測後之背景像素更新為新的背景像素，其餘前景像素部分則用之前的背景像素 替代。 (2)時間軸上的平均值法(Selective Update Using Temporal Averaging)：取滑動視窗 中的像素值的平均值，以此值作為新的背景像素值。 (3)時間軸上的中間值法(Selective Update Using Temporal Median)：取滑動視窗中 每個頁面所有像素之中間值，形成新的背景影像。表 7 為以上三種方法之比較。 表 7 背景建立的方法比較[22]. 作法. 比較. (1)非前景像素更新法. 此法在戶外環境效果會比較不理想，因為戶外光線 變化劇烈時，此更新法會使得背景影像無法隨著光 線變化更新成符合現狀的背景影像. 24.

(2)時間軸上的平均值法 此法會出現錯誤的情形在於存入滑動視窗的像素若 包含前景物件，取平均值將會造成新的背景像素失 真的現象 (3)時間軸上的中間值法 此法再偵測前景物件有較正確的效果，不過在計算 出中間值的計算複雜度頗高，且需要的儲存空間也 來得大 經比較後可得知非前景像素更新法不適用於光線變化劇烈的場所，而時間 軸上的平均值法則是取像素的平均值會造成像素的遺失，所以時間軸上的中間 值法比較適合用於前景物體的偵測，而圖 13 為時間軸上的中間值法所建立的背 景影像之範例。. (a) (b) 圖 13 時間軸上中間值法之範例，(a)原始影像、(b)背景影像. 圖 13 中(a)為原始影像、(b)為經由時間軸上的中間值法所建立的背景影像， 可以看出原本彩色的原始影像，經由時間軸上的中間值法處理後原本前景物(人 物)的部分會消除。. 25.

第四節. 侵蝕與膨脹. 影像形態學中常用侵蝕(Erosion)和膨脹(Dilation)來處理一張二值化影像的 外型，如將外型加粗、變細、外框處理或找出影像的骨架。侵蝕的作用為將外 型均勻的縮小，而膨脹為將外型均勻的加粗，在影像處理中透過侵蝕和膨脹可 以達成(1)斷開(Opening)及(2)閉合(Closing)的運算效果。 (1) 斷開運算：是對二值化影像先做侵蝕來縮小區域，再對影像做膨脹來擴大區 域，經過這樣的程序之後可打斷窄橋、消去小島及形狀尖銳的部份，具有平滑 影像輪廓的效果，一般斷開運算的表示如公式 4。 （公式 4）. F。S=(FΘS)⊕S. 公式 4 為說明斷開運算的順序，其中 F 為所輸入的影像，S 為結構元素 (Structure Element)。輸入影像(F)透過結構元素(S)經斷開運算(。)之結果是將輸 入影像先經過侵蝕運算(Θ)，再經膨脹運算(⊕)。圖 14 為結構元素之示意圖，而 結構元素為其影像處理中一次運算的單位。 1 1 1 S3,3= 1 1 1 1 1 1 (a). S5,5=. 1 1 1 1 1. 1 1 1 1 1. 1 1 1 1 1 (b). 1 1 1 1 1. 1 1 1 1 1. 圖 14 結構元素之示意圖，(a)結構元素 S3,3、(b)結構元素 S5,5. 26.

(2)閉合運算：則是先做膨脹再做侵蝕，經過此運算後可填補輪廓上的缺口、消 除小洞、裂縫、及細長的深坑，也可以將窄的細頸中斷部份連接起來，一般閉 合運算的表示如公式 5。 F‧S=(F⊕S)ΘS. （公式 5）. 公式 5 為說明閉合運算的順序，輸入影像(F)透過結構元素(S)經閉合運算(‧) 之結果為輸入影像先經過膨脹運算(⊕)，再經侵蝕運算(Θ)。 在應用上，不論是侵蝕或是膨脹，都是對二值化後的影像作遮罩運算，並 將運算結果標示於新的影像上，以達到去除孤立點或雜訊的作用，圖 15 為前景 物影像經閉合運算之結果。. (a) (b) (c) 圖 15 閉合運算之範例，(a)原始影像、(b)未閉合影像、(c)閉合影像. 由圖 15 可知道經過閉合運算(Closing)處理後，前景物內部破碎的情形會比 較不嚴重，原本斷開的部分都連接起來，便於後續的處理。. 27.

第五節. 斑點分析. 通常在經過一些影像處理後(例如背景相減後再二值化)，畫面(Frame)中會出 現許多小白斑點，也許是雜訊或前景物，而 Blob 在英文中本身有斑點的意思， 所以斑點分析(Blob analysis)，就是找出畫面(Frame)中斑點集合的個數與大小， 藉此區別影像中斑點集合的個數。圖 16 為斑點分析之處理方式： 0 0 0 0 0 0 0 0. 0 0 1 1 1 0 0 0. 0 0 1 1 1 0 0 0. 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 2 0 0 1 1 0 0 0 1 1 0 2 2 0 1 0 0 0 0 1 1 0 2 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 0 0 0 0 0 0 3 0 0 1 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 (a) (b) 圖 16 斑點分析，(a)二值化影像、(b)斑點分析後. 0 0 0 0 0 3 0 0. 0 0 0 0 0 0 0 0. 圖 16 可以看出原本 8×8 之兩值化影像中有許多像素值為 1 所組成的斑點集 合，經由斑點分析後可將其些斑點集合標記(Labeling)成像素值為 1、2 和 3 的斑 點集合。而一般斑點分析標記的方式有兩種，其分別為(a)四連接(4-Connectivity)、 (b)八連接(8-Connectivity)，其概念為圖 17： (a)四連接：搜尋上、下、左、右四個方向是否有相連的像素值 (b)八連接：除了上、下、左、右四個方向外，多搜尋右上、右下、左上、左下 四個方向，共八個方向。. (a). (b). 圖 17 標記方式：(a)四連接、(b)八連接 28.

當搜尋到有相連的像素時，則把此像素視為同一像素集合，並經過這樣的 處理則可分析像素集合為雜訊還是前景物。在 MATLAB 中，對於找尋前景物是 用八連接(8-connectivity)的方式，這樣蒐尋到的像素集合比較完整，而對於尋找 背景則是用四連接(4-connectivity)的方式，圖 18 為斑點分析之結果。. 3 1. 2. (a) (b) 圖 18 斑點分析之範例，(a)原始影像、(b)斑點分析後. 經由斑點分析後可將原始影像中的前景物分成斑點集合 1、2 和 3，從中可 觀察出雜訊之斑點集合遠比前景物之斑點集合小於多，由此可藉由斑點集合之 數目計算來區分雜訊和前景物。. 29.

第四章 第一節. MATLAB. 系統實做. Simulink. MATLAB 是由 MathWorks 公司於 1984 年推出的數學軟體，其名稱是 由「矩陣實驗室」 （MATrix LABoratory）所組成，因此可知此軟體原本專精於矩 陣運算，但隨著數值運算的需求不斷增加，MATLAB 逐漸增加系統模擬、數位 訊號處理的功能。圖 19 為 MATLAB 家族一系列的產品關係圖，主要分為三層， 分別為核心底層的 MATLAB 語言、圖形化的模擬工具 Simulink 和事件導向的模 擬工具 Stateflow，三者間常互相搭配使用。. 圖 19 MATLAB 家族[21]. 圖 19 可看出 MATLAB 除了本身的功能外，還有另外兩項相關的產品，分 別是 Simulink 和 Stateflow。Simulink 專用於連續或離散時間的動態系統模擬， Stateflow 則用於模擬有限狀態機（ Finite State Machines）或事件驅動系統 （Event-driven Systems） ，兩者都基於底層的 MATLAB。其中 Simulink 是一個模 30.

擬核心，在這個核心中是用模塊組（Blocksets）的概念來完成一個系統，也就是 說我們可用方塊集個別的功能，組合成一個大型的系統[21]。 本論文所使用模塊組為影像和圖像處理模塊組(Video and Image Processing Blockset)，其中包含許多影像處理所需的模塊，其詳細的內容如圖 20：. 圖 20 Simulink 圖像處理模塊組. 圖 像 處 理 模 塊 組 所 包 含 的 模 塊 功 能 有 ， 影 像 分 析 和 增 強 (Analysis & Enhancement) 、 空 間 域 影 像 轉 換 (Conversions) 、 濾 波 (Filtering) 、 幾 何 轉 換 (Geometric Transformations)、型態處理(Morphological Operations)、影像匯總 (Sinks)、影像來源(Sources)、統計工具(Statistics)、文字與畫圖(Text & Graphics)、 頻率域轉換(Transforms)、常用工具(Utilities)，本論文將使用這些模塊組來快速 的建立跌倒偵測與通報系統。 31.

第二節. 系統架構. 本論文所提出的系統架構如圖 21，此系統的運作方式是用網路將 IP camera 的影像傳給伺服端的跌倒偵測系統做運算，經影像處理後找出畫面中的前景物， 並用一個最小邊框將其框出，之後進行影像分析找出前景物最小邊框的左上角 座標、長和寬，接著使用這些資訊算出每張畫面間中前景物之加速度，藉此設 立門檻值，當分析結果判定超出門檻值時系統將發出簡訊通知，此時系統會回 到繼續監測的狀態，而用戶端當收到簡訊時能透過簡訊中的 URL 利用能上網的 手機或電腦用 HTTP 或 RTSP 協定連線到 IP camera 內建的網頁查看實際的狀況， 進而能對跌倒事件做即時的關心與處理。. 圖 21 跌倒偵測系統架構. 其中跌倒偵測與通知系統的分別使用 MATLAB Simulink 和 VB.NET 兩個工 具來完成。在跌倒通知的部分，本論文使用 MATLAB Simulink 來做影像處理的 工具，藉此從 IP camera 即時影像中偵測出跌倒事件，當偵測出跌倒事件後 MATLAB Simlink 會寫出一個文字檔(.txt)以供 VB.NET 做為寄送簡訊的依據，藉 此達到跌倒偵測與通知的功能。 32.

壹 系統環境 本系統的開發作業環境為Windows XP Professional Server Pack3，處理器為 Intel Core2 Duo 3.00GHz，記憶體2048MB，顯示卡為主機板內建顯示卡Inter G33/G31 Express Chipset Family，開發軟體則使用MATLAB Simulink和Visual Studio2008做跌倒偵測和寄送簡訊功能之開發，詳細的系統環境如表8所示： 表 8 系統環境. 項目名稱. 規格. 作業系統. Windows XP Professional Server Pack3. 處理器(CPU). Intel Core2 Duo 3.00GHz. 記憶體(RAM). 2048MB RAM. 顯示卡. 主機板內建顯示卡Inter G33/G31 Express Chipset Family. 開發軟體. MATLAB Simulink、Visual Studio2008. 從表 8 的系統環境可以看出其中設備的規格為一般桌上型電腦的配備，並 不需使用額外或特別的運算設備。. 33.

貳 IP camera 規格 本論文所使用AXIS M1013-W 網路攝影機，如圖22所示，此攝影機可使用 RJ-45 10/100Mbps乙太網路，亦可支援802.11g無線網路，本研究將使用以下裝 置作為IP camera即時影像擷取之設備。. 圖 22 AXIS M1013-W 網路攝影機. 本論文會使用此 IP camera 的原因在於輕巧、易於部署的特點，藉此可將此 IP camera 設置一般的需要監測的環境。. 34.

第三節. 系統流程. 本論文跌倒偵測與通知系統的流程主要分成四個部分，分別為(1)即時影像 之擷取、(2)前景物與背景之分離、(3)前景物資訊之取得、(4)跌倒偵測與通知， 如圖 23 所示。. 圖 23 系統流程 35.

(1) 即時影像之擷取：此部分利用 MATLAB Simulink 中模塊組(From Video device) 的功能將 IP 攝影機的影像與 MATLAB Simulink 做連結，藉此得到連續的 IP camera 彩色影像。 (2) 前景物與背景之分離：在得到連續影像後，先用色彩空間轉換將影像簡化， 接著用連續影像中的前 n 張影像，經過時間軸上的中間值法運算後建立背景 影像並與當前的影像(T)相減，經背景相減法的運算後則會得到前景物的區塊 (blob)。其中 T-n 中的 n 為建立背景所要計算的畫面數，本論文將其設為 30， 意思是說前 30 張畫面會做為建立背景之用，在第 31 張畫面時才與背景影像 相減，並每 30 張畫面更新背景一次。 (3) 前景物資訊之取得：得到前景物區塊後，先使用影像處理中二值化的方法， 將影像變成黑白影像(其中白色像素的集合即為前景物)與型態學處理將其孤 立雜點去除，最近進行區塊分析( Blob Analysis)，得到前景物的相關資訊(座 標、長、寬)。 (4) 跌倒偵測與通知：利用前景物最小邊框的座標計算出各畫面間的加速度，並 設定門檻值，當前景物的加速度超過門檻值時，則發出簡訊通知相關人員， 完成跌倒的偵測與通知之功能。. 36.

第四節. 即時影像之擷取. 本論文利用MATLAB Simulink中模塊組(From Video Device)的功能和攝影 機廠商的驅動程式來進行IP camera即時影像的擷取。由於MATLAB目前只支援 本機端的影像擷取，所以如果要擷取遠端的影像，必頇透過攝影機廠商的驅動 程式(AXIS Video Capture Driver)，才能讓遠端的影像在本機可以擷取，如圖24。. 圖 24 查詢 MATLAB 中可用的影像設備. 安裝完驅動程式後，並設定好遠端攝影機之相關資訊後，即可在 MATLAB 的命令視窗中(Command Window)輸入 imaqhwinfo('winvideo',1)即可得到遠端攝 影機的資訊，如預設影像格式(DefaultFormat)、裝置名稱(DeviceName)、支援的 影像格式(SupportedFormats)等。接著只需在 From Video Device 模塊中選擇所要 擷取的攝影機名稱、影像格式和取樣的時間(Block Sample time)就可以擷取到 IP camera 的即時影像，如圖 25。. 37.

圖 25 模塊組，From Video Device. 本論文為減少運算量選擇的影像格式(Video Format)為 RGB 160x120 的即時 影像和設定取樣時間(Sampling Time)為 1/30 秒，也就是每秒 30 張畫面來做後續 的處理，其中輸入模式(Ports Mode)和資料型態(Data Type)採用預設的單一維度 訊號(One Mutidimensional Signal)和單精度(Single)。. 38.

第五節. 前景物與背景之分離. 此節為介紹本論文如何分離前景物與背景，但往往分割出來的前景物會包 含雜訊、非前景物和前景物，本節會利用色彩空間轉換、建立背景、背景相減 法等步驟，來找出有興趣的前景物。 壹 色彩空間轉換 由於從 MATLAB Simulink 模塊組所得影像為 RGB 影像，在 MATLAB 中通 常會用 3 個 m × n 的矩陣來儲存，由 RBG 影像色彩間相依性過高且運算量過大， 因此不利於影像處理，所以本論文使用影像處理中色彩空間轉換的方法將 RGB 影像轉換成亮度影像(Intensity)，而亮度影像是一種灰階影像，在 MATLAB 中只 需用 1 個 m × n 矩陣來儲存亮度值的大小。圖 26 為 MATLAB Simulink 中色彩 空間轉換的方式。. 圖 26 MATLAB Simulink 色彩空間轉換. 左邊模塊組 From Video Device 的功能為擷取原始影像，經由中間模塊組 Color Space Conversion 的色彩空間轉換後，再由右邊的模塊組 Video Display 顯 示轉換後的影像，其結果如圖 27。 39.

(a). (b). 圖 27 色彩空間轉換之結果，(a)轉換前、(b)轉換後. 經色彩空間轉換後，可將圖 27(a)原本三維度的彩色 RGB 影像轉換圖 27(b) 單一維度之亮度影像，藉此減少運算量和影像複雜度。. 40.

貳 建立背景 由於本論文使用背景相減法(Background subtraction)來做前景物與背景之間 的分割，所以需要建立背景影像，而時間軸上的中間值法(Temporal median)對於 追蹤前景物有較高的正確率，所以本論文使用其為建立背景之方法，其做法如 圖 28 所示。. 圖 28 時間軸上的中間值法. 41.

其做法為取一段時間畫面中像素值的中間值，圖 28 為一個 3x3 畫面的範例， 表示一段時間內(8 個畫面)，將每個畫面中各個相同位置的像素取出(如左上角)， 並用一個一維陣列儲存，然後將陣列中的像素值依大小排序後找出中間值(如果 為偶數個像素則將中間兩個像素值加總後除 2)，最後依這些中值所組成的畫面 即為背景畫面。 圖 29 為利用 MATLAB Simulink 工具箱的時間軸上中間值評估器(Temporal Median Estimaton)，來建立背景的過程。. 圖 29 MATLAB simulink 時間軸上中間值評估器. 此部分設定用建立的影像為 30 個畫面，也就是每 30 張畫面會更新背景一 次，第 31 畫面會用 1 到 30 畫面所建立之背景來做相減，而建立之結果如圖 30。. 42.

(a). (b). 圖 30 時間軸上中間值法建立背景之結果，(a)原始影像、(b)背景影像. 圖 30 為說明透過時間軸上中間值法，可將圖 30(a)的原始影像轉換為如圖 30(b)的一張灰階背景，藉此移除原本影像中的人物部分。. 43.

參 影像分割 圖 31 為在 MATLAB 實作影像分割的過程，其過程為當前影像(video)與背 景影像(BG)相減，由於可能產生負值，所以利用絕對值處理（Abs3） ，再進行自 動門檻值的運算後（Autothreshold），使影像二值化，以利於往後的處理，最後 再用閉合運算(Closing)，將前景物的輪廓變得更加明顯。. 圖 31 MATLAB Simulink 影像分割. 圖 32 為影像分割後之結果，左邊為相減後經絕對值處理後之影像，右邊為 經自動門檻值運算之二值化影像。. (a). (b). 圖 32 影像分割之結果，(a)與背景相減後、(b)二值化後. 圖 32 可看出有經過自動門檻值運算之差別，經自動門檻值運算後，可將影 像簡化成黑白影像，便於做後續的分析。 44.

第六節. 前景物資訊之取得. 為了能分辨前景物與得到前景物的相關資訊，例如座標、長、寬等，通常 會使用斑點分析(Blob Analysis)來計算其幾何性質，本論文利用 MATLAB Simulink 中，Blob Analysis 這個模塊組的功能，來取得區前景物的相關資訊，分 別為(1)前景物面積(Area)、(2)前景物最小邊框(BBox)，分別介紹如下： (1)前景物面積(Area)：為前景物範圍中所有斑點(blob)之集合，可藉觀察前景物 面積的大小適當的設立最大與最小的門檻值來剔除非前景物(例如：雜訊的斑點 集合數通常很小)，其計算方式如公式 6。. 公式. A：前景物面積(Area)。 B：前景物之斑點(Blob)。 M、N：為影像之大小，例如大小為 160×120 之影像，M、N 分別為 160、120。 (2)前景物最小邊框(BBox)：利用此功能可以得到前景物最小邊框左上角之列值、 行值(本論文中簡稱座標)、長和寬，藉此可以達到追蹤與辨識的功能，圖 33 為 說明前景物最小邊框中相關資訊之相對關係。 行(Column，C) 座標(C,R). 長 列(Row，R). 寬. 圖 33 前景物最小邊框 45.

在 MATLAB 中會用一個 4×N 的矩陣來儲存前景物最小邊框之資訊，分別為 最小邊框左上角的列值、行值、前景物之長和寬，其中 N 代表所偵測到前景物 之個數，並藉由其方式儲存前景物，圖 34 為藉由條件剃除不需要的前景物。. 圖 34 MATLAB Simulink 斑點分析與前景物之判斷. 圖 34 中說明當畫面中偵測到兩個前景物時，會用最小面積(min_area)和最大 面積(max_area)的條件組合(本論文設為 500 到 2500)，剔除所不需要的前景物(如 Display Area 所示有兩個前景物，大小分別為 793 和 247 個斑點數)，而 Display BBox 則顯示當有多個前景物時會如何儲存，-1 在 MATLAB 中代表無前景物， 最後 Display Result 為這些條件經過 AND 運算之結果，代表只有一個前景物符 合條件，並將此前景物之座標、長和寬做為判斷疑似跌倒之資訊。. 46.

第七節. 跌倒偵測. 壹 前景物動作分析 本論文將 IP camera 的即時影像經過錄影的方式存成影像檔(.avi)，經由分析 前景物的長寬比與加速度等特徵，藉此定義出站立、行走、蹲下、坐下、起立、 行走跌倒、起立跌倒、跌倒不起等八個動作，而本研究的動作如圖 35 所示。. (a)站立. (e)起立. (b)行走. (c)蹲下. (f)行走跌倒. (g)起立跌倒. (d)坐下. (h)跌倒不起. 圖 35 前景物動作之分析. 圖 35 為說明站立、行走、蹲下、坐下、起立、行走跌倒、起立跌倒、跌倒 不起在本論文中實際的情形。. 47.

貳 跌倒偵測-長寬比偵測法 根據本論文第二章的文獻探討，一般跌倒偵測的做法是根據前景物的長寬 比變化來做判斷，所以本論文先請受測者在畫面中模擬行走、蹲下、坐下、行 走中跌倒、起立跌倒等動作，藉此找出長寬比偵測法的特徵來進行後續分析， 圖 36 為行走時長寬比變化之觀察圖，縱軸為長寬比之數值(代表長除以寬之結果)， 而橫軸為畫面之個數。. 圖 36 行走長寬比觀察圖. 圖 36 說明受測者大約在畫面第 145 張左右進入，然後正常行走在畫面一段 時間，也就是畫面第 145 張到畫面 209 左右，由此部分可以看出受測者處於行 走狀態行時，其長寬比會介於 2.00 和 6.00 之間，並呈現上下波動的現象。圖中 正常行走的部分，也就是畫面第 145 張到 209 張呈現不規則下降與升高，這是 因為 IP camera 雖然是固定不動，但其影像中的各點像素還是會呈現高速的閃爍， 造成前景物與背景分離時的誤差，也使得每張畫面中所框選的前景物最小邊框 不盡相同。 48.

圖 37 和圖 38 為受測者處於蹲下和坐下時其長寬比之變化，分別為受測者 進入畫面後，正常行走一段時間再做蹲下和坐下的動作，並於蹲下和坐下一段 時間後，正常行走出畫面。. 圖 37 蹲下長寬比觀察圖. 圖 38 坐下長寬比觀察圖. 從圖 37 和圖 38 中可以看出兩者在長寬比偵測法下差異並不大，當受測者 處於蹲下和坐下狀態時其長寬比會介於 1.00 和 2.00 之間。圖 37 畫面中的第 71 49.

張和圖 38 畫面中的第 57 張在受測者未進入時，有時會偵測到前景物的長寬比， 這主要也是因為 IP camera 雖是固定不動，但其影像中的每個像素點還是會呈現 高速的閃爍，造成前景物與背景分離時的誤差。圖 39 為行走中跌倒之長寬比變 化觀察圖，受測者於畫面正常行走一段時間後，發生跌倒動作並躺在地上不起。. 圖 39 行走跌倒長寬比觀察圖. 圖 39 可以看出受測者大約在畫面第 137 張左右進入畫面，在正常行走一段 時間後，於畫面 153 張到 169 張發生跌倒動作(長寬比劇烈下降部分)，並於跌倒 後一直倒地不起，只有微微的顫抖，由此可得知當跌倒事件發生時其長寬比會 產生劇烈的下降，且跌倒在地後長寬比會介於 0.00 和 1.00 之間。圖 40 為起立 跌倒之長寬比變化觀察圖，受測者於正常行走一段時間後，先在畫面中坐下再 起立，並於這時發生暈眩或站立不穩之跌倒動作。. 50.

圖 40 起立跌倒比例觀察圖. 圖 40 可看受測者在行走一段時間後(如第 67 張畫面到 159 張畫面)，坐在 畫面中某一個區域，這時長寬比會如坐下的長寬比一樣介於 1.00 和 2.00 之間(如 第 159 張畫面到 210 張畫面)，在坐下一段時間後於起立時(如第 210 張畫面到 243 張畫面)，發生跌倒動作(如第 243 張畫面到 265 張畫面)，長寬比呈現劇烈下降， 最後受測者跌倒在地(如第 265 張畫面到 320 張畫面)，長寬比介於 0.00 到 1.00 之間的微小波動。根據上述行走、蹲下、坐下、行走中跌倒、起立跌倒等動作 之長寬比觀察圖結果對照所錄影下來的即時影像，可以發現於在這些事件中， 各個子件事件(無受測者進入、正常行走、蹲下、坐下、發生跌倒和跌倒在地) 的變化點都符合，所以長寬比偵測方法可以對以上做適度的區分以及判斷，並 經由這些長寬比觀察圖本論文可以定義出以下幾點： (1) 當受測者進入畫面中並處於站立狀態時，長寬比會介於 2.00 和 6.00 之間不變， 也就是所偵測到的長寬比會維持在某一數值。 (2) 當受測者進入畫面中並處於行走狀態時，長寬比會在 2.00 和 6.00 之間變化， 也就是所偵測到的長寬比呈現下上波動的現象。 51.

(3) 當受測者處於蹲下和坐下狀態時，長寬比會由原本介於 2.00 和 6.00 之間變化 為 1.00 和 2.00 之間。 (4) 當受測者處於蹲著和坐著狀態時，長寬比會介於 1.00 和 2.00 之間不變。 (5) 當受測者處於起立狀態時，長寬比會由原本介於 1.00 和 2.00 之間變化為 2.00 和 6.00 之間。 (6) 當受測者發生跌倒動作時，長寬會產生劇烈的下降，也就是說長寬比會由原 本介於 2.00 和 6.00 之間在一秒內變化為 0.00 和 1.00 之間。 (7) 當受測者發處於跌倒不起的狀態時，也就是發生跌倒事件後，長寬比會維持 較穩定變化，長寬比因此會一直介於 0.00 和 1.00 之間。 經由以上的定義，可藉由長寬比來分析受測者的動作，並得到跌倒偵測判 斷的判斷規則，但以上方法叫無法分別正常躺下與跌倒動作之動作轉換，所以 以下將介紹長寬比偵測法如何結合本論文所使用的加速度偵測法。. 52.

參 跌倒偵測-加速度偵測法 由於長寬比偵測法，只能對前景物的外型變化做偵測，利用長寬比的特徵 來分類前景物的動作，並無法得知前景物動作轉換之強度，所以本論文加上前 景物的物理特性，藉此判斷前景物是否處於跌倒的動作。就物理學來說前景物 的移動速度與加速度分成垂直速度、垂直加速度、水平速度和水平加速度，而 跌倒動作與垂直方向的速度和加速度比較有直接的關係，所以本論文將利用前 景物最小邊框之左上角座標來計算前景物的垂直速度與垂直加速度做為跌倒動 做判斷的準則(也就是前景物列之變化)，其中在物理學中速度與加速度的計算方 式如公式 7 和公式 8。. 公式. 公式. 公式 7 中 V 為垂直速度，定義為前景物 X2 的列位置減 X1 的列位置再除以 所經過的時間(t)，也就兩點之距離差(. )除以時間差(t)；而公式 8 中末速度(V2). 的平方會等於初速度(V1)的平方加上兩倍的加速度( )乘與距離差. ，經推導. 後加速度( 會等於末速度(V2)的平方減去初速度(V1)的平方除以兩倍的距離差 。其中上述公式 7 時間(t)的部份，由於輸入影像為每秒 30 個畫面，所以每 張畫面之間隔時間為 1/30 秒，但若以每秒計算每張畫面前景物的列變化，則會 太過敏感(數值過大不好比較)，所以本論文將用每 1/30 秒為單位來計算每張畫 面中前景物列變化(也就是 t=1)，圖 41 到圖 45 為前述長寬比偵測法之行走、蹲 下、坐下、行走中跌倒和起立跌倒等動作之加速度計算結果。 53.

圖 41 為行走時長寬比與垂直加速度觀察圖，其中橫軸為畫面數，而縱軸分 別代表長寬比之比例和垂直加速度之大小(單位為每 1/30 秒移動的像素)。. 圖 41 行走之長寬比與垂直加速觀察圖. 圖 41 中實線部分(藍色)為行走時長寬比之變化，而虛線部分( 紅色)為行走 時之加速度變化，由此可看出行走時雖然長寬比呈現上下之波動，但垂直加速 度卻無明顯之變化(垂直加速度為 0.00)。圖 42 和圖 43 分別為蹲下和坐下時長寬 比與垂直加速度觀察圖。. 圖 42 蹲下之長寬比與垂直加速觀察圖 54.