دانلود مقاله ISI انگلیسی شماره 26158 + ترجمه فارسی
عنوان فارسی مقاله

برنامه ریزی سیاست های بازرسی و تعمیر و نگهداری سازه ای از طریق برنامه ریزی پویا و فرایندهای مارکوف. بخش II: اجرای POMDP

کد مقاله سال انتشار مقاله انگلیسی ترجمه فارسی
26158 2014 11 صفحه PDF 35 صفحه WORD
خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.
عنوان انگلیسی
Planning structural inspection and maintenance policies via dynamic programming and Markov processes. Part II: POMDP implementation
منبع

Publisher : Elsevier - Science Direct (الزویر - ساینس دایرکت)

Journal : Reliability Engineering & System Safety, Volume 130, October 2014, Pages 214–224

فهرست مطالب ترجمه فارسی
چکیده
کلید واژه ها
1. مقدمه
2. مدل سازی POMDP
2.1 احتمالات تغییر وضعیت (حالت گذار) برای سازه های در حال زوال و فرسایش
2.1.1 انتقال زوال و فرسایش غیرثابت
شکل 1. احتمال قرار گرفتن در هر حالت وضعیت، که از وضعیت خوب شروع می شود و مقایسه مدل سازی تصادفی با مبنای فیزیکی با شبیه سازی های زنجیره مارکوف
2.2 پارامترهای باقیمانده POMDP (اقدامات، مشاهدات، و پاداش ها)
جدول 1. بخش پاداش های مدل سازی POMDP
3. الگوریتم Perseus
4. نتایج
شکل 2. مرحله پشتیبان گیری Perseus
شکل 3. تقریب تابع مقدار حد پایین تر تکرار شونده
شکل 4. اقدامات حمایت شده بوسیله 2319 ابرصفحه. 
شکل 5. شبیه سازی مثال اول
شکل 7. مقایسه سیاست ها. شبیه سازی های آغاز شده در حالت بدون زوال و تخریب
شکل 8. مقایسه سیاست ها. شبیه سازی های آغاز شده در وضعیت تخریب وزوال
شکل 9. مقایسه سیاست ها و برتری POMDP
شکل 10. عملکرد Perseus. پاداش تنزیل یافته مورد انتظار شبیه سازی شده
شکل 11. عملکرد Perseus. پاداش تنزیل یافته مورد انتظار شبیه سازی شده
5. نتیجه گیری
شکل 12. عملکرد Perseus. تعداد ابرصفحات و حد و کران های پایین تر
کلمات کلیدی
پردازش های تصمیم گیری مارکوف نیمه قابل مشاهده - کنترل تصادفی بهینه - فضای اعتقاد - مشاهدات نامشخص - هزینه چرخه عمر سازه - مدیریت زیرساخت ها -
ترجمه چکیده
هدف کلی این مطالعه دوبخشی تاکید بر ویژگی های پیشرفته، قابلیت ها و استفاده از تکنیک های کنترل تصادفی و به خصوص فرایندهای تصمیم مارکوف با ویژگی قابل مشاهدهجزئی(POMDPs) است که می تواند به مسئله برنامه ریزی سیاست های تعمیر و نگهداری و بازرسی/نظارت مطلوب براساس مدل های تصادفی و داده های سازه ای نامطمئن در لحظه (زمان واقعی) بپردازد. در بخش دوم مطالعه، یک فرمول سازیPOMDP افق نامتناهی، مجزا و پیشرفته با 332 حالت، در رابطه با یک سازه بتن مسلح در حال خوردگی و حداقل هزینه طول عمر آن مطرح و حل می شود.ساختار و راه حل این مسئله، رویکردهای مرتبط را مدرنیزه و گسترش می دهد و استفاده از روش های POMDP را در به چالش کشیدن کاربردهای عملی ترغیب می کند.جدای از مشاهدات نامعلوم، چارچوب ارائه شده می تواند از نتایج نامشخص اقدامات، بازرسی های غیر دوره ای و دردسترس بودن انواع بازرسی/نظارت و فواصل و همچنین اقدامات تعمیر و نگهداری و زمان های عملیات حمایت کند. بنابراین جای تعجب نیست که سیاست بهینه برآورد شده شامل ترکیب پیچیده ای از یک سری اقداماتی می شود که بواسطه هیچ روش دیگری نمی توان آنها را اجرا کرد. برای حل مسئله، به یک راه حل تکرار مقدار نقطه محور متوسل می شویم و عملکرد آن و کیفیت راه حل را برای این نوع کاربردها ارزیابی می کنیم. راه حل های تقریبی ساده تر براساس MDPs استفاده و مقایسه می شوند و مفاهیم مهم اقدامات جمع آوری مشاهدات و ارزش اطلاعات بطور مختصر بحث می شوند.
ترجمه مقدمه
این مقاله مکمل یک مقاله همدم (مقاله با موضوع مشابه)[1] است که پیش زمینه نظری جامعی در خصوص استفاده از فرایندهای تصمیم مارکوف (MDPs) برای مدیریت زیرساخت فراهم کرد. همانطور که در بخش اول مقاله نشان داده شده است، بخش به طور جزیی قابل مشاهده فرایندهای تصمیم مارکوف (POMDPs) یک گزینه عالی برای تصمیم گیری و مدیریت دارایی در شرایط عدم اطمینان، با مبنای ریاضیاتیقوی و ویژگی های برتر، است. POMDPs قادر است تعداد زیادی از موقعیت های واقع گرایانه را توصیف کند و می تواند از طیف متنوعی از فرمول ها و توابع هدف، از جمله مسائل مبتنی بر خطر و یا پایایی، و مبتنی بر شرایط پشتیبانی کند [1].سیاست های بهینه چرخه عمر براساس کنترل تصادفی، مدل های احتمالاتی، داده های سازه ای نامشخص و اصول بایزی ارائه می شوند. بخش دو این مقاله بیشتر بر جزئیات مدل ها و راه حل هایPOMDP برای سیاست های تعمیر و نگهداری و بازرسی سازه بهینه تاکید دارد. یک مثال از کاربرد دقیق سازه بتنی مسلح در حال خوردگی ارائه می شود و در این میان اطلاعات هزینه-منفعت بطور طبیعی در فرمول گنجانده می شود. بیشتر مقادیر و مفاهیم قبلاً تعریف شده در بخش 1 [1] مجدداً با جزئیات در این مقاله تعریف نمی شوند و هرگونه فرضیه مطرح شده در مقاله مشابه در این مقاله هم معتبر است. به عنوان مثال، در این مقاله تنها به کمک های مالی صورت گرفته اشاره خواهد شد، از آنجا که هزینه را صرفاً می توان به عنوان پاداش منفی در نظر گرفت. فرایندهای تصمیم مارکوف دارای پیشینه طولانی و موفق اجرا در مدیریت خطر و هزینه یابی حداقل چرخه عمر سازه های مهندسی عمران هستند [2]. احتمالا قوی ترین نشانه موفقیت و قابلیت های آنها، استفاده از آنها در آژانس های دولتی مختلف در سراسر جهان برای مدیریت دارایی طیفی از زیرساخت ها نظیر پل ها، شبکه های حمل و نقل، پیاده روها و غیره است [3-5]. در آمریکا، PONTIS، سیستم مدیریت غالب برای پل ها و سایر زیرساخت ها، از MDPs به عنوان ابزار اصلی بهینه سازی اش استفاده می کند [6-8]. PONTIS در حال حاضر یک علامت تجاری ثبت شده AASHTO است و توسط اکثریت دپارتمان های حمل و نقل ایالتی آمریکا و سایر سازمان ها در آمریکا و سایر کشورها دارای مجوز است و مورد استفاده قرار می گیرد گرچه MDPs یک چارچوب ریاضی بسیار قوی و همه کاره برای مدیریت دارایی ارائه می کنند، اما یک سری محدودیت ها هم دارند که بعضی مواقع برای کیفیت راه حل هایی که ارائه می کنند حائز اهمیت هستند. POMDPs یک ابزار بسیار عمومی تر است که تمام ویژگی های ارزشمند MDPs را به ارث برده و خودش هم یک سری ویژگی های اضافی دارد.با این حال، POMPs شامل یک رشته علمی جدیدتر می شود که در حال حاضرمی تواند مورد تحقیق و بررسی علمی گسترده قرار گیرد و به اندازه MDPبالغ نیست.این دلایل، علاوه بر این واقعیت که حل کردن شان برای مسائل بزرگ، پیچیده و واقعی بسیار دشوار است، باعث شده تعداد کمی از پژوهش ها در چارچوب تعمیر و نگهداری و بازرسی بهینه به آنها بپردازند، در قیاس با سایر رویکردها در این حیطه، [1]. در مقاله Madanat و Ben-Akiva[9]، یک مسئله POMDP با 8 حالت و یک افق متناهی 10 ساله حل می شود و در مقاله Smilowitz و Madanat[10] یک مسئله تنها با سه حالت، در رابطه با شبکه ای از پیاده رو بزرگراه ها، ارائه می شود. هر دوی این مقالات از یک شبکه ثابت و منظم و قاعده درون یابی- برون یابی نزدیک ترین همسایه استفاده می کنند (تمام معایب این روش را که دربخش اول مقالهبحث شدند تحمل می کنند) و مسائل را به MDPs کاملا قابل مشاهده تبدیل می سازند که به ترتیب بوسیله برنامه ریزی پویا و خطی حل می شوند. در مقاله Ellis et al [11] و Jiang et al[12]، برخی مسائل POMDP افق متناهی در رابطه با پوسیدگی و زوال سازه ای تیرآهن های پل به دلیل خوردگی و فرسودگی، تجزیه و تحلیل می شوند. ماکزیمم سایز فضاهای حالت در این دو تحقیق 13 است و محققان مسائل را با یک الگوریتم دقیق حل می کنند، از مزیت تعداد کم حالات و فرمول سازی افق متناهی بهره می برند، که در این وضعیت در مقایسه با یک افق نامتناهی به لحاظ محاسباتی مفید است. Faddoul et al. [13] یک مسئله بازرسی و تعمیر و نگهداری را در رابطه با سطح پل بزرگراه بتنی مسلح مطالعه کردند و سیاست های مطلوب را براساس روش نزدیک ترین همسایه و یک POMDP 5 حالته با یک طول افق 20 ساله جستجو کردند.استفاده از POMDPs در تحقیقات مربوط به موضوع حاضر در [14-17] یافت می شود. حداکثر اندازه فضای حالت به کار رفته در این موارد، 9 است، [14]. روشن است که در تمام این مقالات، فرمول سازی مسائل بوسیله POMDP باعث شده محققان نتوانند سیستم را بصورت دقیق تر با فضاهای حالت بزرگ تر توصیف کنند. در فرمول سازی های MDP، که در آنها راه حل ها را بسیار راحت تر می توان پیدا کرد، اندازه های فضای حالت در ترتیب صدها یا هزار معمولا مشاهده می شوند و حتی می توان آن ها را کوچک در نظر گرفت. مثلا، یک نمونه تحقیق انجام شده توسط Robelin و Madanat[18] است که در آن مسئله مدیریت سطح پل، که به صورت یک MDP با 840 حالت ایجاد شده، حل شده است. فضای حالت در این مورد شامل شاخص پایایی سطح و پارامترهای وابسته به تاریخ می شود. در این مقاله، به این تحقیقات قبلا ارائه شده و رویکردهای موثر، مانند [11] و [12] تکیه می کنیم و بطور قابل توجهی آنها را به سمت مدل سازی مقیاس بزرگ و حل مسائل واقعی بسط می دهیم. با استفاده از موضوعات ارائه شده در بخش اول مقاله مشابه، یک فرمول سازی افق نامتناهی مجزا، پیشرفته و دشوار در این تحقیق با پدیده های تصادفی غیرثابت، در ارتباط با مدل های تصادفی با مبنای فیزیکی و یک فضای حالت بسیار بزرگ تر 332 حالت ارائه و حل می شوند. دردسترس بودن اقدامات مختلف تعمیر و نگهداری و نظارت، مشاهدات نامشخص و نتایج عملیات و بازدیدهای غیر دوره ای از سازه ها در این تحقیق در برگرفته شدند. با یک چنین ساختار و تشکیلات بی سابقه و طیفی از گزینه های نامحدود، سیاست بهینه برآورد شده ترکیب بسیار پیچیده ای از فواصل و انواع نظارت / بازرسی، و اقدامات تعمیر و نگهداری و زمان های عملیات است که با هیچ روش دیگری نمی توان به آنها دست یافت. برای اینکه امکان حل این مسئله چالش برانگیز و دشوار وجود داشته باشد (به این خاطر که با هیچ تکنیک دیگر در منابع فوق الذکر نمی توان آن را حل کرد)، همانطور که در مقاله مشابه توضیح داده شد به راه حل های نقطه محور متوسل می شویم [1]. روش های نقطه محور عمدتا در رشته هوش مصنوعی برای هدایت ربات های مستقل تدوین و توسعه یافته اند. هدایت ربات های مستقل یک مسئله با ویژگی های ذاتاً متفاوت از مسئله مدیریت ساختاری (سازه ای) است. در این بین، عدم قطعیت در مسائل هدایت ربات ها با گذشت زمان کاهش می یابد، به این خاطر که زمینه به تدریج مورد بررسی قرار می گیرد، (نه خلاف آن در تعمیر و نگهداری سازه ای) و اقدامات مشاهده ای مختلف معمولا در طول برنامه ریزی انجام نمی شوند. به رغم تفاوت ها، در این تحقیق نشان می دهیم که الگوریتم تکرار مقدار نقطه محور Perseus[20] می تواند با موفقیت در این نوع اپلیکیشن ها (برنامه های کاربردی) اجرا شود، حتی برای مسائل دشوار با فضاهای حالت بزرگ تر از مسائلی که در حال حاضر در ادبیات تعمیر و نگهداری توصیف شده اند. علاوه بر این، تلاش های اخیر محققین با مدل های بزرگ تر، با هزاران حالت، در یک فرمول افق محدود، در [21] قابل مشاهده است که در آن ترسیم و نگاشت POMDP برای مدل تصادفی با مبنای فیزیکی با جزئیات بیشتر شرح داده می شود. جدای از Perseus، این مسئله را با راه حل های تقریبی ساده (MLS، QMDP، [1]) حل می کنیم که بطور مستقیم براساس MDPs هستند. سیستم های فعلی مدیریت سازه ای (مانند PONTIS) تنها به MDPs متکی هستند و در نتیجه می توانند راحت از این روش ها استفاده کنند. ما تفاوت ها را در عملکرد و کیفیت راه حل بین این روش ها و Perseusنشان می دهیم و براساس این مقایسه، مفاهیم مهم اقدامات جمع آوری مشاهدات و ارزش اطلاعات را شفاف تر می سازیم که البته حاکی از این هستند که روش های دقیق تر نظارت/بازرسی بوضوح پرهزینه تر از روش های نظارت/بازرسی ناپخته تر هستند. بصورت مختصر و مفید، مقاله حاضر یک چارچوب کلی با جزئیات ارائه می کند که نحوه حل مسائل مرتبط را مدرنیزه می سازد، در مدل سازی مقیاس بزرگ گامی به جلو برمی دارد (پیشروی می کند)، گسترش روش های POMDP نقطه محور را نشان می دهد و استفاده از آنها را در طیف گسترده ای از مسائل و کاربردهای عملی ترغیب می سازد. اپلیکیشن خاص استفاده شده در این تحقیق به منظور نشان دادن چارچوب پیشنهادی POMDP، ویژگی ها، راه حل و اجرای دقیق آن به یک سازه بتنی مسلح در حال خوردگی مربوط می شود. متاسفانه، روش های فعلی ارزیابی خوردگی غیر مخرب مستعد خطاهای اندازه گیری هستند و یک سری نواقص ذاتی دارند که بدست آوردن نتایج مهندسی مشخص و قابل اطمینان را براساس بازده و خروجی شان دشوار می سازند [22-24]. به همین دلیل، فرمول سازی POMDP این مسئله بسیار مناسب است. یک مدل فضایی، تصادفی و با مبنای فیزیکی خوردگی فولاد در یک ورقه بتنی مسلح عرشه اسکله در مقاله Papakonstantinou و Shinozuka[25] ارائه شد. براساس این مدل سازی، یک مدل POMDP غیرثابت افق نامتناهی با گام های زمانی سالانه و 332 حالت فیزیکی مجزا در این تحقیق ارائه و بوسیله برنامه ریزی دینامیک غیرهمزمان و Perseus[20] حل شد. هدف این اپلیکیشن شناسایی یک سیاست هزینه چرخه عمر بهینه است که بتواند بدون هرگونه محدودیت مدل سازی نشان دهد چه موقع و چه نوع اقدام تعمیر و نگهداری و نظارت/بازرسی باید براساس شرایط سازه در حال تخریب در زمان واقعی اجرا شود [1]. در کل، 4 اقدام تعمیر و نگهداری مختلف در نظر گرفته می شوند (از جمله عدم انجام هرگونه اقدام خاص وتعویض کامل سازه) و 3 اقدام نظارت/بازرسی مختلف (از جمله عدم بازرسی) منجر به 10 نوع اقدام ترکیبی و متفاوت (تعمیر و نگهداری-بازرسی) برای تصمیم گیرنده شد. نتایج نامشخص مشاهدات در 4 وضعیت مختلف طبقه بندی شدند و در مورد وضعیت سازه طبق دقت و صحت روش ارزیابی منتخب به تصمیم گیرنده اطلاع رسانی کردند. بطور کلی، مهم ترین ویژگی تمام اقدامات برای سیاست بهینه هزینه چرخه عمر ارتباط شان با اثربخشی و هزینه یکدیگر است که با جزئیات در این مقاله توضیح داده می شوند. در ادامه این تحقیق، بطور جامع مدل سازی مسئله POMDP را ارائه می کنیم که تاکیدشان عمدتا بر عدم انجام هر گونه اقدام است و البته به فرایند زوال و تخریب مربوط می شود. بخش پاداش مدل سازی و ترکیب اقدامات تعمیر و نگهداری-بازرسی هم توصیف می شوند. در بخش 3، الگوریتم تکرار مقدار نقطه محور، Perseus، تحلیل می شود، درحالیکه در بخش 4 جزئیات اجرا و نتایج جامع ارائه و بحث می گردند.
پیش نمایش مقاله
پیش نمایش مقاله برنامه ریزی سیاست های بازرسی و تعمیر و نگهداری سازه ای از طریق برنامه ریزی پویا و فرایندهای مارکوف. بخش II: اجرای POMDP

چکیده انگلیسی

The overall objective of this two part study is to highlight the advanced attributes, capabilities and use of stochastic control techniques, and especially Partially Observable Markov Decision Processes (POMDPs), that can address the conundrum of planning optimum inspection/monitoring and maintenance policies based on stochastic models and uncertain structural data in real time. In this second part of the study a distinct, advanced, infinite horizon POMDP formulation with 332 states is cast and solved, related to a corroding reinforced concrete structure and its minimum life-cycle cost. The formation and solution of the problem modernize and extend relevant approaches and motivate the use of POMDP methods in challenging practical applications. Apart from uncertain observations the presented framework can also support uncertain action outcomes, non-periodic inspections and choice availability of inspection/monitoring types and intervals, as well as maintenance actions and action times. It is thus no surprise that the estimated optimum policy consists of a complex combination of a variety of actions, which cannot be achieved by any other method. To be able to solve the problem we resort to a point-based value iteration solver and we evaluate its performance and solution quality for this type of applications. Simpler approximate solvers based on MDPs are also used and compared and the important notions of observation gathering actions and the value of information are briefly discussed.

مقدمه انگلیسی

This paper complements a companion paper [1], that provided a thorough theoretical background on the use of Markov Decision Processes (MDPs) for infrastructure management. As shown in our Part I companion paper the Partially Observable case of Markov Decision Processes (POMDPs) provides an excellent choice for decision making and asset management under uncertainty, with firm mathematical foundations and superior attributes. POMDPs are capable of describing a huge number of realistic situations and can support a diverse range of formulations and objective functions, including condition-based, reliability and/or risk-based problems [1]. The optimum life-cycle policies are provided based on stochastic control, probabilistic models, uncertain structural data and Bayesian principles. This Part II paper emphasizes more on the details of POMDP models and solvers for optimum structural inspection and maintenance policies. A detailed application example for a corroding reinforced concrete structure is provided and among others the cost-benefit of information is naturally incorporated in the formulation. Most quantities and notions already defined in Part I [1] are not defined again in detail in this work and any assumptions made in the companion paper are valid in this paper as well. For example, in this paper we will again only refer to rewards, since cost can be simply perceived as negative rewards. Markov Decision Processes have a long, successful history of implementation in risk management and minimum life-cycle costing of civil engineering structures [2]. Perhaps the strongest indication of their success and capabilities is their use from different state agencies all over the world for asset management of a variety of infrastructures, like bridges, transportation networks, pavements, etc., [3], [4] and [5]. In United States, PONTIS, the predominant management system for bridges and other infrastructures, uses MDPs as its core optimization tool, [6], [7] and [8]. PONTIS is currently a registered trademark of AASHTO and it is licensed and used by the majority of U.S. state transportation departments and other organizations in the U.S. and other countries. Although MDPs provide a very strong and versatile mathematical framework for asset management they also have some limitations which, at certain occasions, may be crucial for the quality of solutions they provide. POMDPs are a much more general tool that inherit all the valuable attributes of MDPs and add more. However, POMDPs comprise a newer scientific field, open to extensive scientific research currently and not as mature as the MDP one. These reasons, in addition to the fact that are much harder to be solved adequately for large, complex, realistic problems, has led until now to very few works addressing them in the context of optimum inspection and maintenance, in comparison to other approaches in this area, [1]. In Madanat and Ben-Akiva [9] a POMDP problem with 8 states and a finite horizon of 10 years is solved and in Smilowitz and Madanat [10] a problem of just 3 states, concerning a network of highway pavements, is presented. Both of these works use a fixed, regular grid and the nearest neighbor interpolation–extrapolation rule (enduring all the disadvantages of this method, discussed in the Part I paper [1]) and convert the problems into fully observable MDPs, which are then solved by dynamic and linear programming, respectively. In Ellis et al. [11] and Jiang et al. [12] some finite horizon POMDP problems are analyzed, concerning structural degradation of bridge girders due to corrosion and fatigue. The maximum size of the state spaces in these two works is 13 and the authors solve the problems with an exact algorithm, taking advantage of the small number of states and the finite horizon formulation, which in this occasion is computationally beneficial, in comparison to an infinite horizon case. Faddoul et al. [13] studied an inspection and maintenance problem, regarding a reinforced concrete highway bridge deck, and sought optimum policies based on the nearest neighbor method and a 5 state POMDP with a horizon length of 20 years. Use of POMDPs in works pertinent to the discussion herein can be further found in [14], [15], [16] and [17]. The maximum state space size used in these cases is 9, [14]. It is apparent that in all these works the POMDP formulation of the problems hindered the researchers from describing the system in a more refined way, with larger state spaces. In MDP formulations, where solutions can be much more easily found, state space sizes in the order of hundreds or thousands are commonly encountered and can be even considered small. An example for instance is the work by Robelin and Madanat [18] where a bridge deck management problem, formed as a MDP with 840 states, is solved. The state space in this case consists of the reliability index of the deck and history dependent parameters. In this paper, we rely on these previously presented works and efficacious approaches, as in [11] and [19], and significantly extend them towards large-scale modeling and solution of realistic problems. Utilizing the presented topics in the Part I companion paper, a distinct, advanced, demanding infinite horizon formulation is cast and solved in this work with non-stationary stochastic phenomena, connection to physically based stochastic models and a considerably larger state-space of 332 states. Choice availability of different monitoring and maintenance actions, uncertain observation and action outcomes and non-periodic structural visits are also incorporated in this work. With such an unprecedented formation and variety of unimpeded options the estimated optimum policy is a highly complex combination of a range of inspection/monitoring types and intervals, and maintenance actions and action times, which cannot be achieved by any other method. To be able to solve this challenging problem that could not have been solved by techniques in the aforementioned references, we resort to point-based solvers, as explained in our companion paper, [1]. Point-based methods have been mainly developed in the field of artificial intelligence for autonomous robot navigation which is a problem with inherently different characteristics from the structural management problem. Among others, uncertainty in usual robot navigation problems decreases with time, since the terrain is gradually explored, and not the opposite like in structural maintenance, and different observation actions are not typically sought during planning. Despite the differences, we demonstrate in this work that the point-based value iteration algorithm Perseus, [20], can perform successfully in this type of applications, even for difficult problems with larger state-spaces than the ones currently described in the maintenance literature. Additional, recent attempts by the authors with larger models, with thousands of states, in a finite horizon formulation can be seen in [21], where the POMDP mapping to physically based stochastic models is also explained in greater detail. Apart from Perseus we also solve the problem with simple approximate solvers (MLS, QMDP, [1]) that are directly based on MDPs. Current structural management systems (like PONTIS) only rely on MDPs and hence they could straightforwardly utilize these methods. We demonstrate differences in performance and quality of solution between these methods and Perseus and based on this comparison we also shed some extra light to the important notions of observation gathering actions and the value of information, which of course implies that more accurate and precise inspection/monitoring techniques are self-evidently more expensive than cruder inspection/monitoring methods. Compendiously, the current paper provides in detail a generic framework that modernizes the way relevant problems are solved today, sets a step forward in large-scale modeling, showcases deployment of point-based POMDP methods and motivates their use in a wider variety of problems and practical applications. The particular application used in this work, in order to demonstrate the suggested POMDP framework, its detailed implementation, solution and attributes, relates to a corroding reinforced concrete structure. Unfortunately, current non-destructive corrosion evaluation techniques are prone to measurement errors and have inherent deficiencies, which make it difficult to derive, certain, reliable engineering conclusions based on their output [22], [23] and [24]. For this reason, a POMDP formulation of the problem is most appropriate. A spatial, stochastic, physically based model of steel corrosion in a wharf deck reinforced concrete slab is developed in Papakonstantinou and Shinozuka [25]. Based on this modeling an infinite horizon, non-stationary POMDP model with yearly time-steps and 332 discrete physical states is cast in this work and solved by asynchronous dynamic programming and Perseus [20]. The objective of the application is to identify an optimum life-cycle cost policy that can suggest, without any modeling restrictions, when and what type of inspection/monitoring and maintenance actions should be employed based on the conditions of the deteriorating structure in real time [1]. On the whole, 4 different maintenance actions are considered (including doing nothing and full replacement of the structure) and 3 different inspection/monitoring actions (including no inspection), resulting in a total number of 10 considered, different, combined (maintenance–inspection) action choices for the decision-maker. The uncertain observation outcomes are categorized in 4 different possible conditions and inform the decision-maker about the structural status according to the accuracy and precision of the chosen evaluation method. In general, the most important characteristic of all the actions for the optimum life-cycle cost policy is their relative to each other effectiveness and cost, which are explained in detail in the paper. In the remainder of this work, we thoroughly present the POMDP modeling of the problem, emphasizing mostly in the do-nothing action, which of course relates to the deterioration process. The rewards part of the modeling and the combination of maintenance–inspection actions are described as well. In Section 3 the point-based value iteration algorithm, Perseus, is analyzed, while in Section 4 specific implementation details and comprehensive results are provided and discussed.

نتیجه گیری انگلیسی

The problem of planning an optimum life-cycle cost policy that can suggest inspection/monitoring and maintenance actions based on the structural conditions in real time is considered in this work, complementing the Part I companion paper. The optimum life-cycle policies are determined based on Partially Observable Markov Decision processes (POMDPs), involving stochastic control, probabilistic models, uncertain structural data and Bayesian principles. A detailed application example for a corroding reinforced concrete structure is analyzed and an advanced infinite horizon formulation is cast and solved, with non-stationary stochastic phenomena, connection to physically based stochastic models and a considerably large state-space of 332 states. Choice availability of different monitoring and maintenance actions, uncertain observation and action outcomes, non-periodic structural visits and the cost-benefit of information are also incorporated in the formulation, resulting in a highly complex optimum policy, which cannot be achieved by any other method, and combines a range of inspection/monitoring types and intervals, and maintenance actions and action times. To be able to solve this challenging problem we resort to point-based solvers and particularly asynchronous dynamic programming and Perseus. Apart from Perseus we also solve the problem with simple approximate solvers, based on MDPs, demonstrating differences in performance and quality of solutions and touching upon the important notion of the value of information. Synoptically, the current paper provides a generic framework that modernizes the way relevant problems are solved today, sets a step forward in large-scale modeling, showcases deployment of point-based POMDP methods and motivates their use in a wider variety of problems and practical applications. The biggest limitation of the presented approach however is the substantial computational demands for large state-spaces both in terms of computational memory and time. As such, research for dedicated models and solvers that can efficiently scale up the representation of the problem even more should be continued. Future research work is also possible in several other directions, as for example a more rigorous, systematic formation of structural maintenance actions in a POMDP context.

خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.