Історія Козельщини починається з хутору, що був названий за прізвищем його володаря Павла Івановича Козельського. Чи то був Козельський марнотратом , чи то не вмів добре хазяйнувати, але з невідомих причин заклав він маєток за борг у московський Державний банк. Заборгував і Остроградському, тож у рахунок боргів відписав і маєток Софії – доньці математика М. В. Остроградського, яка вже була дружиною Капніста. Цей родовитий вельможа був сином колишнього московського губернатора Івана Васильовича Капніста – нащадка відомого російського письменника Капніста.
Отут то і починається головна історія, яка прославила Козельщину, дякуючи незвичайним властивостям чудотворної ікони Козельщинської Божої Матері.
Колишній власник Козельщини, Павло Іванович Козельський, померлий у 1879 році на 86 році життя, походив по матері з роду військового писаря запорожця Сіромахи. Коли гетьману Полуботку запропонували зректися гетьманства з обіцянкою значної майнової винагороди за це, він відмовився. А ось його військовий писар Сіромаха – погодився і за це він обрав ділянку в розмірі 10 тис. дес. між річками Інгулом і Вербовою. Пізніше тут було засновано два селища: Миколаївка (на Інгулі) і Михайлівка (на Вербовій), які надалі перейшли у спадок Павлу Івановичу Козельському.
Крім того, Сіромаха, за бажанням Государині, був повінчаний в Петербурзі з однією з її фрейлін італійського походження, прізвище якої, на жаль, так досі і не відоме, але портрет її зберігся. Тому у сімействі Козельського завжди існував переказ, що образ Божої Матері належав дружині Сіромахи. Крім того, сам стиль написання ікони нагадує живопис італійської школи того періоду. Що ж стосується срібної ризи, то є припущення, що вона була зроблена матір’ю Павла Івановича Козельського, Парасковією Дмитрівною Козельською.
Самі Капністи були щасливою родиною. Але 1880 року одна з доньок, 14-річна Марія, вивихнула ногу. Лікарі запевнили, що нічого серйозного немає, і порадили гіпсову пов’язку. Попри суворе дотримання їхніх рекомендацій, невдовзі в дівчинки викривилася й друга нога, з’явилися вивихи в плечових та стегновому суглобах, зникла чутливість у ногах і руках. Будь-який дотик, стук і навіть гучна розмова поруч викликали у хворої нестерпний біль у спині й хребті. Лікарі були безсилі.
Якось, перед важкою дорогою до французького лікаря Шарко, мати порадила доньці помолитися перед іконою Богоматері, яку особливо шанувала. За сльозами Марійка не бачила ікони – проте протерла ризу на ній і почала палко просити Заступницю або забрати її до себе, або повернути здоров’я. Раптом хребет наче блискавкою розтяло: дівчинка закричала і знепритомніла. А коли прийшла до тями – відчула, що руки й ноги ожили. «Я зцілилася!» – гукала й плакала вона, і мати подумала, що донька збожеволіла від горя. Та все ж покликали лікаря, зняли гіпс – і Марійка ще на слабких ногах пройшлася по кімнаті! А до Москви їхала вже майже здорова.
Чутка про дивовижне зцілення юної графині, підтверджена розгубленими світилами медицини, враз облетіла Москву, і натовпи охочих побачити і дівчину, і ікону буквально штурмували готель, у якому зупинилися Капністи. А по поверненні додому сім’я опинилася в облозі віруючих з усієї округи, які йшли і йшли поклонитися святині. Довелося спорудити для неї капличку. Однак вона не вміщала натовпи молільників, які прибували щодня. 1881 року у Козельщині було закладено храм для всіх, хто йшов до чудотворної ікони Богородиці просити зцілення.