Pierre IV de Rostrenen aimait beaucoup la chasse, particulièrement celle du cerf et du sanglier dont la forêt de Moëllou était remplie. Cette forêt était également constituée d’arbres vigoureux qui avaient bonne réputation auprès des entrepreneurs de l’époque comme en témoigne cet épisode raconté par l’auteur Albert Le Grand :
« Saint Yves vint honorer ce seigneur (Pierre IV) en son château de Rostrenen pour se justifier devant lui de faux rapports et calomnies, que plusieurs seigneurs médisants de sa cour avaient rapportés de lui, au sujet des arbres que ce sire de Rostrenen avait permis à Saint-Louis de faire abattre dans la forêt de Moëllou, pour la construction de l’église cathédrale de Tréguier, attendu que Saint-Yves n’en avait trouvé de si beaux dans toute l’étendue du Léon et Tréguier. Saint-Yves étant arrivé, il coucha au château du sire. Le lendemain, après la messe, Saint-Yves s’en fut avec le seigneur de Rostrenen, accompagné des seigneurs de sa cour. Ils furent à la forêt de Moêllou pour voir les arbres que Saint-Yves avait fait abattre, et, étant tous arrivés, ils virent, chose miraculeuse que, sur autant de pieds d’arbres que Saint-Yves avait fait abattre, il avait crû sur chaque pied trois arbres plus beaux, de sorte que, si Saint-Yves avait fait abattre vingt arbres, il en avait crû soixante. Ce que voyant, le seigneur de Rostrenen se jeta aux pieds de Saint-Yves pour lui demander pardon ».
De retour à Rostrenen, Saint-Yves célébra la messe dans la chapelle du château, à l’emplacement de l’église actuelle.
Constance, dame de Glomel, sœur de Pierre IV, épousa le chevalier Jean de Pestivien, vers 1280. Leur fils Jean sera cité comme 4ème témoin au procès de canonisation de Saint-Yves. Il affirma que « cent fois et plus, il l’avait vu dans la maison de son père, s’abstenant de viande et de vin. »Il déclare qu’il a lui-même vu et entendu fort souvent dom Yves prêcher la parole de Dieu au clergé et au peuple, dans la cathédrale de Quimper et dans plusieurs autres endroits. Dom Yves s’arrêtait à un embranchement du chemin et se mettait à prêcher.
Pierre IV est mort en 1307 et inhumé aux Jacobins de Guingamp.