まず、なにはともあれ、あなたの希望を手書きの遺言（自筆証書遺言）で作成されたことはよいことです。何もなければ法定相続分によって決められてしまいます。

兄弟には遺留分がないことは間違いではありません。そのとおりです。
ですからＡさんがたとえば、あなたの妻（または夫）で、Ｂさんがあなたの兄弟の場合、相談者の方が、遺産は全部Ａさんにと遺言すれば、Ｂさんには遺留分はなく、全部Ａさんに行きます。
　最近、実際にこの手続きをやってみましたが、銀行は、手書きの遺言（裁判所の検認は受ける必要があります）があれば、遺留分がないＢさんの署名・押印・印鑑証明書なしで応じてくれ、全額Ａさんが遺産を受け取ることができました。
　同じように、遺留分がないＢさんの署名等がなくても、不動産の名義変更ができます。

　Ｂさんに遺言を発見され隠されたり破棄されたら、遺言があったことを証明できないので、遺言はなかったのと同じことになります。相談者の方がおっしゃられるとおり、そういう事態に備えて公正証書の方が安心なのです。費用さえ払えば、公証人に頼んで何通でも同じ内容の公正証書を発行してもらえます。
　公正証書遺言の場合は、裁判所の検認の手続きも不要になります。