友人に紹介された男性との関係をはっきりさせたい

半年ほど前、
男性の友達(既婚者)が、２歳年上の男性を紹介してくれました。

それから、その友達を交えてお出かけしたり、
２人でお会いしたり、いい関係を続けています。

一度相手の方のおうちにもお邪魔しました。
(帰りの電車がなくなってしまったので…)
相手の方は、とても紳士的でお布団を準備した後、「じゃあ、おやすみなさい」と別の部屋に行きました。
その時は、私自身もホッとした覚えがあります。

ただ相手の方は、ほとんどメールをせず、
昼・夜・日・祝関係のないお仕事で、本当に仕事人間なのです。
(紹介者がそう言っていたので間違いないと思います。)

なので、会えるのは月に一度程度。
しかも進展のないお話をして食事をして、電車がなくなる前に帰る
デートを繰り返しています。

あまりに気持ちが読めないので、先日
「お仕事の邪魔になったり、一方的にご迷惑をおかけすると悪いので
聞きたいのですが…、あなたは、このお付き合いをどのようにお考えですか？」とメールしてみました。

すると、

『迷惑だ、とか思うわけないじゃないですか。
ただ仕事の時間帯が普通ではないので、あまり守れない約束はしないようにしてる』

『(私から)連絡をいただくことが、仕事の邪魔だとは
思ってませんよ。気にしないで下さい』
とのお返事でした。

これは、どう考えたらいいのでしょうか？

以前に付き合っていた彼女とも、メールがまったく来ないという原因で揉めて、
振られた理由が放置しすぎたから、と最初の頃におっしゃっておりました。
(でも、本人としては、結婚を考えていた相手らしいのです…)

今は週に一度連絡が来ればいいほうです。
忙しくマメでない、ということは、分かったのですが、
今後どうしてお付き合いしていったらいいのか、正直不安でたまりません。

ちなみに、彼からお芝居に誘われたり、ゴルフに誘われたりはするのですが、
急なので予定が合わず残念ながら行けていない状況です。

特別にお付き合いしよう的な発言はありません。

紹介とは、そういう事が前提だから何も言わないのか、
そういうつもりがないからダラダラしているのか…。

紹介者にも、「どうするの？」と聞かれて、正直とまどっています。

この年齢になり、子供がほしいので、
あまりその気がない男性と一緒にいても仕方がない、という気持ちもあり悩んでいます。

ただ紹介というのが初めてで、もう少し相手を知りたいも思っています。

長々としたまとまりのない文章で失礼しました。
真剣に悩んでおりますので、アドバイスをお願い致します。