引っ越し先のマンションの別棟に同じ会社の人が住んでいた。すると、夜に私の住む棟の前に立っており…会社の人「あんまり遅くなるな、君に何かあったら俺が色々言われる」

引っ越した先に同じ会社の人が住んでてその人の言動がスレタイ。
私は独り暮らしするのに実家を出て、マンション住まいなんだけど
マンションが二棟に分かれてて隣接している(A棟B棟みたいな感じ)。
私はA棟、同じ会社の人がB棟にいて引っ越して3ヶ月後くらいに偶然会って気が付いた。
驚いたけど部署もフロアも違うしあまり面識がないけど挨拶して偶然ですね、と話した。
先週休憩室にいたら、その人がﾋｿっと
「あの事誰にも言ってないよな？一緒のマンションに住んでるなんて知られたら困るんだよ」
と嫌そうに言ってきた。