公開鍵とは、公開鍵暗号における第三者に公開する鍵です。公開鍵は秘密鍵と対になっています。
ビットコインアドレスから支払をする場合には秘密鍵による署名が必要になります。そのため「そのアドレスの所有者である＝秘密鍵を保持している」と考えてよいでしょう。
ビットコインアドレスは、公開鍵からハッシュを 2 回とり、チェックサムを加えて Base58 フォーマットしたものになります。そのためビットコインアドレスから公開鍵を求めることはできません。
公開鍵がわからないと署名の正当性を確認できないので、署名時には公開鍵を合わせてトランザクションに書き込むことになります。
つまり一回も支払に使用していないアドレスについては公開鍵さえわかりません。暗号強度的にはすでに十分なのでこの仕様はセキュリティの目的というよりはビットコインアドレスを短く読みやすくすることがメインと考えたほうがいいでしょう。
ビットコインの公開鍵は楕円曲線公開鍵暗号（ECC）により作成します。