Encontré este problema en el repositorio oficial. Pero en lugar de una forma directa, es más una implementación de oakserver. https://github.com/denoland/deno/discusiones/9314
Puede convertir la dirección de la conexión como Deno.NetAddr y acceder al nombre de hostname (y al port si lo desea) allí:
const server = Deno.listen({ port: 8080 }); for await (const conn of server) { (async () => { const httpConn = Deno.serveHttp(conn); const { hostname } = conn.remoteAddr as Deno.NetAddr; for await (const requestEvent of httpConn) { requestEvent.respondWith(new Response(hostname)); } })(); }