Trabajo de GCP Dataproc no encuentra los certificados SSL almacenados en los buckets.

Tengo un clúster GCP Dataproc y estoy tratando de implementar un trabajo pyspark que produce a un tema usando SSL.

Los archivos pem están almacenados en el bucket gs://dataprockafkacode/code, y estoy accediendo a los archivos pem en el código que se muestra a continuación.
Sin embargo, el código no puede encontrar los archivos pem, el error es el siguiente:

%3|1638738651.097|SSL|rdkafka#producer-1| [thrd:app]: error:02001002:system library:fopen:No such file or directory: fopen('gs://dataproc<em>kafka</em>code/code/caroot.pem','r')
%3|1638738651.097|SSL|rdkafka#producer-1| [thrd:app]: error:2006D080:BIO routines:BIO<em>new</em>file:no such file
Traceback (most recent call last):
  File "/tmp/my-job6/KafkaProducer.py", line 21, in <module>
    producer = Producer(conf)
cimpl.KafkaException: KafkaError{code=<em>INVALID</em>ARG,val=-186,str="Failed to create producer: ssl.ca.location failed: error:0B084002:x509 certificate routines:X509<em>load</em>cert<em>crl</em>file:system lib"}

Código:

from confluent_kafka import Producer

kafkaBrokers='<host>:<port>'

<h1>CA Root certificate ca.crt</h1>

caRootLocation='gs://dataproc<em>kafka</em>code/code/caroot.pem'

<h1>user public (user.crt)</h1>

certLocation='gs://dataproc<em>kafka</em>code/code/my-bridge-user-crt.pem'

<h1>user.key</h1>

keyLocation='gs://dataproc<em>kafka</em>code/code/user-with-certs.pem'
password='<password>'

conf = {'bootstrap.servers': kafkaBrokers,
        'security.protocol': 'SSL',
        'ssl.ca.location':caRootLocation,
        'ssl.certificate.location': certLocation,
        'ssl.key.location':keyLocation,
        'ssl.key.password' : password
}
topic = 'my-topic'

producer = Producer(conf)

for n in range(100):
        producer.produce(topic, key=str(n), value=" val -> "+str(n*(-1)) + " on dec 5 from dataproc ")

producer.flush()

¿Qué se debe hacer para solucionar esto?
Además, ¿es esta la forma correcta de proporcionar el acceso del código a los certificados SSL?

¡Gracias anticipadas!