Estoy tratando de insertar documentos de forma masiva, he creado un índice único en mi colección y quiero omitir los documentos que están duplicados mientras realizo la inserción masiva. Esto se puede lograr con la función mongodb nativa:
db.collection.insert( <document or array of documents>, { ordered: <boolean> } ) Quiero lograr esto con mongoengine . Si alguien sabe cómo lograrlo, responda la pregunta, gracias.
Si tienes una clase como esta:
class Foo(db.Document): bar= db.StringField() meta = {'indexes': [{'fields': ['bar'], 'unique': True}]} Y teniendo una lista con instancias de Foo foos=[Foo('a'), Foo('a'), Foo('a')] y probando Foo.objects.insert(foos) obtendrá mongoengine.errors.NotUniqueError
La primera solución sería eliminar el índice de mongodb, insertar duplicados y luego asegurar el índice con {unique : true, dropDups : true}
La segunda solución sería usar la API de pymongo subyacente para operaciones masivas: https://docs.mongodb.com/manual/reference/method/db.collection.initializeOrderedBulkOp/#db.collection.initializeOrderedBulkOp
Por ahora estoy usando pymongo sin procesar de mongoengine como solución para esto. Esta es la segunda solución que mencionó @Alexey Smirnov. Entonces, para una clase de documento DocClass de mongoengine, accederá a la colección subyacente de pymongo y ejecutará la consulta como se muestra a continuación:
from pymongo.errors import BulkWriteError try: doc_list = [doc.to_mongo() for doc in me_doc_list] # Convert ME objects to what pymongo can understand DocClass._get_collection().insert_many(doc_list, ordered=False) except BulkWriteError as bwe: print("Batch Inserted with some errors. May be some duplicates were found and are skipped.") print(f"Count is {DocClass.objects.count()}.") except Exception as e: print( { 'error': str(e) })