جلوگیری از ذخیره لینک‌های تکراری در دیتابیس mongodb

سرمایه گذاری متفاوت در سال نو 🍎🌱 ۳۵٪ تخفیف نوروزی ➕ حضور رایگان در مسترمایند نخبگان صنعت نرم‌افزار 💻✅

جامعه‌ها وبلاگ شروع یادگیری برنامه نویسی

سلام

در جلسه ی مربوط به ذخیره لینک‌های اگهی در دیتابیس استاد متد زیر رو برای ذخیره کردن لینک‌ها نوشتن

    def store(self, data, collection_name):
        collection = getattr(self.mongo.database, collection_name)
        if isinstance(data, list) and len(data) > 1:
            collection.insert_many(data)
        else:
            collection.insert_one(data)

حالا سوال من اینه

وقتی ما هر بار برنامه رو اجرا میکنیم این متد همه ی لینک‌ها رو داخل دیتابیس ذخیره میکنه

حتی لینک هایی که قبلا هم ذخیره کرده

چطوری میشه جلوی این کار رو گرفت؟

البته من خودم یه یکم این متد رو تغییر دادم و تونستم جلوی ذخیره لینک‌های تکراری رو بگیرم

اما نمیدونم کاری که کردم بهینه هست یا نه؟

    def store(self, data, collection_name):
        collection = getattr(self.mongo.database, collection_name)
        collection.create_index('url', unique=True)
        if isinstance(data, list) and len(data) >= 1:
            for record in data:
                try:
                    collection.insert_one(record)
                except pymongo.errors.DuplicateKeyError:
                    print(f'This key {record["url"]} exits in database.')
                    continue

ممنون میشم راهنمایی ام کنید.

data = [
	{'_id': ObjectId(), 'url': 'url_1', 'flag': False},
	{'_id': ObjectId(), 'url': 'url_2', 'flag': False},
	{'_id': ObjectId(), 'url': 'url_3', 'flag': False},
	...
]

سلااااااااااااااااام محسن جان

یه مفهومی تو زمینه دیتابیس داریم که بهش میگن upsert، از ترکیب کلمه insert و update به وجود اومده. توی PostgreSQL میشه ۲ تا کار زیر رو انجام داد:

- رکورد رو ایجاد کن و اگر وجود داشت هیچ کاری نکن.

- رکورد رو ایجاد کن و اگر وجود داشت آپدیتش کن.

تو mongoDB هم مفهوم upsert رو داریم. البته فقط حالت دوم رو، یعنی داکیومنت رو ایجاد کن و اگر وجود داشت آپدیتش کن. برای انجام حالت اول میتونیم از ترکیب دو دستور findOne و insertOne استفاده کنیم.

برای upsert کردن میتونیم از متدهای زیر:

- findOneAndUpdate

همراه با آرکومان upsert=Ture استفاده کنیم.

لینک هایی که گذاشتم رو بخون. به توضیحات آرگومان upsert هم حتما دقت کن:

Optional. When true, updateOne() either:

Creates a new document if no documents match the filter. For more details see upsert behavior.

Updates a single document that matches the filter.

To avoid multiple upserts, ensure that the filter field(s) are uniquely indexed.

Defaults to false, which does not insert a new document when no match is found.

توی کدی که فرستادی یه مساله به چشمم خورد. خط 4 بجای =< از < باید استفاده کنی. و نیاز هست برای if قسمت else هم بذاری که اگر یه داکیومنت بود توی else ایجادش کنی.

تو این کد بهتره از کدوم متد استفاده کنیم؟

کدش رو بنویس و بفرس تا در موردش صحبت کنیم.

باز اگر سوالی داشتی در خدمتم :)

بهترین پاسخ

محمدعلی رضا ۱۴ مرداد ۱۴۰۰، ۱۲:۴۳

سلامی دوباره

ممنون از توضیحات خوبتون

با توجه به توضیحات من کدم رو اصلاح کردم

    def store(self, data, collection_name):
        collection = getattr(self.mongo.database, collection_name)
        if isinstance(data, list) and len(data) > 1:
            for record in data:
                if not collection.find_one({'url': record['url']}):
                    collection.insert_one(record)
                # collection.update_one(
                #     filter={'url': record['url']},
                #     update={'$set': {'flag': False}},
                #     upsert=True
                # )
        else:
            if not collection.find_one({'url': data['url']}):
                collection.insert_one(data)
            # collection.update_one(
            #     filter={'url': data['url']},
            #     update={'$set': {'flag': False}},
            #     upsert=True
            # )

من از هر دو روش گفته شده استفاده کردم

مشکلی که با روش دوم دارم اینه که این کد هر زمانی اجرا بشه میره یه رکورد رو داخل دیتابیس آپدیت میکنه

در نتیجه مقدار flag رو همیشه false یا true میکنه( update={'$set': {'flag': False}} ) که نباید این طوری باشه

اما راه حل اول کاملا درسته اجرا میشه

نمیدونم راهی برای حل این موضوع هست یا نه؟

Mohsen Azizi ۱۴ مرداد ۱۴۰۰، ۱۴:۳۱