अफ्रीकी कला को संरक्षित करने के लिए मैंने कला के लिए AI Shazam कैसे और क्यों बनाया

"ओह, तो यह शाज़म जैसा है, लेकिन कला के लिए?" एक मित्र ने मुझसे पूछा जब मैंने पिछले दो मिनट में अपने नवीनतम प्रोजेक्ट के बारे में बताया।

यह एक ऐसा मंच था जो कला प्रेमियों को यह पहचानने में मदद कर सकता था कि किस कलाकार ने पेंटिंग बनाई है और उन्होंने इसे सिर्फ 5 शब्दों में समझाया था; 'शाज़म की तरह, लेकिन कला के लिए'।

यह लेख इस बारे में है कि मैंने यह परियोजना क्यों शुरू की तथा मैंने इसका पहला संस्करण कैसे बनाया।

क्यों?

मैं जीवन भर कला से प्रेम करता रहा हूं।

मैंने कला आंदोलनों पर शोध करने, अपनी खुद की कलाकृति बनाने और उसे प्रदर्शित करने, और आम तौर पर कलाकारों और दीर्घाओं के आसपास घूमने में वर्षों बिताए हैं। समय के साथ, मैंने (उच्च स्तर की सटीकता के साथ) अनुमान लगाने की क्षमता विकसित की कि किस कलाकार ने पेंटिंग बनाई है, खासकर अगर वह एक अफ्रीकी कलाकार था।

2022 के एआई पुनर्जागरण में, मैं प्रेरित हुआ और सोचा कि यह देखना मजेदार होगा कि क्या मैं कंप्यूटरों को समान कार्य करने के लिए प्रशिक्षित कर सकता हूं, इसलिए मैंने एक छोटी सी व्यक्तिगत परियोजना शुरू की।

इस पर काम करते हुए, मुझे जल्दी ही एहसास हुआ कि इससे भी बड़ी समस्याएं हैं। अफ्रीकी कला ज्ञान के दस्तावेज़ीकरण, मान्यता और साझाकरण के आसपास की समस्याएं। उदाहरण के लिए, ऐसे पुराने अफ्रीकी कलाकार हैं जिनकी पेंटिंग ऑनलाइन खोजना मुश्किल है। उन्हें खोजने के लिए आपको पुरानी कला पाठ्यपुस्तकों या व्यक्तिगत संग्रहों में जाना होगा। मुझे चिंता हुई कि जैसे-जैसे दुनिया पूरी तरह से डिजिटल होती जा रही है, इनमें से बहुत सी कृतियाँ इतिहास में खो सकती हैं।

इस चुनौती का अनुभव करने के बाद मैंने इस परियोजना को सार्वजनिक करने तथा अफ्रीकी कला और कलाकारों के ज्ञान को डिजिटल रूप से संरक्षित करने और साझा करने का निर्णय लिया।

यह अफ्रीकी कला पर केंद्रित है क्योंकि मैं जानता था कि कोई और ऐसा नहीं करेगा, लेकिन इसे करना ही था, इसलिए इसकी शुरुआत मुझसे ही होनी थी।

यह काम किस प्रकार करता है

इस प्लेटफॉर्म का उपयोग करना सरल है।

आप किसी पेंटिंग की फोटो अपलोड कर सकते हैं या उपलब्ध नमूना चित्रों में से कोई एक चुन सकते हैं।

यह प्लेटफॉर्म छवि को संसाधित करता है, उन कलाकारों की पहचान करता है जिनकी कला शैली अपलोड की गई कलाकृति से सबसे अधिक मिलती-जुलती है, प्रत्येक कलाकार के लिए एक विश्वास स्कोर बनाता है, जो इस बात पर आधारित होता है कि अपलोड की गई तस्वीर उनकी कला शैली से कितनी मिलती-जुलती है, तथा उच्चतम विश्वास स्कोर वाले कलाकार का चयन करता है।

इसके बाद कलाकार के बारे में जानकारी नीचे दिए गए प्रारूप में प्रदर्शित की जाती है।

आत्मविश्वास स्कोर को प्रचारित किया जाता है ताकि आपको पता चले कि वह भविष्यवाणी कैसे हुई तथा आप यह निर्णय ले सकें कि आप दिए गए परिणाम का उपयोग किस प्रकार करना चाहते हैं।

इसमें एक फीडबैक अनुभाग भी है (अंगूठा ऊपर या नीचे) ताकि आप परियोजना में योगदान दे सकें और मॉडल को बेहतर बनाने में मदद कर सकें।

यह प्लेटफ़ॉर्म कैसे काम करता है, इसका एक सरलीकृत विवरण है। नीचे इस बारे में अधिक जानकारी दी गई है (जितना संभव हो सके कम तकनीकी शब्दावली के साथ) कि इसे कैसे बनाया गया।

तकनीक / डेटा तैयारी

डेटा एकत्रीकरण और प्रसंस्करण

यह मेरा पहला एमएल प्रोजेक्ट नहीं था, इसलिए मुझे पता था कि इसका रस प्रशिक्षण डेटा में होगा। मुझे अच्छे परिणाम प्राप्त करने के लिए मॉडल के लिए पर्याप्त उच्च-गुणवत्ता वाला डेटा ढूंढना और तैयार करना था। यह जितना मैंने सोचा था, उससे कहीं अधिक कठिन निकला।

मैंने प्रशिक्षण डेटा को एकत्रित करना और वर्गीकृत करना शुरू किया, लेकिन जल्दी ही मुझे एहसास हुआ कि इसमें बहुत समय लगेगा, इसलिए मैंने अपनी बहन और दो प्रशिक्षुओं को कुछ महीनों तक मेरे साथ इस पर काम करने के लिए कहा। (उन्हें उनके काम के लिए भुगतान किया गया)

अगला कदम डेटा को साफ़ और मानकीकृत करना था।

• डुप्लिकेट हटाना और डेटा को सामान्य बनाना
• यह सुनिश्चित करना कि डेटा सही ढंग से लेबल किया गया है
• यह सुनिश्चित करना कि प्रत्येक कलाकार के पास लगभग समान मात्रा में प्रशिक्षण डेटा हो, ताकि वर्ग असंतुलन के कारण मॉडल में पूर्वाग्रह से बचा जा सके।
• यह सुनिश्चित करना कि प्रत्येक कलाकार के प्रशिक्षण डेटा में उनकी विभिन्न चित्रकला शैलियों और माध्यमों की पर्याप्त विविधता शामिल हो, ताकि किसी कलाकार की किसी विशेष शैली/माध्यम के प्रति अति-अनुकूलन से बचा जा सके।
• यह सुनिश्चित करना कि प्रशिक्षण फ़ोटो में अलग-अलग संदर्भों में पेंटिंग्स हों। अलग-अलग वातावरण में पेंटिंग्स की तस्वीरें, उल्टी पेंटिंग्स की तस्वीरें, पेंटिंग्स के काले और सफ़ेद संस्करण आदि। यह विविधता मॉडल को ज़्यादातर स्थितियों में अच्छा प्रदर्शन करने में मदद करेगी।

यह बहुत मेहनत का काम था लेकिन इसे सही करने से मॉडल अच्छा प्रदर्शन करेगा।

जब डेटा तैयार करने की प्रक्रिया पूरी हो गई, तो मैंने डेटा को प्रशिक्षण डेटा और परीक्षण डेटा (नियंत्रण) में विभाजित कर दिया ताकि इसका उपयोग आसान हो सके और सटीकता की पुष्टि हो सके।

मॉडल का निर्माण/प्रशिक्षण

मॉडलों के बारे में सोचते समय मेरे सामने दो विकल्प थे।

ओपन-सोर्स फाउंडेशन मॉडल पर निर्माण करें या क्लाउड-आधारित स्वामित्व मॉडल जैसे GCP के ऑटोएमएल पर भरोसा करें।

मैंने दोनों तरीकों का प्रयास किया, लेकिन चूंकि परियोजना को शुरू में अवधारणा का प्रमाण माना गया था, इसलिए लागत प्रबंधन मेरे लिए विचार करने वाला सबसे बड़ा कारक था।

मैंने अंततः ओपन-सोर्स फाउंडेशन मॉडल, एफिशिएंटनेट का उपयोग करने का निर्णय लिया। इसका उपयोग निःशुल्क है, यह डेटा में विशेषताओं की पहचान करने में अच्छा है, इसे चलाने के लिए बहुत अधिक कंप्यूटिंग की आवश्यकता नहीं होती है, यह परिनियोजन में लचीलापन प्रदान करता है और मैंने अतीत में इसका उपयोग किया था।

मुझे EfficientNet का Tensorflow कार्यान्वयन मिला और मैंने इसे मॉडल की रीढ़ की हड्डी के रूप में इस्तेमाल किया। इसमें केरास का समर्थन था, इसलिए इससे जटिलता को प्रबंधित करने में भी मदद मिली।

यह इतना कुशल था कि मैं 16 जीबी रैम वाले मैकबुक एम1 प्रो पर परीक्षण संस्करणों को प्रशिक्षित कर सकता था (हालांकि मुझे कभी-कभी अपने लैपटॉप के ठप हो जाने की समस्या से निपटना पड़ता था)।

हुड के नीचे, मॉडल ब्रश स्ट्रोक, रंग योजनाओं, संरचना आदि जैसी प्रमुख विशेषताओं की पहचान करने के लिए फ़ोटो को संसाधित करता है, और महत्वपूर्ण भागों को रखने के लिए जानकारी को संघनित करता है। यह इस जानकारी का उपयोग चित्रों की नई प्रदान की गई तस्वीरों और इसके प्रशिक्षण डेटा के बीच समानताओं की पहचान करने के लिए करता है।

मैंने विभिन्न युग मूल्यों और प्रारंभिक रोक के साथ प्रयोग करके देखा कि कौन सा सबसे अच्छा काम करता है और अंततः मैं दिलचस्प मीट्रिक्स पर पहुंच गया।

मैंने और अधिक कलाकारों को जोड़ना जारी रखा तथा अलग-अलग मूल्यों के साथ प्रयोग करना जारी रखा, ताकि लॉन्च के लिए पर्याप्त सटीक कुछ मिल सके।

अंतिम कार्यान्वयन में दो मॉडल शामिल थे। एक पेंटिंग शैली पहचान के लिए, और दूसरा पेंटिंग माध्यम पहचान के लिए।

मुझे मॉडलों को और अधिक परिष्कृत करने तथा अंततः उन्हें API रैपर के साथ तैनात करने में सहायता मिली।

एप्लिकेशन का डिजाइन और विकास

एक बार मॉडल छांट लिए जाने के बाद, बाकी प्लेटफ़ॉर्म का निर्माण सरलता से किया जा सका। अंतिम कार्यान्वयन इस तरह दिखता था:

प्लेटफ़ॉर्म बैकएंड/API : मैंने वास्तविक मॉडल के लिए तर्क और रूटिंग अनुरोधों को कुशलतापूर्वक संभालने के लिए Laravel के साथ बैकएंड/API बनाया। यह परत सभी छवि प्रसंस्करण, भंडारण, सत्यापन, कलाकार जानकारी और अनुरोध ट्राइएज को संभालती है यानी मॉडल को भेजे गए अनुरोधों को नियंत्रित करती है।

फ्रंटएंड : फ्रंटएंड को रिएक्ट के साथ बनाया गया था। मुझे फ्रंट-एंड कोड लिखना वास्तव में पसंद नहीं है, इसलिए मुझे इस भाग को बनाने में मदद मिली। यह मूल रूप से बैकएंड को भेजी गई जानकारी और उपयोगकर्ता अनुरोधों के प्रदर्शन को नियंत्रित करता है।

सर्वर/होस्टिंग: मैंने पूरा एप्लिकेशन Heroku पर होस्ट किया (मॉडल शामिल)। मैंने Heroku को इसलिए चुना क्योंकि इसने मुझे बहुत सारी तैयार सेवाएँ और सहायता प्रबंधनीय लागत पर प्राप्त करने की अनुमति दी। डेटा इकट्ठा करने, मॉडल को प्रशिक्षित करने और कोर प्लेटफ़ॉर्म बनाने के लिए महीनों के काम के बाद, मैं और काम नहीं करना चाहता था, मैं बस लाइव होना चाहता था!

अंतिम नोट्स

नीति

मैंने मॉडलों को केवल सार्वजनिक रूप से उपलब्ध डेटा के आधार पर प्रशिक्षित किया।

जैसे-जैसे मैं इस प्रोजेक्ट को विकसित कर रहा था, मैंने विभिन्न कलाकारों से भी संपर्क किया कि क्या उन्हें इस प्रोजेक्ट से कोई समस्या है और मुझे कोई विरोध नहीं मिला। हालाँकि, अगर कोई कलाकार जिसे मैंने प्रोजेक्ट में शामिल किया है, वह बाहर होना चाहता है, तो कृपया मुझे बताएं। मैं तुरंत ऐसा करूँगा।

भविष्य की योजनाएं

मैं शिक्षा, कला खोज, पर्यटन और वाणिज्य में इसके लिए बहुत सारे उपयोग के मामले देखता हूँ। इसके अलावा कुछ ऐसी सुविधाएँ भी हैं जिनके बारे में मैं सोच रहा हूँ; एक कलाकार निर्देशिका, वेब-आधारित कला खेल, कलाकार अनुशंसाएँ और बहुत कुछ।

मेरी योजना इस परियोजना में सुधार जारी रखने तथा यह जानने की है कि कलाकार, उद्योग के हितधारक और कला प्रेमी आगे क्या देखना चाहते हैं।

मैं वास्तव में खुश हूं कि मैंने यह प्रोजेक्ट शुरू किया। एक तरफ, इसने मुझे दो चीजों को जोड़ने का एक अनूठा अवसर दिया, जिनके बारे में मैं भावुक हूं (कला + तकनीक), दूसरी तरफ, इसने मुझे चुनौती दी और मुझे विभिन्न समस्याओं के बारे में रचनात्मक रूप से सोचने के लिए मजबूर किया। मुझे यह भी लगता है कि मैं अफ्रीकी कला के विकास और संरक्षण में सक्रिय रूप से योगदान दे रहा हूं, और यह बहुत अच्छा लगता है।

प्रोजेक्ट लिंक (बीटा) : https://beta.whomadethisartwork.com/

नोट : *बीटा संस्करण 100 अफ्रीकी कलाकारों तक सीमित है तथा शीघ्र ही इसमें और अधिक कलाकारों को शामिल करने की योजना है।*

डेमो :