داده کاوی (Data Mining) اختراع جدیدی نیست که با عصر دیجیتال آمده باشد. این مفهوم بیش از یک قرن است که وجود دارد، اما در دهه ۳۰ قرن بیستم بیشتر مورد توجه عموم قرار گرفت. یکی از اولین نمونه های داده کاوی در سال ۱۹۳۶ انجام گرفت؛ زمانی که آلن تورینگ ایده یک ماشین جهانی را ارائه داد که مثل رایانه های امروزی توان محاسباتی داشت.
ما از آن زمان مسیری طولانی را طی کرده ایم. هم اکنون کسب و کارها از داده کاوی و یادگیری ماشین استفاده می کنند تا همه چیز را از روند فروش خود گرفته تا تفسیر منابع مالی برای اهداف سرمایه گذاری، بهبود ببخشند. در نتیجه، دانشمندان داده، برای سازمانهای سراسر جهان ضروری شده اند. زیرا بیش از هر زمان دیگری شرکتها به دنبال دستیابی به اهداف بزرگتر به کمک علم داده هستند.
داده کاوی فرایند تجزیه و تحلیل حجم عظیمی از داده‌ها برای کشف هوشمندی کسب و کار است که برای حل مشکلات، کاهش خطرات و به غنیمت شمردن فرصت های جدید به شرکتها کمک می کند.
این شاخه از علم داده نام خود یعنی data mining را از شباهت های جستجو برای اطلاعات ارزشمند در یک پایگاه داده بزرگ و استخراج (mining) سنگ معدنی از کوه گرفته است. هر دو فرآیند برای یافتن چیزی ارزشمند و پنهان، نیازمند غربال مقادیر عظیمی از چیزها هستند.
داده کاوی می تواند به آن سوالات تجاری که حل و فصل دستی آنها به شکل سنتی بسیار وقت گیر بود به خوبی پاسخ دهد. با استفاده از طیف وسیعی از تکنیک های آماری برای تجزیه و تحلیل داده ها به روش های مختلف، کاربران می توانند الگوها، ترندها و روابطی را که در غیر این صورت ممکن است از دست بدهند شناسایی کنند. آنها می توانند با به کار گرفتن این یافته ها آنچه را که محتمل است در آینده اتفاق بیافتد پیش بینی کرده و برای تأثیرگذاشتن بر نتایج کسب و کار اقدام کنند.
داده کاوی در بسیاری از زمینه های تجاری و تحقیقاتی از جمله فروش و بازاریابی، توسعه محصولات، مراقبت های بهداشتی و آموزش استفاده می شود. در صورت استفاده صحیح، داده کاوی با قادر ساختن شما برای داشتن اطلاعات بیشتر در مورد مشتری هایتان، توسعه استراتژی های بازاریابی موثر، افزایش درآمد و کاهش هزینه ها می تواند برتری عمیقی در برابر رقیبانتان به شما ارائه کند.
مفاهیم کلیدی داده کاوی
دستیابی به بهترین نتایج بوسیله داده کاوی به مجموعه ای از ابزارها و تکنیک ها نیاز دارد. برخی از شایع ترین عملکرد ها و تکنیک های مورد استفاده عبارتند از:
-
- پاکسازی و آماده سازی داده ها :
مرحله ای که در آن داده ها به فرم مناسب جهت تجزیه و تحلیل و پردازش تکمیلی تبدیل می شوند، مانند شناسایی و حذف خطاها و داده های از دست رفته. - هوش مصنوعی (AI) :
این سیستم ها فعالیت های تحلیلی مرتبط با هوش انسان مانند برنامه ریزی، یادگیری، استدلال و حل مسئله را انجام می دهند. - یادگیری قاعده مرتبط سازی :
این ابزارها که به عنوان تجزیه و تحلیل سبد بازار نیز شناخته می شوند، وجود روابط بین متغیرهای یک مجموعه داده را بررسی می کنند. مانند تعیین اینکه کدام محصولات معمولاً با هم خریداری می شوند. - خوشه بندی :
فرآیند تقسیم یک مجموعه داده به چند زیرمجموعه معنادار به نام خوشه، برای کمک به کاربران در درک گروه بندی و یا ساختار طبیعی موجود در داده ها. - طبقه بندی :
این تکنیک با قصد پیش بینی دقیق طبقه هدف هر داده، موارد موجود در یک مجموعه داده را به دسته ها یا طبقه های هدف ارجاع می دهد. - تجزیه و تحلیل داده‌ها :
روند سنجش اطلاعات دیجیتال در هوشمندی کسب و کار سودمند. - انبار کردن داده ها :
برای کمک به تصمیم گیری در سازمان، مجموعه بزرگی از داده های تجاری استفاده می شود. انبار کردن داده ها، مولفه اساسی بیشتر تلاش های داده کاوی در مقیاس بزرگ است. - یادگیری ماشین :
یک تکنیک برنامه نویسی رایانه ای است که با استفاده از احتمالات آماری به کامپیوتر توانایی یادگیری می دهد، بدون اینکه به طور صریح برای انجام هر کاری که قرار است یاد بگیرد برنامه ریزی شده باشد. - رگرسیون :
تکنیکی است که براساس یک مجموعه داده خاص برای پیش بینی طیفی از مقادیر عددی مانند فروش، دما یا قیمت سهام استفاده می شود.
- پاکسازی و آماده سازی داده ها :
مزایای داده کاوی
داده ها در قالب های فراوانی با سرعت و حجمی بی سابقه، به سمت کسب و کارها سرازیر می شوند. تجارت داده‌محور دیگر فقط یک گزینه برای انتخاب نیست. موفقیت کسب و کار به این بستگی دارد که شما به چه سرعتی بتوانید بینش داده های بزرگ را کشف کرده و آنها را در تصمیمات و فرایندهای کسب و کار بگنجانید. در نتیجه اقدامات بهتری را در سراسر تشکیلات اقتصادی خود انجام دهید. اگرچه وجود داده های بسیار زیاد برای مدیریت، این کار را غیرممکن می‌کند.
داده کاوی به کسب و کارها این قدرت را می دهد تا با درک گذشته و حال و پیش بینی های دقیق در مورد اتفاقات احتمالی بعدی، اتفاقات آینده را بهینه کنند.
به عنوان مثال، داده کاوی می تواند به شما بگوید که بر اساس نمایه مشتری های گذشته، چه افرادی احتمالا به مشتری سودآور تبدیل می‌شوند و کدام افراد احتمال دارد به یک پیشنهاد خاص واکنش نشان دهند.
با استفاده از این علم، شما می توانید فقط به افرادی که احتمالاً به آن واکنش نشان می‌دهند و به مشتریانی با ارزش تبدیل می شوند پیشنهاد خود را ارائه داده و بازده سرمایه گذاری خود (ROI) را افزایش دهید.
از داده کاوی می‌توانید برای حل اکثر مشکلات تجاری که شامل داده است استفاده کنید؛ از قبیل:
-
- افزایش درآمد
- درک تقسیم بندی بازار و ترجیحات مشتری
- بدست آوردن مشتری های جدید
- بهبود بیش فروشی و فروش مکمل
- حفظ مشتری و افزایش وفاداری
- افزایش ROI از طریق کمپین های بازاریابی
- شناسایی کلاهبرداری
- شناسایی ریسک اعتباری
- نظارت بر عملکرد عملیاتی
با به کار بستن تکنیک های داده کاوی، تصمیمات می توانند مبتنی برهوشمندی کسب و کار واقعی، به جای واکنش های غریزی یا بدون فکر، باشند و نتایج محکمی ارائه دهند که تجارت را فراتر از رقابت نگه دارد.
از آنجایی که فناوری های پردازش داده در مقیاس بزرگ مانند یادگیری ماشین و هوش مصنوعی روز به روز راحت تر در دسترس قرار می گیرند، هم اکنون شرکت ها قادرند چند ترابایت داده را در عرض چند دقیقه یا چند ساعت به جای روزها یا هفته ها زیر و رو کنند. این کار به آنها کمک می کند تا نوآوری و رشد سریع تری داشته باشند.
نحوه کار داده‌کاوی
یک پروژه معمول داده کاوی با پرسیدن سوال درست تجاری، جمع آوری داده های مناسب برای پاسخ به آن و آماده سازی داده ها برای تجزیه و تحلیل آغاز می شود. موفقیت در مراحل بعدی به آنچه در مراحل قبلی انجام می‌شود وابسته است. کیفیت پایین داده ها منجر به نتایج ضعیفی خواهد شد، به همین دلیل داده کاوان باید از کیفیت داده هایی که برای تجزیه و تحلیل استفاده می کنند اطمینان حاصل کنند.
داده کاوان معمولاً با پیروی از یک فرایند ساختار یافته و قابل تکرار که شامل این شش مرحله است، به نتایج به جا و قابل اطمینانی دست می یابند:
-
-
- درک تجاری : درك كامل پارامترهای پروژه، از جمله وضعیت فعلی تجارت، هدف تجاری اصلی پروژه و معیارهای موفقیت.
- درک داده ها : مشخص کردن داده های مورد نیاز برای حل مشکل و جمع آوری آنها از همه منابع موجود.
- آماده سازی داده ها : آماده سازی داده ها در قالب مناسب برای پاسخ به سوال تجاری، رفع مشکلات کیفیت داده ها مانند داده های مفقود شده یا تکراری.
- مدل سازی : استفاده از الگوریتم ها برای شناسایی الگوهای موجود در داده ها.
- ارزیابی : تعیین اینکه آیا نتایج ارائه شده توسط یک مدل معین به دستیابی به هدف تجاری کمک می کند یا خیر؟ و اگر بله چقدر؟ غالباً برای یافتن بهترین الگوریتم جهت دستیابی به بهترین نتیجه یک مرحله تکراری وجود دارد.
- استقرار : در دسترس قرار دادن نتایج پروژه برای تصمیم گیرندگان.
-
در طول این فرآیند، همکاری نزدیک بین کارشناسان دامنه و داده کاوان برای درک اهمیت نتایج داده کاوی مربوط به سوال تجاری مورد بررسی ضروری است.
داده‌کاوی توان انجام چه کاری را دارد و در انجام چه کاری ناتوان است؟
داده‌کاوی ابزاری قدرتمند است که به شما کمک می کند الگوها و روابط درون داده هایتان را پیدا کنید. اما داده کاوی به تنهایی کار نمی کند. زیرا داده کاوی نیاز به شناخت کسب و کار، درک داده‌ها یا درک روش های تحلیلی را از بین نمی‌برد. داده کاوی اطلاعات پنهان داده ها را کشف می کند، اما نمی تواند ارزش اطلاعات برای سازمان را به شما بگوید.
ممکن است هم اکنون در نتیجه کار با داده ها به مرور زمان، از الگوهای مهم آگاه شده باشید. داده کاوی می تواند علاوه بر یافتن الگوهای جدیدی که ممکن است بلافاصله بعد از مشاهده ساده قابل تشخیص نباشد، چنین مشاهدات تجربی را تأیید یا تعدیل کند.
لازم به یادآوری است که روابط پیش بینی شده از طریق داده کاوی لزوماً علل یک عمل یا رفتار نیستند. به عنوان مثال، داده کاوی ممکن است مشخص کند که مردانی با درآمد بین ۵۰۰۰۰ تا ۶۵۰۰۰ دلار که مشترک مجلات مشخصی هستند به احتمال زیاد یک محصول خاص را خریداری می کنند.
می توانید از این اطلاعات برای کمک در توسعه یک استراتژی بازاریابی استفاده کنید. با این حال، نباید تصور کنید تمام جمعیت شناسایی شده از طریق داده کاوی، محصول را خریداری می کنند.
پرسیدن سوالات درست در داده کاوی
داده کاوی بدون راهنمایی، خود به خود راه حلی کشف نمی کند. الگوهایی که از طریق داده کاوی پیدا می کنید بسته به نحوه طرح ریزی مسئله بسیار متفاوت خواهند بود.
برای به دست آوردن نتایج معنادار، باید یاد بگیرید که چگونه سوالات درستی بپرسید. به عنوان مثال، به جای تلاش برای یادگیری چگونگی بهتر کردن پاسخ دهی به درخواست مستقیم، ممکن است دنبال بررسی نحوه پاسخی که سایر افراد در گذشته به درخواست های شما داده‌اند، باشید.
درک داده‌ها در داده‌کاوی
برای اطمینان از معنی داربودن نتایج داده کاوی، باید داده های خود را درک کنید. الگوریتم های داده کاوی اغلب به ویژگی های خاص داده ها حساس هستند.
-
- داده های پرت : مقادیر داده ای که با مقادیر معمول موجود در پایگاه داده شما بسیار متفاوت هستند.
- ستون های نامربوط
- ستون هایی که با هم متفاوت هستند، مانند سن و تاریخ تولد
- کدگذاری داده ها
- داده هایی که انتخاب می کنید آنها را در نظر بگیرید یا حذف کنید.
داده کاوی اوراکل می تواند به طور خودکار مقدار زیادی از آماده سازی داده های مورد نیاز برای الگوریتم را انجام دهد. اما قسمتی از آماده سازی داده ها معمولاً مخصوص دامنه یا مشکل داده کاوی است. به هر حال، وقتی مدلی به کار گرفته شد، برای تفسیر درست نتایج باید داده هایی را که برای ساخت مدل استفاده شده است، درک کنید.
آینده داده کاوی
آینده داده کاوی و علم داده روشن است. زیرا مقدار داده، به مرور زمان افزایش پیدا می‌کند. تا سال ۲۰۲۰، دنیای داده دیجیتال انباشته شده ما از ۴.۴ زتا بایت به ۴۴ زتا بایت رشد خواهد کرد. همچنین در آن زمان در هر ثانیه ۱.۷ مگابایت اطلاعات جدید برای هر انسان روی کره زمین ایجاد خواهد شد.
درست مانند تکنیک های استخراج از معدن که به دلیل پیشرفت در فناوری، دچار تکامل و پیشرفت شدند. استخراج بینش های ارزشمند از داده ها هم با پیشرفت تکنولوژی همین سرنوشت را خواهند داشت.
در دوره ای، فقط سازمان هایی مانند ناسا می توانستند از ابر رایانه های خود برای تجزیه و تحلیل داده ها استفاده کنند و هزینه ذخیره سازی و محاسبه داده ها بسیار زیاد بود. اکنون، شرکت ها انواع کارهای جالب توجه را با یادگیری ماشین، هوش مصنوعی و یادگیری عمیق با دریاچه های داده مبتنی بر ابر انجام می دهند.
به عنوان مثال اینترنت اشیا و فناوری پوشیدنی، افراد و دستگاه ها را به ماشینهای تولید داده تبدیل کرده است که اگر شرکتها بتوانند داده ها را به اندازه کافی سریع جمع آوری، ذخیره و تجزیه و تحلیل کنند، می تواند بینش نامحدودی راجع به افراد و سازمانها ایجاد کند.
تا سال ۲۰۲۰ بیش از ۲۰ میلیارد دستگاه متصل، در اینترنت اشیا (IoT) وجود خواهد داشت. داده های تولید شده توسط این فعالیت در فضای ابری در دسترس خواهد بود و این نیازی فوری به ابزارهای تحلیلی انعطاف پذیر و مقیاس پذیر که بتوانند انبوه اطلاعات مورد نظر را از بین مجموعه داده های غیر متجانس مدیریت کنند، ایجاب می کند.
راه حل های تجزیه و تحلیل مبتنی بر ابر، دسترسی به داده های عظیم و منابع محاسباتی را برای سازمان ها عملی و مقرون به صرفه تر می کند. رایانش ابری به شرکت ها کمک می کند تا به سرعت، داده های حاصل از فروش، بازاریابی، وب، سیستم های تولید و موجودی و سایر منابع را جمع آوری کنند. آن را گرد آوری، آماده و تجزیه و تحلیل کنند و برای بهبود نتایج بر اساس آن عمل کنند.
ابزارهای داده کاوی متن باز نیز سطح جدیدی از قدرت و چابکی را در اختیار کاربران قرار می دهند. از طریق روش‌هایی که بسیاری از راه حل‌های سنتی قادر به انجامش نیستند خواسته های تحلیلی را برآورده می‌کنند.
همچنین جوامع تحلیلگر و توسعه دهنده گسترده ای ایجاد می‌کنند که در آن کاربران می توانند پروژه ها را به اشتراک گذاشته و با هم همکاری کنند. به علاوه، فناوری های پیشرفته‌ای مانند یادگیری ماشین و هوش مصنوعی در حال حاضر تقریباً برای هر سازمانی که از افراد، داده ها و ابزارهای مناسبی برخوردار باشد، قابل دسترسی است.
نرم افزار و ابزارهای داده کاوی
شکی نیست که داده کاوی قدرت تحول تشکیلات اقتصادی را دارد. با این حال، اجرای راه حلی که نیاز همه ذینفعان را برآورده کند، می تواند به طور مکرر باعث توقف انتخاب پلت فرم شود. طیف گسترده گزینه های در دسترس تحلیلگران، از جمله زبانهای متن باز مانند R و Python، برنامه های آشنا مانند Excel، همراه با تنوع و پیچیدگی ابزارها و الگوریتم ها، می‌تواند روند کار را پیچیده تر کند.
کسب و کار هایی که داده کاوی بیشترین میزان ارزش را برایشان به ارمغان می آورد معمولاً پلتفرمی را انتخاب می کنند که:
-
- دربرگیرنده تجربه برتری برای صنعت یا نوع پروژه آنهاست. به عنوان مثال سازمانهای بهداشتی و درمانی نیازهای متفاوتی نسبت به شرکتهای تجارت الکترونیکی دارند.
- تمام چرخه عمر داده کاوی، از کاوش داده ها گرفته تا تولید را مدیریت کند.
- با برنامه های تشکیلات اقتصادی، از جمله سیستم های BI ،CRM ،ERP، مالی و سایر نرم افزارهای تشکیلات که برای حداکثر بازده سرمایه باید با آنها همکاری کند همسو است.
- با زبان های پیشتاز متن آزاد ادغام می شود. ابزارهای انعطاف پذیر و همکاری برای ایجاد برنامه های نوآورانه را به توسعه دهندگان و دانشمندان داده ارائه می دهد.
- نیازهای IT، دانشمندان داده و تحلیلگران را تأمین می کند و در عین حال نیازهای گزارشی و تجسم کاربران تجاری را نیز برطرف می کند.
سرویس احراز هویت یوآیدی به عنوان اولین راهکار احراز هویت دیجیتال، با استفاده از الگوریتم های هوش مصنوعی مانند یادگیری عمیق، تشخیص چهره و تشخیص زنده بودن چهره کاربر، فرایند احراز هویت ثنا، احراز هویت سجام برای دریافت کد بورسی و همچنین احراز هویت صرافی رمز ارز را با ضریب خطای کمتر از ۰.۰۱ درصد انجام می دهد.
