آموزش کتابخانه Pandas (پانداس)

انتخاب عناصر سری با دستور iloc

دستور iloc مشابه loc است با این تفاوت که در [iloc[a:b اندیس‌ها فقط باید عددی باشند و داده‌ی مربوط به اندیس عدد b نیز جزو عناصر انتخابی نخواهد بود، همان‌طور که در کد زیر مشاهده می‌کنید، عنصر با اندیس 6 جزو خروجی نیست:

# using .iloc[] function
data.iloc[3:6]

# importing pandas module  
import pandas as pd  
# creating a series
data = pd.Series([5, 2, 3,7], index=['a', 'b', 'c', 'd'])
print(data)
# creating a series
data1 = pd.Series([1, 6, 4, 9], index=['a', 'b', 'd', 'e'])
print(data1)

a    5
b    2
c    3
d    7
dtype: int64
a    1
b    6
d    4
e    9
dtype: int64

data.add(data1, fill_value=0)

a     6.0
b     8.0
c     3.0
d    11.0
e     9.0
dtype: float64

# import pandas as pd 
import pandas as pd 
# Calling DataFrame constructor 
df = pd.DataFrame() 
print(df)

# import pandas as pd 
import pandas as pd 
# list of strings 
lst = ['this', 'is', 'a', 'practial', 
			'article', 'for', 'Pandas'] 
# Calling DataFrame constructor on list 
df = pd.DataFrame(lst) 
print(df)

          0
0      this
1        is
2         a
3  practial
4   article
5       for
6    Pandas

نکته: پیش از ادامه‌ی بقیه‌ی مطالب، یادآور می‌شویم که در دیتافریم (Dataframe) هم مانند سری‌ها می‌توان ویژگی مرتبط با سطرها و ستون‌ها را مقداردهی کرد.(مقادیر عددی یا رشته‌ای به index و columns داد.) اما اگر مقداردهی نکنیم به طور پیش‌فرض عددی و با شروع از صفر مقداردهی می‌شوند ((numpy.arrange(n :از 0 تا n-1). مثال زیر را ببینید:

# import pandas as pd 
import pandas as pd 
# list of strings 
lst = ['this', 'is', 'a', 'practical', 
			'article', 'for', 'Pandas'] 
# Calling DataFrame constructor on list 
df = pd.DataFrame(lst, index=['row1','row2','row3','row4','row5','row6','row7'], columns=['col1']) 
print(df)

           col1
row1       this
row2         is
row3          a
row4  practical
row5    article
row6        for
row7     Pandas

3- ایجاد دیتافریم (Dataframe) با دیکشنری

برای اینکه بتوانیم یک دیتافریم (Dataframe) با داده‌ای از  جنس دیکشنری‌ ایجاد کنیم که مقدار اختصاصی به هر کلید از نوع آرایه یا لیست است، باید طول این لیست یا آرایه‌ها با هم برابر باشند. (اگر index را خودمان مقداردهی کنیم این مقدار باید برابر طول آرایه یا لیست باشد.). کلیدهای دیکشنری برای ستون‌های دیتافریم (Dataframe) در نظر گرفته می‌شوند.

# Python code demonstrate creating  
# DataFrame from dict narray / lists  
# By default addresses. 
import pandas as pd 
# intialise data of lists. 
data = {'Name':['Tom', 'nick', 'krish', 'jack'], 'Age':[20, 21, 19, 18]} 
# Create DataFrame 
df = pd.DataFrame(data) 
# Print the output. 
print(df) 

خروجی این کد دیتافریمی (Dataframe) به شکل زیر است:

    Name  Age
0    Tom   20
1   nick   21
2  krish   19
3   jack   18

کار با سطرها و ستون‌ها در دیتافریم (Dataframe)

می‌توان بر روی دیتافریم (Dataframe)‌ها عملیاتی چون انتخاب، حذف، افزودن و تغییر نام سطرها و ستون‌ها را انجام داد.

انتخاب ستون‌ها: برای انتخاب ستون‌ها می‌توان از نام آن‌ها استفاده کرد. در کد زیر دیتافریمی (Dataframe) با نام df ایجاد می‌کنیم و سپس ستون‌های Name و Qualification را انتخاب می‌کنیم.

# Import pandas package
import pandas as pd
# Define a dictionary containing employee data
data = {'Name':['Jai', 'Princi', 'Gaurav', 'Anuj'],
        'Age':[27, 24, 22, 32],
        'Address':['Delhi', 'Kanpur', 'Allahabad', 'Kannauj'],
        'Qualification':['Msc', 'MA', 'MCA', 'Phd']}
# Convert the dictionary into DataFrame 
df = pd.DataFrame(data)
# select two columns
print(df[['Name', 'Qualification']])

     Name Qualification
0     Jai           Msc
1  Princi            MA
2  Gaurav           MCA
3    Anuj           Phd

انتخاب سطرها: سطرهای مورد نظر را می‌توان با دستور loc یا iloc  یا ix انتخاب کرد و البته همان‌طور که در قسمت Series گفته‌ شد برای انتخاب سطر با iloc تنها از شماره‌ی برچسب اندیس می‌توان استفاده کرد. داده‌های زیر را در نظر بگیرید:

# Import pandas package
import pandas as pd
# Define a dictionary containing employee data
data = {'Name':['Jai', 'Princi', 'Gaurav', 'Anuj'],
        'Age':[27, 24, 22, 32],
        'Address':['Delhi', 'Kanpur', 'Allahabad', 'Kannauj'],
        'Qualification':['Msc', 'MA', 'MCA', 'Phd']}
# Convert the dictionary into DataFrame 
df = pd.DataFrame(data,index=('Person1','Person2','Person3','Person4'))
df

دیتافریم (Dataframe) ما در این کد به شکل زیر است:

حال اگر بخواهیم سطر اول را انتخاب کنیم، با یکی از دو دستور زیر این کار را می‌توانیم انجام دهیم:

#with loc
df.loc[['Person1']]
#with iloc
df.iloc[[0]]

که خروجی هر دو کد یکسان است:

نکته:

1. یادآوری می‌کنیم که iloc تنها با اندیس‌های عددی کار می‌کند و متد loc با اندیس تعریف شده در جدول.
2. به دو جفت براکت کنار هر متد دقت کنید: اگر تنها یک جفت براکت بگذاریم خروجی به شکل ستونی زیر چاپ می‌شود:

اگر بخواهیم دو سطر اول و دوم را انتخاب کنیم مانند کد زیر عمل می‌کنیم:

#with loc
df.loc['Person1':'Person2']
#or
df.loc[['Person1','Person2']]
#with iloc
df.iloc[0:2]

و برای انتخاب سطر اول و اول و ستون دوم و سوم:

#with loc
df.loc['Person1':'Person2','Age':'Address']
#or
df.loc[['Person1','Person2'],['Age','Address']]
#with iloc
df.iloc[0:2,1:3]

نکته: اگر ایندکس‌ سطرها به صورت عددی بود، loc را مانند iloc می‌نویسیم با این تفاوت که در loc عدد اندیس آخر را درنظر می‌گیریم. یعنی مثلاً برای انتخاب سطر اول و دوم  دستور را به صورت [loc[0:1 می‌نویسیم، درحالی که برای iloc به شکل [0:2]iloc است.

دسترسی به دیتافریم (Dataframe) با اندیس‌دهی بولین

برای دسترسی به دیتافریم (Dataframe) با اندیس بولین، باید دیتافریم‌ها (Dataframe) را با اندیس بولین ایجاد کنیم. یعنی دیتافریمی (Dataframe) با اندیس‌هایی که مقادیر آن True یا False باشد. به طور مثال:

# importing pandas as pd 
import pandas as pd 
# dictionary of lists 
dict = {'name':["aparna", "pankaj", "sudhir", "Geeku"], 
        'degree': ["MBA", "BCA", "M.Tech", "MBA"], 
        'score':[90, 40, 80, 98]} 
df = pd.DataFrame(dict, index = [True, False, True, False]) 
print(df) 

شکل این دیتافریم (Dataframe) به صورت زیر است:

         name  degree  score
True   aparna     MBA     90
False  pankaj     BCA     40
True   sudhir  M.Tech     80
False   Geeku     MBA     98

دسترسی به عناصر دیتافریم (Dataframe) با اندیس بولین همچون سایر دیتافریم‌ها (Dataframe)‌ به یکی از روش‌های loc و iloc است. برای دسترسی با loc مقدار True یا False را به عنوان پارامتر ورودی ارسال می‌کنیم.

# importing pandas as pd 
import pandas as pd 
# dictionary of lists 
dict = {'name':["aparna", "pankaj", "sudhir", "Geeku"], 
        'degree': ["MBA", "BCA", "M.Tech", "MBA"], 
        'score':[90, 40, 80, 98]} 
# creating a dataframe with boolean index  
df = pd.DataFrame(dict, index = [True, False, True, False]) 
# accessing a dataframe using .loc[] function  
print(df.loc[True])

        name  degree  score
True  aparna     MBA     90
True  sudhir  M.Tech     80

همان‌طور که قبلاً گفته شد، iloc تنها مقادیر عددی را به عنوان پارامتر ورودی می‌پذیرد، پس در نتیجه مقدار Boolean را نمی‌توان به آن داد.

دسترسی به عناصر دیتافریم (Dataframe) با اپراتورهای منطقی روی ستون‌ها وسطرها

می‌توان برای دسترسی به عناصر برمبنای مقادیرشان به کمک اپراتورهای منطقی همچون ==، <=، >= و != فیلترهایی تعریف کرد. خروجی چنین فیلترهایی مجموعه‌ای بولین با مقادیر  True و False است.

# importing pandas as pd 
import pandas as pd 
# dictionary of lists 
dict = {'name':["aparna", "pankaj", "sudhir", "Geeku"], 
        'degree': ["BCA", "BCA", "M.Tech", "BCA"], 
        'score':[90, 40, 80, 98]} 
# creating a dataframe  
df = pd.DataFrame(dict) 
# using a comparsion operator for filtering of data 
print(df['degree'] == 'BCA') 

0     True
1     True
2    False
3     True
Name: degree, dtype: bool

همین فیلترها را بر روی index یا همان برچسب سطرها نیز می‌توان اعمال کرد. مثال زیر را در نظر بگیرید:

# importing pandas as pd 
import pandas as pd 
# dictionary of lists 
dict = {'name':["aparna", "pankaj", "sudhir", "Geeku"], 
        'degree': ["BCA", "BCA", "M.Tech", "BCA"], 
        'score':[90, 40, 80, 98]} 
df = pd.DataFrame(dict, index = [0, 1, 2, 3])
print(df[df.index>=2])

     name  degree  score
2  sudhir  M.Tech     80
3   Geeku     BCA     98

مرتب‌سازی عناصر دیتافریم (Dataframe) در کتابخانه Pandas

برای مرتب‌سازی صعودی یا نزولی داده‌های ستون‌های دیتافریم (Dataframe) از تابع sort_values() استفاده می‌کنیم. قاعده‌ی کلی به شکل زیر است:

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind=’quicksort’, na_position=’last’)

تمامی پارامترها به جز by دارای مقادیر پیش‌فرض‌اند.

by: نام یک یا مجموعه‌ای از ستون‌ها برای مرتب‌سازی داده‌ها بر مبنای آن ستون‌ها است.

axis: عدد 0 یا عبارت ‘index’ برای سطر  و 1 یا ‘columns’ برای ستون.

ascending: یک مقدار بولین که اگر True بود صعودی، و اگر False بود نزولی مرتب می‌کند.

inplace: یک مقدار بولین است. اگر True بود در دیتافریم (Dataframe) انتقالی به تابع، تغییراتی ایجاد می‌کند.

kind: یک مقدار رشته‌ای است که می‌تواند سه مقدار ‘quicksort’، ‘mergesort’ و یا ‘heapsort’ را بگیرد و الگوریتم مرتب‌سازی بر اساس آن عمل کند.

na_position:  می‌تواند یکی از دو مقدار رشته‌ای ‘last’ یا ‘first’ را بگیرد و بر اساس آن تعیین کند که مکان مقادیر NAN یا همان تهی، پس از مرتب‌سازی در ابتدای جدول قرار گیرد یا در انتهای آن.

دیتافریم (Dataframe) برگشت داده شده از تابع مرتب‌سازی، همان ابعاد و shape دیتافریم (Dataframe) اولیه را دارد.

فرض کنید دیتافریمی (Dataframe) با نام data به شکل زیر داریم و می‌خواهیم براساس ستون name سطرها را مرتب کنیم.

# importing pandas package 
import pandas as pd 
# sorting data frame by name 
data.sort_values("name", axis = 0, ascending = True, 
                 inplace = True, na_position ='last') 
# display 
data 

کار با مقادیر ناموجود یا تهی در دیتافریم (Dataframe)

داده‌ی ناموجود یا تهی (Missing Values) زمانی رخ می‌دهد که یک یا چند آیتم مقداردهی نشده باشند و یا اطلاعاتی در خصوص آن‌ها در دست نباشد. داده‌ی ناموجود در تحلیل داده‌های سناریوهای واقعی مسأله‌ی مهمی است. در پانداس از آن تحت عنوان NA  NotAvailible  نیز یاد می‌شود.

کنترل مقادیر ناموجود با is null و not null

برای کنترل مقادیر ناموجود در دیتافریم (Dataframe) کتابخانه pandas (پانداس) می‌توانیم از is null و not null استفاده کنیم. هردو تابع در کنترل اینکه آیا مقدار یک آیتم NAN هست یا نه؛ کمک می‌کنند. این توابع در سری‌ها هم می‌توانند برای یافتن مقادیر NAN به کار گرفته ‌شوند. خروجی این توابع مقادیر بولین است.

# importing pandas as pd
import pandas as pd
# importing numpy as np
import numpy as np
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
# creating a dataframe from list
df = pd.DataFrame(dict)
# using isnull() function  
df.isnull()

مقداردهی مقادیر ناموجود با fillna، replace و interpolate

به منظور پرکردن و مقداردهی مقادیر تهی در دیتابیس از توابع fllna، replace و interpolate استفاده می‌کنیم که این توابع مقادیر NAN را با مقادیر تولیدی خود جایگزین می‌کنند. در کد زیر به کمک متد fillna مقادیر تهی را با صفر جایگزین می‌کنیم.

# importing pandas as pd
import pandas as pd
# importing numpy as np
import numpy as np
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
# filling missing value using fillna()  
df.fillna(0)

حذف مقادیر null با تابع dropna

به منظور حذف مقادیر NAN از دیتافریم (Dataframe) از تابع dropna استفاده می‌کنیم. این تابع سطرها و ستون‌های NAN را با شیوه‌های مختلف حذف می‌کند. دیتافریم (Dataframe) df را به شکل زیر داریم:

# importing pandas as pd
import pandas as pd
# importing numpy as np
import numpy as np
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, 40, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
df

در کد زیر سطرهایی که حداقل یک مقدار NAN دارند را حذف می‌کند.

# importing pandas as pd
import pandas as pd
# importing numpy as np
import numpy as np
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, np.nan, 45, 56],
        'Third Score':[52, 40, 80, 98],
        'Fourth Score':[np.nan, np.nan, np.nan, 65]}
# creating a dataframe from dictionary
df = pd.DataFrame(dict)
# using dropna() function  
df.dropna()

خروجی به شکل زیر خواهد بود:

حال کدی می‌نویسیم که با آن سطری را که همه‌ی عناصر آن صفر باشد را حذف کنیم. فرض کنید دیتافریم (Dataframe) زیر را داریم که سطر دوم آن همگی NAN است:

# importing pandas as pd 
import pandas as pd 
# importing numpy as np 
import numpy as np 
# dictionary of lists 
dict = {'First Score':[100, np.nan, np.nan, 95], 
        'Second Score': [30, np.nan, 45, 56], 
        'Third Score':[52, np.nan, 80, 98], 
        'Fourth Score':[np.nan, np.nan, np.nan, 65]} 
df = pd.DataFrame(dict) 
# using dropna() function     
df.dropna(how = 'all')

خروجی حاصل به شکل زیر است:

حذف ستونی با حداقل یک مقدار null

مجموعه داده‌ی زیر را در نظر بگیرید:

# importing pandas as pd 
import pandas as pd 
# importing numpy as np 
import numpy as np 
# dictionary of lists 
dict = {'First Score':[100, np.nan, np.nan, 95], 
        'Second Score': [30, np.nan, 45, 56], 
        'Third Score':[52, np.nan, 80, 98], 
        'Fourth Score':[60, 67, 68, 65]} 
# creating a dataframe from dictionary  
df = pd.DataFrame(dict) 
df

# importing pandas as pd 
import pandas as pd 
# importing numpy as np 
import numpy as np 
# dictionary of lists 
dict = {'First Score':[100, np.nan, np.nan, 95], 
        'Second Score': [30, np.nan, 45, 56], 
        'Third Score':[52, np.nan, 80, 98], 
        'Fourth Score':[60, 67, 68, 65]} 
# creating a dataframe from dictionary   
df = pd.DataFrame(dict) 
# using dropna() function      
df.dropna(axis = 1)