简短的介绍

在1938年之前，沙特阿拉伯的中东王国是一个尘土飞扬的沙漠国家，散布着人和动物的迁徙人群。但是，当石油袭击时，该地区及其人民目睹了巨大的转变。沙特人可能已经知道化石燃料了，但是美国石油地质学家马克斯·斯坦尼克（Max Steineke）​​以商业数量发现了资源。

与沙特阿拉伯的石油一样，今天的许多企业都会产生大量数据，并且大多数企业几乎不知道数据的资源是多么宝贵。许多人将数据称为new oil of the digital economy，因为如果适当利用，它可以扭转企业。一些企业是1938年以前的沙特阿拉伯 - 他们对存储在众多Excel床单中的数据以及（也许）在基于云的数据库中有一个想法，但完全没有意识到资源的商业福利。

数据分析是当今巨大的领域，这主要是由于巨大的业务分析运动，最重要的是，Python作为数据分析的方便工具的兴起。 Python是用于数据分析书呆子和数据科学家的流行脚本语言。实际上，TIOBE Index for January 2023表明，Python将数百个竞争对手视为总体上最受欢迎的编程语言，并且是2007年，2010年，2018年，2020年和2021年的年度语言。

我与Python的第一次相遇是在2019年。我正在YouTube寻找有关R的最佳教程，这是数据分析师的另一种重要语言。对Python的热爱在第一个视频中增长了几分钟 - 我发现语法吸引人和IDE易于使用。相反，rstudio给了我惊慌的发作，语法感到失望了。

我更深入地挖掘了python，恋情继续从力量到力量增长。在此期间，我意识到，与任何其他技术技能一样，学习Python的最佳方法是通过常规项目。我还了解到，Kaggle是一个可以用来抛光数据分析和其他Python技能的数据集的大量存储库。

这个项目是未来许多项目中的第一个。它使用可从Kaggle下载的数据集（通过此link）。另外，对基思·加利（Keith Galli）的大喊大叫，我从他的阿比亚奇（YouTube video）那里汲取了关键的课程。

项目介绍：

数据集的目标是使数据分析师能够练习基本的探索性数据分析（EDA）和清洁。

我们应该在本演讲结束时回答以下问题：

1. 什么是最佳销售月份，在线技术商店赚了多少？
2. 技术店在哪个城市出售了最多的产品？
3. 商店如果想最大化购买的商店应该显示广告？
4. 商店应该向买家组成什么产品？
5. 在数据的12个月中，商店销售最多的产品？

数据争吵

预赛

导入必要的库

import pandas as pd # for data wrangling 
import glob # for collecting files from system into the program
import matplotlib.pyplot as plt # for visualization
plt.style.use("fivethirtyeight") # default theme for plots

将数据集加载到笔记本中

您可能已经注意到，数据可在12个文件中（2019年每个月）提供。不可能使用此类碎片文件，因此我们必须将它们合并到一个文件中。
提示：

• 使用glob.glob()与所有文件创建一个对象，然后使用pandas.concat()串联它们

# if you created the notebook in the same directory 
# as the dataset, the dataset's root path is:
root_path = "./Sales_Data"

# assign all files to one variable
files = glob.glob(f'{root_path}/*.csv', recursive=True)

将文件加载到当前工作空间中并将它们分配给变量。

# I use list comprehensions to iterate through
# the 'files' variable created earlier.
# read more on list comprehensions if you have
# trouble understanding what is happening here.
all_files = [pd.read_csv(file) for file in files]

# Concatenate the files into one huge file
# and assign it to 'df' variable
df = pd.concat(all_files, axis=0)

# to be sure all is well, print the first five 
# rows of the data frame
df.head()

运行df.head()：
后，您应该看到这样的东西

现在将数据集成功加载到笔记本中。

数据清洁

数据清洁是数据分析过程中最征税的阶段。它需要删除数据集中的错误格式，重复，不完整或损坏的数据。此步骤是必要的，主要是因为大多数数据集很混乱。

典型的数据清洁工作涉及两个主要任务：

• 研究数据集是否缺少值。
• 检查每列的数据类型。

这个article详细讨论了这些步骤。

让我们完成每个数据清洁任务：

调查数据集是否缺少值

确认数据集缺失值后，您可以选择清除包含缺失值的行或用任意值填充它们。

让我们看看我们的数据集是否缺少值：

# Check for the total number of null values
# per column
df.isnull().sum()

输出应显示以下内容：

缺少数据的统一性意味着有完全不可用的数据的完整行，这也意味着我们只丢弃所有NAN都会好起来的。

使用此命令：df.dropna()删除NAN值。

研究数据类型

接下来，让我们检查每列的数据类型，看看我们是否需要进行一些更改。为此，请使用.info()函数。它提供了数据集的摘要，即条目总数（行），列数和每个列中值的数据类型。

# Check the data type for each column
df.info()

输出应该看起来像这样：

请注意，所有列的数据类型均为object。在熊猫中，object数据类型表示混合的非数字和数字值或文本。 Python认识到字符串等值。因此，object数据类型基本上是Python String数据类型。阅读更多here。

再次查看数据，直觉应该告诉您Quantity Ordered和Price Each之类的列应具有数值值。让我们进行更改如下：

# Convert 'Quantity Ordered' and 'Price Each' column values
# to numeric (either float or int)
df['Quantity Ordered'] = pd.to_numeric(df['Quantity Ordered'])
df['Price Each'] = pd.to_numeric(df['Price Each'])

如果您与我一起编码，则编译器在运行上述代码后可能会出现错误。我的看起来很喜欢：

关于编译器错误的美丽是，他们指出了您的问题，您可以解决该问题并继续进行分析。查看错误消息，您会注意到它是一个ValueError，这意味着编译器将值转换为数字时遇到了一些意外值。错误消息的最重要部分是读取ValueError: Unable to parse string "Quantity Ordered" at position 519。

让我们解决这个问题。首先，直接直达位置（位置519）。 注意：您的位置可能有所不同，只需前往错误消息指向您的位置。
检查位置519的条目会产生以下结果：

显然，将12个文件合并到一个pandas数据框架中时，数据集确实搞砸了。现在，它具有带有列名的行，即 订购ID ， product 等。其次，由于不需要它们而清除这些行。

mask = df.iloc[: , 0] != 'Order ID' # all rows in the first
                                    # column that do not contain 
                                    # the value 'Order ID'
# slice off the unwanted values
df = df[mask]

df['Sales'] = df['Quantity Ordered'] * df['Price Each']

df['Order Date'].str.split('/', expand=True)

df['Order Date'].str.split('/', expand=True)[0]

# assign it to the 'Month' column
df['Month'] = df['Order Date'].str.split('/', expand=True)[0]

df.groupby('Month')['Sales Amount'].sum()

# data
months = range(1, 13)
sales = df.groupby('Month')['Sales'].sum().values

# plot
fig, ax = plt.subplots(figsize=(10,6))
ax = plt.plot(months, sales)
plt.xticks(months)

# prevent the y axis from displaying data with scientific notation
plt.ticklabel_format(useOffset=False, style='plain')

plt.title('Total Sales per Month', pad=20)
plt.ylabel('Sales', labelpad=20)
plt.xlabel('Month', labelpad=20)

# save the plot to 'plots' directory
plt.savefig('plots/sales_per_month.png', dpi=600, bbox_inches='tight')

plt.show()

df['Purchase Address'].str.split(',', expand=True)[[1,2]]
state_code = df['Purchase Address'].str.split(',', expand=True)[2].str.strip().str.split(" ", expand=True)[0]
city = df['Purchase Address'].str.split(',', expand=True)[1]
df["City"] = city + " " + state_code

df.groupby('City')['Quantity Ordered'].sum()

# data
cities = [city.lstrip() for city, df in city_group]
quantity_ordered = df.groupby('City')['Quantity Ordered'].sum().values

# plot
fig, ax = plt.subplots(figsize=(10,6))
ax= plt.bar(cities, quantity_ordered)
plt.xticks(cities, rotation=90)
plt.title('Quantity Ordered by City', pad=20)
plt.ylabel('Quantity Ordered', labelpad=20)
plt.xlabel('City', labelpad=20)
plt.grid(False)

plt.savefig('plots/quantity_ordered_city.png', dpi=600, bbox_inches='tight')

plt.show()

# convert 'Order Date' to datetime
df['Order Date'] = pd.to_datetime(df['Order Date'])

# extract the hour then assign it to 'Hour' column
df['Hour'] = df['Order Date'].dt.hour

# data
hour = [f'{0}{hour}' if len(str(hour)) < 2 else str(hour) for hour, df in df.groupby('Hour')]
quantity_ordered = df.groupby('Hour')['Quantity Ordered'].sum().values

# plot
fig, ax = plt.subplots(figsize=(10, 6))

ax= plt.plot(hour, quantity_ordered)
plt.xticks(hour)
plt.title('Quantity Ordered by Hour', pad=20)
plt.ylabel('Quantity Ordered', labelpad=20)
plt.xlabel('Hour', labelpad=20)

plt.savefig('plots/quantity_ordered_hour.png', dpi=600, bbox_inches='tight')

plt.show()

# You may want to create a copy of the dataset before
# you proceed
new_df = df.copy()

# Slice the new dataset to keep only 
# the products with duplicated Order ID
new_df = new_df[new_df['Order ID'].duplicated(keep=False)]

# Store the grouped products into a column called _Grouped_
new_df['Grouped'] = new_df.groupby('Order ID')['Product'].transform(lambda x: ','.join(x))

new_df = new_df[['Order ID', 'Grouped']].drop_duplicates()

from itertools import combinations
from collections import Counter

# initialize an empty Counter object
count = Counter() 

for row in new_df['Grouped']:
    # split the grouped products
    row_list = row.split(',')

    # the most common products sold as group of three
    count.update(Counter(combinations(row_list, 3))) 

# ten most common groups of three
for key, value in count.most_common(10): 
    print(key, value) 

df.groupby('Product')['Quantity Ordered'].sum()

# data
products = [product for product, df in df.groupby('Product')]
quantity_ordered = df.groupby('Product')['Quantity Ordered'].sum().values

# plot
fig, ax = plt.subplots(figsize=(12, 6))
ax = plt.bar(products, quantity_ordered)
plt.xticks(products, rotation=90)
plt.title('Number of Orders per Product', pad=20)
plt.ylabel('Quantity Ordered', labelpad=20)
plt.xlabel('Product', labelpad=20)
plt.grid(False)

plt.savefig('plots/quantity_ordered_product.png', dpi=600, bbox_inches='tight')

plt.show()