Pandas是 Python 中广泛使用的数据操作库，它提供了处理各种类型数据的广泛功能。它的显着特性之一是能够使用MultiIndexes，也称为分层索引。在这篇博文中，我们将深入研究多索引的概念，并探索如何利用它们来处理复杂的多维数据集。

了解 MultiIndexes：分析运动表现数据

MultiIndex 是一种 pandas 数据结构，允许跨多个维度或级别索引和访问数据。它支持为行和列创建层次结构，提供一种灵活的方式来组织和分析数据。为了说明这一点，让我们考虑一个场景，您是一名私人教练或教练，您在运动员的体育活动中监测他们的健康参数。您想要在特定时间间隔内跟踪各种参数，例如心率、跑步配速和节奏。

综合健康表现数据

要处理此类数据，让我们首先编写模拟健康表现数据的 Python 代码，特别是心率和跑步节奏：

from __future__ import annotations
from datetime import datetime, timedelta
import numpy as np
import pandas as pd

start = datetime(2023, 6, 8, 14)
end = start + timedelta(hours=1, minutes=40)
timestamps = pd.date_range(start, end, freq=timedelta(minutes=1), inclusive='left')

def get_heart_rate(begin_hr: int, end_hr: int, break_point: int) -> pd.Series[float]:
    noise = np.random.normal(loc=0.0, scale=3, size=100)
    heart_rate = np.concatenate((np.linspace(begin_hr, end_hr, num=break_point), [end_hr] * (100 - break_point))) + noise
    return pd.Series(data=heart_rate, index=timestamps)

def get_cadence(mean_cadence: int) -> pd.Series[float]:
    noise = np.random.normal(loc=0.0, scale=1, size=100)
    cadence = pd.Series(data=[mean_cadence] * 100 + noise, index=timestamps)
    cadence[::3] = np.NAN
    cadence[1::3] = np.NAN
    return cadence.ffill().fillna(mean_cadence)

提供的代码片段展示了体育活动期间心率和节奏的合成数据的生成。它首先导入必要的模块，例如 datetime、numpy 和 pandas。

体育活动的持续时间定义为 100 分钟，该 pd.date_range 函数用于以一分钟为间隔生成一系列时间戳以覆盖该时间段。

该 get_heart_rate 函数生成合成心率数据，假设心率线性增加到一定水平，然后在活动的剩余时间保持恒定水平。引入高斯噪声以增加心率数据的可变性，使其更加真实。

类似地，该 get_cadence 函数会生成合成节奏数据，假设在整个活动中节奏相对恒定。添加高斯噪声以创建步频值的可变性，噪声值每三分钟而不是每分钟更新一次，反映步频相对于心率的稳定性。

有了数据生成功能，现在可以为两个运动员 Bob 和 Alice 创建综合数据：

bob_hr = get_heart_rate(begin_hr=110, end_hr=160, break_point=20)
alice_hr = get_heart_rate(begin_hr=90, end_hr=140, break_point=50)
bob_cadence = get_cadence(mean_cadence=175)
alice_cadence = get_cadence(mean_cadence=165)

此时，我们有 Bob 和 Alice 的心率和节奏。让我们使用 matplotlib 绘制它们以更深入地了解数据：

from __future__ import annotations
import matplotlib.dates as mdates
import matplotlib.pyplot as plt

date_formatter = mdates.DateFormatter('%H:%M:%S')  # Customize the date format as needed

fig = plt.figure(figsize=(12, 6))
ax = fig.add_subplot(111)
ax.xaxis.set_major_formatter(date_formatter)
ax.plot(bob_hr, color="red", label="Heart Rate Bob", marker=".")
ax.plot(alice_hr, color="red", label="Heart Rate Alice", marker="v")
ax.grid()
ax.legend()
ax.set_ylabel("Heart Rate [BPM]")
ax.set_xlabel("Time")

ax_cadence = ax.twinx()
ax_cadence.plot(bob_cadence, color="purple", label="Cadence Bob", marker=".", alpha=0.5)
ax_cadence.plot(alice_cadence, color="purple", label="Cadence Alice", marker="v", alpha=0.5)
ax_cadence.legend()
ax_cadence.set_ylabel("Cadence [SPM]")
ax_cadence.set_ylim(158, 180)

伟大的！对数据的初步分析提供了有趣的观察结果。我们可以很容易地区分 Bob 和 Alice 在最大心率和增加速率方面的差异。此外，Bob 的节奏似乎明显高于 Alice 的。

使用 Dataframes 实现可扩展性

bob_hr 但是，正如您可能已经注意到的那样，当前为每个健康参数和运动员使用单独变量（ 、 alice_hr 、 bob_cadence 和）的方法 alice_cadence 不可扩展。在具有大量运动员和健康参数的现实场景中，这种方法很快变得不切实际且麻烦。

为了解决这个问题，我们可以通过使用 pandas DataFrame 来表示多个运动员和健康参数的数据，从而利用 pandas 的强大功能。通过以表格格式组织数据，我们可以轻松地同时管理和分析多个变量。

DataFrame 的每一行都可以对应一个特定的时间戳，每一列都可以代表特定运动员的健康参数。这种结构允许高效存储和操作多维数据。

通过使用 DataFrame，我们可以消除对单独变量的需要，并将所有数据存储在一个对象中。这增强了代码清晰度，简化了数据处理，并提供了整个数据集的更直观表示。

bob_df = pd.concat([bob_hr.rename("heart_rate"), bob_cadence.rename("cadence")], axis="columns")

这是 Bob 健康数据的 Dataframe 的样子：

引入分层数据框

最后一个数据框看起来已经更好了！但是现在我们仍然需要为每个运动员创建一个新的数据框。这是 pandas MultiIndex 可以提供帮助的地方。让我们来看看我们如何优雅地将多个运动员和健康参数的数据合并到一个数据框中：

from itertools import product
bob_df = bob_hr.to_frame("value")
bob_df["athlete"] = "Bob"
bob_df["parameter"] = "heart_rate"

values = {
    "Bob": {
        "heart_rate": bob_hr,
        "cadence": bob_cadence,
    },
    "Alice": {
        "heart_rate": alice_hr,
        "cadence": alice_cadence
    }
}

sub_dataframes: list[pd.DataFrame] = []
for athlete, parameter in product(["Bob", "Alice"], ["heart_rate", "cadence"]):
    sub_df = values[athlete][parameter].to_frame("values")
    sub_df["athlete"] = athlete
    sub_df["parameter"] = parameter
    sub_dataframes.append(sub_df)

df = pd.concat(sub_dataframes).set_index(["athlete", "parameter"], append=True)
df.index = df.index.set_names(["timestamps", "athlete", "parameter"])

此代码处理运动员 Bob 和 Alice 的心率和踏频数据。它执行以下步骤：

1. 为 Bob 的心率数据创建一个 DataFrame，并为运动员和参数添加元数据列。
2. 定义一个字典，用于存储 Bob 和 Alice 的心率和节奏数据。
3. 生成运动员和参数的组合（Bob/Alice 和 heart_rate/cadence）。
4. 对于每个组合，创建一个具有相应数据和元数据列的子数据框。
5. 将所有子数据帧连接成一个数据帧。
6. 设置索引以包括时间戳、运动员和参数的级别。这是创建实际 MultiIndex 的地方

这是分层数据框df的样子：

至此，我们已经有了一个单一的数据框，其中包含任意数量的运动员和健康参数的所有信息。我们现在可以轻松地使用该.xs方法来查询分层数据框：

df.xs("Bob", level="athlete")  # get all health data for Bob

df.xs("heart_rate", level="parameter")  *# get all heart rates*

df.xs("Bob", level="athlete").xs("heart_rate", level="parameter")  # get heart_rate data for Bob

用例：地球温度变化

为了展示分层数据框的强大功能，让我们探索一个真实世界的复杂用例： 分析过去几十年地球表面温度的变化 。对于此任务，我们将利用Kaggle 上可用的数据集，该数据集总结了美国国家航空航天局戈达德太空研究所 (NASA-GISS)分发的全球表面温度变化数据。

检查和转换原始数据

让我们从阅读和检查数据开始。此步骤对于在深入分析之前更好地了解数据集的结构和内容至关重要。以下是我们如何使用 pandas 完成此操作：

from pathlib import Path

file_path = Path() / "data" / "Environment_Temperature_change_E_All_Data_NOFLAG.csv"
df = pd.read_csv(file_path , encoding='cp1252')
df.describe()

从这个初步检查中，很明显数据是在一个数据框中组织的，不同的月份和国家有不同的行。但是，不同年份的值分布在数据框中的多个列中，并标有前缀“Y”。这种格式使得有效读取和可视化数据具有挑战性。为了解决这个问题，我们将数据转换为更加结构化和分层的数据帧格式，使我们能够更方便地查询和可视化数据。

from dataclasses import dataclass, field
from datetime import date
from pydantic import BaseModel

MONTHS = {
    "January": 1, 
    "February": 2, 
    "March": 3, 
    "April": 4, 
    "May": 5, 
    "June": 6, 
    "July": 7, 
    "August": 8,
  "September": 9, 
    "October": 10,
  "November": 11, 
    "December": 12
}

class GistempDataElement(BaseModel):
    area: str
    timestamp: date
    value: float

@dataclass
class GistempTransformer:
    temperature_changes: list[GistempDataElement] = field(default_factory=list)
    standard_deviations: list[GistempDataElement] = field(default_factory=list)

    def _process_row(self, row) -> None:
        relevant_elements = ["Temperature change", "Standard Deviation"]
        if (element := row["Element"]) not in relevant_elements or (month := MONTHS.get(row["Months"])) is None:
            return None

        for year, value in row.filter(regex="Y.*").items():
            new_element = GistempDataElement(
                timestamp=date(year=int(year.replace("Y", "")), month=month, day=1),
                area=row["Area"],
                value=value
            )
            if element == "Temperature change":
                self.temperature_changes.append(new_element)
            else:
                self.standard_deviations.append(new_element)

    @property
    def df(self) -> pd.DataFrame:
        temp_changes_df = pd.DataFrame.from_records([elem.dict() for elem in self.temperature_changes])
        temp_changes = temp_changes_df.set_index(["timestamp", "area"]).rename(columns={"value": "temp_change"})

        std_deviations_df = pd.DataFrame.from_records([elem.dict() for elem in self.standard_deviations])
        std_deviations = std_deviations_df.set_index(["timestamp", "area"]).rename(columns={"value": "std_deviation"})

        return pd.concat([temp_changes, std_deviations], axis="columns")

    def process(self):
        environment_data = Path() / "data" / "Environment_Temperature_change_E_All_Data_NOFLAG.csv"
        df = pd.read_csv(environment_data, encoding='cp1252')
        df.apply(self._process_row, axis="columns")

此代码介绍了该类 GistempTransformer ，该类演示了如何处理 CSV 文件中的温度数据以及如何创建包含温度变化和标准差的分层 DataFrame。

该类 GistempTransformer 定义为数据类，包括两个列表 temperature_changes 和 standard_deviations ，用于存储处理后的数据元素。该 _process_row 方法负责处理输入 DataFrame 的每一行。它检查相关元素，例如“温度变化”和“标准偏差”，从“月份”列中提取月份，并创建该类的实例 GistempDataElement 。然后根据元素类型将这些实例附加到适当的列表中。

该 df 属性通过组合 temperature_changes 和 standard_deviations 列表返回一个 DataFrame。这个分层的 DataFrame 有一个 MultiIndex，其级别代表时间戳和区域，提供数据的结构化组织。

transformer = GistempTransformer()
transformer.process()
df = transformer.df

分析气候数据

现在我们已经将所有相关数据整合到一个数据框中，我们可以继续检查和可视化数据。我们的重点是检查每个区域的线性回归线，因为它们提供了对过去几十年温度变化总体趋势的见解。为了促进这种可视化，我们将创建一个函数来绘制温度变化及其相应的回归线。

def plot_temperature_changes(areas: list[str]) -> None:
    fig = plt.figure(figsize=(12, 6))
    ax1 = fig.add_subplot(211)
    ax2 = fig.add_subplot(212)

    for area in areas:
        df_country = df[df.index.get_level_values("area") == area].reset_index()
        dates = df_country["timestamp"].map(datetime.toordinal)
        gradient, offset = np.polyfit(dates, df_country.temp_change, deg=1)
        ax1.scatter(df_country.timestamp, df_country.temp_change, label=area, s=5)
        ax2.plot(df_country.timestamp, gradient * dates + offset, label=area)

    ax1.grid()
    ax2.grid()
    ax2.legend()
    ax2.set_ylabel("Regression Lines [°C]")
    ax1.set_ylabel("Temperature change [°C]")

在此函数中，我们在 pandas MultiIndex 上使用**get_level_values** 方法来有效地查询不同级别的分层 Dataframe 中的数据。让我们使用这个函数来可视化不同大陆的温度变化：

plot_temperature_changes(["Africa", "Antarctica", "Americas", "Asia", "Europe", "Oceania"])

从这个图中，我们可以得出几个关键结论：

• 所有大陆的回归线都具有正梯度，表明地球表面温度升高的全球趋势。
• 与其他大陆相比，欧洲的回归线明显更陡峭，这意味着欧洲的气温上升更为明显。与其他地区相比，这一发现与欧洲加速变暖的观察结果一致。
• 与南极洲相比，导致欧洲温度升高的具体因素很复杂，需要进行详细的科学研究。然而，一个促成因素可能是洋流的影响。欧洲受到暖洋流的影响，例如墨西哥湾暖流，它将热量从热带输送到该地区。这些洋流在调节温度方面发挥着作用，并可能导致在欧洲观察到的相对较高的变暖。相比之下，南极洲被寒冷的洋流包围，其气候受南大洋和南极绕极流的严重影响，它们充当了温暖水域入侵的屏障，从而限制了变暖效应。

现在，让我们通过检查欧洲不同地区的温度变化，将分析重点放在欧洲本身。我们可以通过为每个欧洲区域创建单独的地块来实现这一点：

plot_temperature_changes(["Southern Europe", "Eastern Europe", "Northern Europe", "Western Europe"])

从欧洲不同地区的温度变化图中，我们观察到整个欧洲大陆的整体温度上升非常相似。虽然各地区之间回归线的陡度可能略有不同，例如东欧与南欧相比曲线略陡，但各地区之间没有显着差异。

受气候变化影响最大和最小的十个国家

现在，让我们将重点转移到确定自 2000 年以来平均气温上升幅度最大的前 10 个国家/地区。以下是我们如何检索国家/地区列表的示例：

df[df.index.get_level_values(level="timestamp") > date(2000, 1, 1)].groupby("area").mean().sort_values(by="temp_change",ascending=False).head(10)

为了提取自 2000 年以来平均气温增幅最高的前 10 个国家，我们执行以下步骤：

1. 使用过滤数据框以仅包含年份大于或等于 2000 的行 df.index.get_level_values(level='timestamp') >= date(2000, 1, 1) 。
2. 使用按“区域”（国家/地区）对数据进行分组 .groupby('area') 。
3. 使用 计算每个国家/地区的平均温度变化 .mean() 。
4. 选择平均温度变化最大的前 10 个国家/地区**.sort_values(by="temp_change",ascending=True).head(10)**。

这一结果与我们之前的观察结果一致，证实与其他大陆相比，欧洲经历了最高的温度上升。

继续我们的分析，现在让我们探索受气温上升影响最小的十个国家。我们可以使用与以前相同的方法来提取此信息。这是我们如何检索国家列表的示例：

df[df.index.get_level_values(level="timestamp") > date(2000, 1, 1)].groupby("area").mean().sort_values(by="temp_change",ascending=True).head(10)

我们观察到，这份名单中的大多数国家都是位于南半球的偏远小岛。这一发现进一步支持了我们之前的结论，即与其他地区相比，南部大陆，尤其是南极洲，受气候变化的影响较小。

夏季和冬季的温度变化

现在，让我们使用分层数据框深入研究更复杂的查询。在这个特定的用例中，我们的重点是分析冬季和夏季的温度变化。出于此分析的目的，我们将冬季定义为 12 月、1 月和 2 月，而夏季包括 6 月、7 月和 8 月。通过利用 pandas 的力量和分层数据框，我们可以轻松地可视化欧洲这些季节的温度变化。这是一个示例代码片段来实现这一点：

all_winters = df[df.index.get_level_values(level="timestamp").map(lambda x: x.month in [12, 1, 2])]
all_summers = df[df.index.get_level_values(level="timestamp").map(lambda x: x.month in [6, 7, 8])]
winters_europe = all_winters.xs("Europe", level="area").sort_index()
summers_europe = all_summers.xs("Europe", level="area").sort_index()

fig = plt.figure(figsize=(12, 6))
ax = fig.add_subplot(111)
ax.plot(winters_europe.index, winters_europe.temp_change, label="Winters", marker="o", markersize=4)
ax.plot(summers_europe.index, summers_europe.temp_change, label="Summers", marker='o', markersize=4)
ax.grid()
ax.legend()
ax.set_ylabel("Temperature Change [°C]")

从这个图中，我们可以观察到与夏季的温度变化相比，冬季的温度变化表现出更大的波动性。为了量化这种差异，让我们计算两个季节的温度变化的标准差：

pd.concat([winters_europe.std().rename("winters"), summers_europe.std().rename("summers")], axis="columns")

结论

总之，掌握 Pandas 中的 MultiIndexes 为处理复杂的数据分析任务提供了强大的工具。通过利用 MultiIndexes，用户可以以灵活直观的方式有效地组织和分析多维数据集。使用行和列的层次结构的能力提高了代码的清晰度，简化了数据处理，并支持同时分析多个变量。无论是跟踪运动员的健康参数还是分析地球温度随时间的变化，理解和利用 Pandas 中的 MultiIndexes 都可以释放图书馆处理复杂数据场景的全部潜力。

您可以在此处找到本文中包含的所有代码： https: //github.com/GlennViroux/pandas-multi-index-blog