Python itertools 완벽 가이드: product와 permutations 활용법

Python의 itertools 모듈은 반복 작업을 최적화하고 효율적으로 처리하기 위해 제공되는 강력한 라이브러리입니다. 그중에서도 product와 permutations는 조합(combinations)과 순열(permutations)을 생성하여 복잡한 데이터 탐색이나 하이퍼파라미터 튜닝 작업에서 유용하게 활용됩니다. 이 글에서는 product와 permutations의 개념과 실전 코드에서의 활용 방법을 알아보겠습니다.

1. itertools.product: 데카르트 곱 구현

itertools.product는 데카르트 곱을 계산해줍니다. 두 개 이상의 리스트를 조합해 가능한 모든 경우의 수를 반환하며, 중첩된 반복문을 간단히 대체할 수 있습니다.

기본 사용법

from itertools import product  

# 두 리스트의 데카르트 곱 계산  
colors = ["red", "green", "blue"]
sizes = ["S", "M", "L"]

combinations = product(colors, sizes)
print(list(combinations))

결과

[('red', 'S'), ('red', 'M'), ('red', 'L'), 
 ('green', 'S'), ('green', 'M'), ('green', 'L'), 
 ('blue', 'S'), ('blue', 'M'), ('blue', 'L')]

설명

• product는 두 리스트의 모든 가능한 조합을 계산해줍니다.
• 중첩된 반복문을 간결한 한 줄로 대체할 수 있어 코드 가독성이 높아집니다.

2. itertools.permutations: 순열 생성

itertools.permutations는 리스트 내 요소의 모든 순열을 생성합니다. 리스트 요소를 정렬하거나 특정 길이의 순열을 생성하는 데 유용합니다.

기본 사용법

from itertools import permutations  

# 순열 생성  
items = [1, 2, 3]
perm = permutations(items)
print(list(perm))

결과

[(1, 2, 3), (1, 3, 2), 
 (2, 1, 3), (2, 3, 1), 
 (3, 1, 2), (3, 2, 1)]

설명

• permutations는 주어진 리스트의 모든 순열을 반환합니다.
• 기본적으로 리스트 길이만큼의 순열을 생성하지만, r 매개변수를 사용해 지정된 길이의 순열을 생성할 수도 있습니다.

3. 실전 예제: 하이퍼파라미터 탐색

itertools.product는 머신러닝이나 딥러닝 모델의 하이퍼파라미터 탐색 작업에서 매우 유용합니다. 다양한 조합을 자동으로 생성하여 반복 작업을 줄이고 탐색 범위를 효율적으로 다룰 수 있습니다.

예제: 모델 하이퍼파라미터 튜닝

from itertools import product

# 하이퍼파라미터 후보군 정의  
learning_rates = [0.01, 0.1]
batch_sizes = [16, 32]
optimizers = ["sgd", "adam"]

# 모든 조합 생성  
parameter_grid = product(learning_rates, batch_sizes, optimizers)

# 모델 실행
for lr, batch_size, optimizer in parameter_grid:
    print(f"Training with lr={lr}, batch_size={batch_size}, optimizer={optimizer}")
    # 모델 훈련 코드 예시
    # train_model(lr=lr, batch_size=batch_size, optimizer=optimizer)

출력

Training with lr=0.01, batch_size=16, optimizer=sgd  
Training with lr=0.01, batch_size=16, optimizer=adam  
Training with lr=0.01, batch_size=32, optimizer=sgd  
Training with lr=0.01, batch_size=32, optimizer=adam  
Training with lr=0.1, batch_size=16, optimizer=sgd  
Training with lr=0.1, batch_size=16, optimizer=adam  
Training with lr=0.1, batch_size=32, optimizer=sgd  
Training with lr=0.1, batch_size=32, optimizer=adam  

설명

• product는 하이퍼파라미터의 모든 조합을 생성해, 효율적으로 탐색 범위를 관리합니다.
• 탐색 범위가 클수록 반복문 대신 itertools.product로 조합을 생성하는 것이 메모리와 성능 면에서 더 유리합니다.

4. 실전 예제: 작업 순서 정렬

itertools.permutations는 작업 순서를 최적화하거나, 특정 조건에 맞는 순서를 생성할 때 유용합니다. 예를 들어, 비용이 가장 적은 작업 순서를 찾는 문제에 활용할 수 있습니다.

예제: 작업 순서 조합

from itertools import permutations  

# 작업 리스트
tasks = ["task1", "task2", "task3"]

# 모든 순서 생성
task_orders = permutations(tasks)

for order in task_orders:
    print(" -> ".join(order))

출력

task1 -> task2 -> task3  
task1 -> task3 -> task2  
task2 -> task1 -> task3  
task2 -> task3 -> task1  
task3 -> task1 -> task2  
task3 -> task2 -> task1  

설명

• permutations는 작업 순서를 자동으로 생성하여 모든 경우의 수를 테스트할 수 있습니다.
• 이 방식은 순서가 중요한 최적화 문제에서 특히 유용합니다.

5. product와 permutations를 결합하기

때로는 조합과 순열을 동시에 다루어야 하는 경우도 있습니다. 이 경우 product와 permutations를 결합하면 복잡한 데이터 구조를 효율적으로 처리할 수 있습니다.

예제: 하이퍼파라미터와 데이터셋 순서 결합

from itertools import product, permutations

# 하이퍼파라미터 후보군
learning_rates = [0.01, 0.1]
optimizers = ["sgd", "adam"]

# 데이터셋 순서
datasets = ["dataset1", "dataset2", "dataset3"]

# 모든 조합 생성
parameter_grid = product(learning_rates, optimizers)
dataset_orders = permutations(datasets)

for params in parameter_grid:
    for order in dataset_orders:
        print(f"Parameters: {params}, Dataset order: {order}")

출력

(생략)

• 모든 하이퍼파라미터 조합과 데이터셋 순서의 조합이 생성됩니다.
• 이 방식은 모델 훈련과 데이터셋 순서를 동시에 고려할 때 유용합니다.

요약: product와 permutations의 장점

• itertools.product: 중첩된 반복문 없이 모든 조합을 효율적으로 생성합니다.
• itertools.permutations: 리스트의 모든 순열을 자동으로 생성하여, 순서가 중요한 문제를 해결합니다.
• 실제 활용 사례:
  1. 딥러닝 하이퍼파라미터 탐색
  2. 작업 순서 최적화
  3. 데이터셋과 설정 조합 생성

Python의 itertools를 잘 활용하면 복잡한 문제도 효율적으로 해결할 수 있습니다. 반복적인 작업을 간결하고 효과적으로 처리하고 싶다면, 지금 바로 product와 permutations를 활용해보세요!