파이토치 기본 기능
출처: 차근차근 실습하며 배우는 파이토치 딥러닝 프로그래밍
파이토치의 최대 특징은 자동 미분 기능이다.
0계 텐서는 스칼라, 1계 텐서는 벡터, 2계 텐서는 행렬을 뜻함.
import torch
r0 = torch.tensor(1.0).float()
print(type(r0))
print(r0.dtype)<class 'torch.Tensor'>
torch.float32
텐서 변수가 생성될 때는 반드시 뒤에 float()을 호출해서 float32로 변환해야한다.0계 텐서이기 때문에 []가 비어있다. 만약 2행 3열인 2계텐서가 있으면 Torch.Size([2,3])이 출력된다.
print(r0.shape)
print(r0.data)torch.Size([])
tensor(1.)
1계텐서는 다음과 같다. torch.tensor 인수로 넘파이 배열을 사용했다.
import numpy as np
r1_np = np.array([1, 2, 3, 4, 5])
print(r1_np.shape) #(5,)
r1 = torch.tensor(r1_np).float()
print(r1.dtype) #torch.float32
print(r1.shape) #torch.Size([5])
print(r1.data) #tensor([1., 2., 3., 4., 5.])
2계 텐서는 행렬로 정의된다.
r2_np = np.array([[1, 5, 6], [4, 3, 2]])
print(r2_np.shape) #(2, 3)
r2 = torch.tensor(r2_np).float()
print(r2.shape) #torch.Size([2, 3])
print(r2.data) #tensor([[1., 5., 6.],[4., 3., 2.]])
3계 텐서 2x2씩 3개 tensor가 생성된다.
randn 함수는 평균이 0, 분산이 1인 정규분포 난수가 생성된다.
torch.manual_seed(123)
r3 = torch.randn((3, 2, 2))
print(r3.shape) #torch.Size([3, 2, 2])
print(r3.data)
4계 텐서
r4 = torch.ones((2, 3, 2, 2))
print(r4.shape)
print(r4.data)
정수값을 갖는 텐서 만들기
파이토치 대부분 계산은 dtype이 float32릉 사용한다.
하지만 다중분류에서 loss function인 crossEntropyLoss와 nn.NLLoss 는 손실함수를 만들때, 정수타입을 지정해야한다.
long 함수를 적용하면 dtype으로 torch.int64를 갖는 정수형 텐서가 정의된다.
r5= r1.long()
print(r5.dtype)
print(r5)torch.int64
tensor([1, 2, 3, 4, 5])
View 함수
view함수는 넘파이의 reshape 함수와 같다.
view 함수를 사용해 3계 텐서를 2계 텐서로 변환한다.
r6= r3.view(3,-1)
print(r6.shape)
print(r6.data)
r3 텐서의 shape은 [3,2,2] 로 3계 텐서다. 3*2*2=12, 12개의 요소로 -1이 위치한 요소수를 x라고 하면, 3*x=12
-1로 넘겨지는 부분의 요소수는 4로 결정된다.
1계 함수를 변환하면 다음과 같다.
남은 자리에 -1을 지정하면 수를 자동으로 조정한다. x=12
r7 = r3.view(-1)
print(r7.shape)
print(r7.data)
item 함수
0계 텐서에 대해서 파이썬 본래 클래스의 dtype(float , int)를 꺼낼 때 item 함수를 사용한다. loss 계산시 데이터 기록을 위한 값을 추출하는데 사용한다. 1계 텐서는 대상이 아니지만, shape가 [1]이나 [1,1] 처럼 1계 텐서나 2계 텐서라도 요소가 한개만 있는 경우는 사용 가능하다.
item = r0.item()
print(type(item))
print(item)<class 'float'>
1.0
max 함수
수치 연산에 대해 최댓값을 가져온다. min, mean 함수도 사용할 수 있다.
print(r2)
print(r2.max())
print(torch.max(r2, 1))
행 기준으로 최대값과 최대값의 인덱스 값을 반환한다
넘파이 변환
r2_np = r2.data.numpy()
print(type(r2_np))
print(r2_np)
자동미분 기능
경사하강법에서 편미분과 같은 기능이다.
y= 2x²+2의 자동미분 계산은 다음과 같다.
1) 경사 계산용 변수의 정의 -> requires_grad= True로 설정한다.
넘파이 배열로 x_np를 설정하고, float32인 텐서 x로 변환함.
x_np = np.arange(-2, 2.1, 0.25)
print(x_np)
x= torch.tensor(x_np,requires_grad=True,dtype=torch.float32)
print(x)[-2. -1.75 -1.5 -1.25 -1. -0.75 -0.5 -0.25 0. 0.25 0.5 0.75 1. 1.25 1.5 1.75 2. ]
tensor([-2.0000, -1.7500, -1.5000, -1.2500, -1.0000, -0.7500, -0.5000, -0.2500, 0.0000, 0.2500, 0.5000, 0.7500, 1.0000, 1.2500, 1.5000, 1.7500, 2.0000], requires_grad=True)
2) 텐서 변수 계산 -> 내부에서 계산 그래프가 자동 생성됨
y도 자동적으로 텐서 변수가 된다.
y = 2 * x**2 + 2
print(y)tensor([10.0000, 8.1250, 6.5000, 5.1250, 4.0000, 3.1250, 2.5000, 2.1250, 2.0000, 2.1250, 2.5000, 3.1250, 4.0000, 5.1250, 6.5000, 8.1250, 10.0000], grad_fn=<AddBackward0>)
import matplotlib.pyplot as plt
plt.plot(x.data, y.data)
plt.show()이를 시각화하면 2차함수 그래프가 나온다.
경사 계산의 대상 함수는 스칼라이기 때문에 y 값을 하나로 합친다.
z= y.sum()
print(z)tensor(85., grad_fn=<SumBackward0>)
3) 계산 그래프 시각화
make_dot 함수를 호출할때 첫번째 인수는 스칼라값(계산 그래프의 대상이 될 변수), 두번째 변수 x는 미분계산 대상의 변수를 딕셔너리 형식의 파라미터 리스트로 넣어준다. 출발점 x를 텐서 변수로 하고 requries_grad 그래프를 지정하면 값을 계산해 나가면 계산 과정이 자동적으로 기록한다.
from torchviz import make_dot
g= make_dot(z, params={'x': x})
display(g)
계산 그래프는 어떤 종류의 함수가 어떤 순서로 호출되는지를 나타내는 것이 계산 그래프이다. 계산 그래프는 x값을 조금씩 움직였을 때 z값이 어떻게 변화하는지를 파이토치가 자동적으로 알려준다.
4) 경사 계산 -> backward 함수 호출
파이토치 내부에서 계산 그래프를 기반으로 수치미분(편미분)이 작용하여 경사계산이 이루어진다
z.backward()
5) 경삿값 가져오기
y= 2x²+2의 미분값 4x²에 range 값이 들어간 결과가 도출된다.
print(x.grad)tensor([-8., -7., -6., -5., -4., -3., -2., -1., 0., 1., 2., 3., 4., 5., 6., 7., 8.])
6) 경삿값의 초기화
사용이 끝나면 값을 초기화해준다. 초기화하지 않으면 값이 누적된다.
x.grad.zero_()
print(x.grad)tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])
시그모이드 경사 계산
sigmoid = torch.nn.Sigmoid()
y= sigmoid(x)
print(y)tensor([0.1192, 0.1480, 0.1824, 0.2227, 0.2689, 0.3208, 0.3775, 0.4378, 0.5000, 0.5622, 0.6225, 0.6792, 0.7311, 0.7773, 0.8176, 0.8520, 0.8808], grad_fn=<SigmoidBackward0>)
시각화
plt.plot(x.data,y.data)
plt.show()
계산 그래프 시각화
그래프 상에서 sigmoid 단위로 표시되었음.
g = make_dot(z, params={'x': x})
display(g)
경삿값 가져오기
z= sum(y)
z.backward()
print(x.grad)tensor([0.1050, 0.1261, 0.1491, 0.1731, 0.1966, 0.2179, 0.2350, 0.2461, 0.2500, 0.2461, 0.2350, 0.2179, 0.1966, 0.1731, 0.1491, 0.1261, 0.1050])