Hironobu Suzuki s-hironobu

あるたとえ話 (A parable)

-- エドガー W. ダイクストラ (Edsger W. Dijkstra)

その昔、鉄道会社がありました。その (やり手の) 経営者は、トイレをすべての客車につけるのではなく、50% の客車にだけつけるようにすれば、会社の初期投資をずっと少なくできることに気づき、そのように指示しました。

	"""
	The most atomic way to train and run inference for a GPT in pure, dependency-free Python.
	This file is the complete algorithm.
	Everything else is just efficiency.

	@karpathy
	"""

	import os # os.path.exists
	import math # math.log, math.exp

	"""NumPy implementation of Beam Search. Can be used for decoding in Seq2Seq
	models or transformer.

	See https://chao-ji.github.io/jekyll/update/2019/01/24/Beam_Search.html
	for an in-depth disucssion.
	"""
	import numpy as np


	NEG_INF = -1e9