Зато гольф стал его увлечением до конца жизни. Ибука играл с друзьями, женой и в одиночестве чуть ли не каждую неделю даже в очень преклонном возрасте. Отличный пример того, что влюбиться в гольф никогда не поздно. Хотя сам японец считал, что лучше раньше. В своем педагогическом бестселлере «После трёх уже поздно» он написал:

«Я начал играть в гольф после сорока. И хотя уже 15 лет усердно тренируюсь, играю все еще плохо. Если бы я начал играть в детстве, то уверен, что играл бы гораздо лучше, не затратив на это столько усилий. Один мой знакомый начал учить своих детей играть в гольф, когда одному было семь, а другому девять лет. Младший намного опережает старшего, даже сейчас, спустя 8 лет, хотя старший атлетически сложен и превосходит младшего в других видах спорта. Их отец пытался понять, в чем причина успехов младшего сына. Единственное объяснение – это то, что он начал раньше тренироваться».