Menurut Prabowo Subianto dalam bukunya Military Leadership Notes from Experience Chapter I: Exemplary Leaders of The Indonesian Armed Forces, Yos Sudarso bermimpi menjadi seorang prajurit sejak kecil, meskipun orangtuanya lebih memilih jika dia menjadi seorang guru. Yos Sudarso akhirnya berhasil mewujudkan mimpinya setelah pemerintah Jepang membutuhkan personel militer tambahan untuk menghadapi Perang Asia Timur Raya.
Ia kemudian mengikuti pendidikan di Akademi Angkatan Laut di Semarang dan menjalani pendidikan militer bersama Angkatan Laut Jepang, di mana ia lulus sebagai salah satu mahasiswa terbaik. Ia kemudian bertugas di salah satu kapal militer Jepang.
Setelah proklamasi kemerdekaan Indonesia pada 17 Agustus 1945, ia bergabung dengan Badan Keamanan Rakyat di sektor maritim (BKR Laut), yang kemudian menjadi bagian dari Angkatan Laut Indonesia.
Selama karirnya, Yos Sudarso terlibat dalam berbagai operasi militer untuk memberantas pemberontakan yang terjadi di wilayah Republik Indonesia. Ia memimpin beberapa Kapal Perang Republik Indonesia (KRI) seperti KRI Rajawali, KRI Alu, KRI Gajah Mada, KRI Pattimura, dan KRI Macan Tutul. Pada tahun 1958, ia juga menjadi hakim di pengadilan militer selama empat bulan.
Pada akhir tahun 1961, Presiden Sukarno memerintahkan pelaksanaan Tri Komando Rakyat (TRIKORA), termasuk operasi di Laut Aru dekat Maluku untuk mendukung misi pembebasan Papua Barat dari Belanda. Pada saat itu, Yos Sudarso menjabat sebagai Deputi Kepala Operasi Angkatan Laut (KSAL). Ada tiga KRI yang terlibat dalam operasi rahasia di perairan Maluku, yaitu KRI Macan Tutul, KRI Macan Kumbang, dan KRI Harimau. Yos Sudarso memimpin KRI Macan Tutul.
Tiga kapal perang besar dengan persenjataan lengkap milik armada perang Belanda mencurigai gerakan Yos Sudarso dan tiga unit KRI yang beroperasi di Laut Aru. Yos Sudarso memerintahkan ketiga KRI tersebut untuk sementara mundur, namun Belanda mengira itu adalah manuver untuk menyerang dan kemudian membuka tembakan.
Mesin KRI Macan Tutul yang dipimpin oleh Yos Sudarso tiba-tiba mengalami kerusakan di tengah upaya penyelamatan. Pikiran cepatnya menentukan bahwa Yos Sudarso tidak dapat menyelamatkan kapalnya, tetapi ia dapat menyelamatkan dua kapal lainnya. KRI Macan Tutul yang dipimpinnya kemudian menyusun diri di antara kapal perang Belanda sebagai perisai sehingga dua KRI lainnya dapat menyelamatkan diri. Tembakan kedua dari kapal Belanda menghantam KRI Macan Tutul, memicu kebakaran, dan akhirnya tenggelam perlahan.
Yos Sudarso meninggal bersama 24 orang lainnya dalam misi dengan KRI Macan Tutul dalam pertempuran di Laut Aru. Ia mengorbankan nyawanya dalam garis tugas demi kepentingan negara pada usia muda 36 tahun.
