활동적인 뉴욕 경찰 제임스(윌 스미스)는 어느 날 검은 양복을 입은 수상한 인물 케이(토미 리 존스)를 만나게 된다. 케이는 지구인의 모습으로 지구에서 살아가는 이민 외계인을 감시하고 관리하며 불법 이민 외계인을 색출하는 국가 비밀기관 'MIB(Men In Black)'의 베테랑 요원. 그에게 발탁된 제임스는 MIB 비밀요원 제이로 거듭나 활동을 시작하고, 외계에서 온 다양한 생명체들을 심문하던 중 은하계의 악명높은 테러리스트인 에드가가 불법으로 지구에 잠입한 사실을 알게 된다. 그 무렵 신비의 구슬을 놓고 전쟁을 벌이려던 두 은하계의 사절이 평화 회담차 지구를 방문했다가 암살당하는 사건이 발생한다. 곧 두 은하계는 전면전에 돌입하고, 양 은하계의 집중 포화망 안에 놓인 지구도 멸망의 위기에 처한다. 그런 가운데 구슬을 차지한 에드가는 지구를 탈출하기 위해 우주선으로 향한다. 제이와 케이는 절체절명의 상황에서 지구를 지키기 위해 에드가와의 최후 결전을 준비하는데…